В 35% тестовых диалогов чат-боты не направляли людей в кризисе за помощью — TIME
Исследование Scale AI показало, что чат-боты с искусственным интеллектом часто распознают признаки психологического кризиса, но не всегда направляют человека за профессиональной помощью. Примерно в 35% тестовых диалогов модели определяли, что пользователь переживает дистресс, однако не предлагали полезных ресурсов, в частности кризисных горячих линий, сообщает TIME.
Проверили 25 моделей
Для проверки Scale AI привлекла 19 лицензированных клиницистов и кризисных консультантов, которые написали 718 реалистичных диалогов, моделировавших обращение человека в кризисе к чат-боту. Компания протестировала 25 передовых моделей, в том числе разработки OpenAI, Anthropic и Google.
Ответы оценивали по нескольким критериям: эмпатия, способность деэскалировать ситуацию и направить человека к специалисту, который может помочь. Также проверяли, не прибегали ли модели к морализаторству, в частности к критике самоубийства, и сообщали ли они, что не являются терапевтами. На основе исследования в Scale AI разработали тест DistressBench для оценки ответов моделей на сообщения о мыслях о самоубийстве или самоповреждении.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Проблема длительных диалогов
Руководитель направления Red Team & Safety в Scale AI Патрик Отаут отметил, что модели в целом хорошо определяют потенциально опасные высказывания, однако вместо совета обратиться за помощью часто ограничиваются эмпатичным ответом. По его словам, результаты были хуже в длинных многоэтапных разговорах, что соответствует выводам предыдущих исследований.
Представительница некоммерческой организации Crisis Text Line Келли Зуромски сказала, что в круглосуточную кризисную текстовую службу уже обращались люди, узнавшие о ней через чат-ботов. В то же время, по ее словам, остаются вопросы о том, как именно должна происходить ответственная передача пользователя от ИИ к человеку и насколько действенны такие рекомендации.
В материале также говорится, что против OpenAI и Google продолжаются судебные иски: компании обвиняют в формировании эмоциональной зависимости у молодых пользователей и ненадлежащем реагировании на их проявления дистресса либо в усилении бредовых или суицидальных мыслей. OpenAI, Google и другие лаборатории ИИ в последние годы заявляли об усилении защиты в чувствительных разговорах, в частности о запрете инструкций по самоповреждению и направлении пользователей к профессиональной или экстренной поддержке.
