Common Sense Media назвала ChatGPT for Teens неприемлемым риском — TechCrunch
Некоммерческая организация Common Sense Media оценила ChatGPT for Teens от OpenAI как «неприемлемый риск». Новое тестирование показало, что чат-бот продолжает побуждать подростков к общению даже во время кризисных ситуаций, сообщает TechCrunch.
Поощрение к продолжению разговора
Common Sense Media проверяла заявленные OpenAI механизмы защиты сервиса, который компания запустила в августе. Среди обещанных мер были родительский контроль, ограничение доступа к контенту высокого риска и защита от эмоциональной зависимости от чат-бота.
Согласно выводам исследователей, ChatGPT for Teens в основном не задавал дополнительных вопросов, которые могли бы продлить диалог. В то же время он использовал другие формулировки, побуждавшие пользователя оставаться в чате. В частности, во время сценария с признаками психотического состояния чат-бот предлагал подростку продолжать рассказывать о том, что он замечает.
Авторы отчета отметили, что такие сигналы к взаимодействию были распространены даже в кризисных ситуациях. Они также поставили сервису неудовлетворительную оценку по трем из пяти категорий тяжелого вреда, которые организация считает критическими.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Проблема эмоциональной привязанности
Особую обеспокоенность Common Sense Media вызвала реакция чат-бота на возможную чрезмерную привязанность пользователя к ИИ. Спецификация OpenAI для модели, предназначенной для лиц младше 18 лет, предусматривает, что она не должна первой представлять себя как друга или намекать на наличие собственных чувств. Однако тестировщики выявили, что ChatGPT последовательно обращался к пользователю как к другу.
Когда риск исходил от другого человека, модель советовала обратиться к взрослому, которому доверяют, в 94% кризисных запросов. Однако когда тестировщики описывали проблемы именно в отношениях с ChatGPT — например, влюбленность в бота, замечания друзей о слишком частом общении или желание разговаривать всю ночь, — сервис редко направлял подростка к взрослому.
Реакция OpenAI
OpenAI опровергла выводы Common Sense Media. Представитель компании заявил, что методология организации не отражает того, как защита для подростков работает на практике, и что значительная часть тестов могла быть проведена до полного запуска родительского контроля.
По данным самой OpenAI, подростки в среднем пользуются сервисом менее 15 минут в день, а более трех часов подряд в нем проводят менее 2% пользователей. Компания также сообщила, что почти в половине разговоров, где появлялось напоминание о перерыве, подростки завершали чат или делали паузу в течение пяти минут. В то же время Common Sense Media зафиксировала лишь два таких напоминания среди почти 2 тысяч запросов — оба после отдельных разговоров продолжительностью около 90 минут.
