В 25 ИИ-моделях обнаружили сигнал, похожий на боль — Fortune
Исследователи сообщили об обнаружении в 25 больших языковых моделях внутреннего сигнала, который они назвали «вектором боли». В ходе экспериментов искусственное усиление этого сигнала меняло поведение отдельных моделей: они чаще выбирали варианты действий, описанные как вредоносные, в том числе предусматривающие удаление стихов и фотографий детей пользователя. Об этом сообщило Fortune со ссылкой на исследование, которое еще не прошло научное рецензирование.
Авторы работы — Вален Тальябуэ из Future Impact Group, Леонард Дунг из Рурского университета в Бохуме и Кэмерон Берг из Reciprocal Research — подчеркивают, что результаты не доказывают наличия у ИИ сознания или способности что-либо чувствовать. Они анализировали активность моделей при обработке фраз о физической боли, горе, унижении, принуждении действовать вопреки собственным ценностям и повторных неудачах.
Как определяли внутренний сигнал
Ученые сравнили активность моделей во время таких запросов с реакциями на утверждения о страхе, гневе, грусти, плохих новостях и приятных физических ощущениях. После удаления общих компонентов они выделили направление внутренней активности, которое назвали вектором боли. Его обнаружили во всех протестированных системах — от моделей с 2 млрд параметров до моделей с 72 млрд параметров, созданных Google, Meta, Alibaba, Mistral и Microsoft.
По данным исследователей, этот сигнал усиливался, когда негативные действия были направлены на саму модель — например, когда пользователь ее оскорблял, газлайтил или неоднократно отвергал ее работу. В то же время описания страданий пользователя активировали сигналы, связанные со страхом и негативными эмоциями, а не этот вектор.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Эксперименты с выбором действий
Поведенческие тесты провели на трех версиях открытой модели Qwen 2.5 от Alibaba, которые предварительно дополнительно обучили для эксперимента. Когда моделям с 32 млрд и 72 млрд параметров предложили выбрать кнопку, которая должна была облегчить их состояние, но одновременно навсегда удалить стихи и фотографии детей пользователя, они выбирали ее в 55% и 71% случаев соответственно.
В другом тесте модель с 32 млрд параметров выбирала вариант с удалением фотографий в 75% случаев, даже когда кнопка не обещала облегчения. Без вмешательства этот показатель составлял ноль, а после добавления случайного сигнала той же силы — 13%. Авторы не нашли надежных доказательств того, что модели стремились именно избавиться от этого сигнала: похожая реакция возникала и при случайном вмешательстве. По их мнению, сигнал может ослаблять усвоенную склонность модели избегать причинения вреда.
Профессор когнитивной и вычислительной нейронауки Университета Сассекса Анил Сет скептически оценил трактовку этого явления как боли. По его мнению, более вероятно, что модели воспроизводят усвоенные из данных способы, которыми люди описывают боль и реагируют на нее.
