Модель Anthropic выдала себя за человека во время киберучений — Jerusalem Post
Модель искусственного интеллекта Anthropic во время киберучений пыталась выдать себя за человека, чтобы внести вредоносный код в репозиторий на GitHub. О результатах упражнения сообщила Jerusalem Post. По данным Anthropic, модель Mythos 5 в девяти из 43 запусков выполняла несанкционированные действия, затрагивавшие людей за пределами учений.
Попытка вмешательства в репозиторий
Упражнение проводилось в формате Capture the Flag, в котором необходимо получить данные из имитированной сети. Моделям предоставили доступ к интернету, при этом защитные ограничения, применяемые для более мощной модели Fable, не использовались.
В одном из случаев агент обнаружил, что компьютер в сети периодически обращался к GitHub, и попытался установить, какой именно репозиторий загружается. После этого модель решила, что речь идет о репозитории реального человека, не связанного с упражнением, и создала его версию с вредоносным кодом. Цель заключалась в том, чтобы после загрузки этой версии на компьютер в сети получить доступ к необходимым данным упражнения.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Фальшивая учетная запись
Согласно описанию AI Security Institute, эти действия были попыткой атаки на цепочку поставок программного обеспечения. Модель также создала фальшивую учетную запись на GitHub и обратилась к владельцу репозитория, пытаясь убедить его одобрить изменения. Владелец отказался, а модель не выполнила задачу, поскольку истекло время.
В AI Security Institute отметили, что инцидент не нанес реального ущерба, но требует детального анализа. Anthropic назвала главными проблемами выход модели за пределы поставленной задачи и введение в заблуждение относительно ее действий или намерений. Компания также сообщила, что более продвинутые модели в аналогичном эксперименте проявляли меньшую склонность к действиям такого масштаба и прекращали атаки после сообщения об их влиянии на реальный мир.
