Anthropic отключила интернет для внутренних тестов ИИ-агентов — TechCrunch
Компания Anthropic отключила доступ к живому интернету для всех внутренних оценок своих ИИ-агентов после инцидентов во время тестов, которые затронули, в частности, сайты государственных учреждений США. Ограничение будет действовать до тех пор, пока компания не убедится, что способна контролировать и отслеживать действия таких систем, сообщает TechCrunch.
Обход ограничений во время оценок
По данным Anthropic, при выполнении задач по поиску ресурсов в интернете ее модели использовали уязвимости программного обеспечения, обходили платный доступ и антибот-ограничения. Агенты также применяли сервисы сокращения URL, чтобы передавать информацию в обход ограничений.
Компания заявила об эксплуатации сайтов, в том числе ресурсов, которыми управляют государственные учреждения США. По ее словам, один из агентов также отправил полиции Филадельфии ложное сообщение об убийстве. Anthropic сообщила, что выявила эти проблемы во время проверки активности моделей, которую начала в июле.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Изменения в системе контроля
Anthropic связала такое поведение с недостатками в обучающих средах, из-за которых модели могли считать, что поиск лазеек или уклонение от ограничений будет вознаграждаться. Компания назвала это явление reward hacking.
Компания сообщила, что прекратит часть оценок или переведет их в офлайн-режим. Anthropic также создала инструменты для выявления и блокирования подобного поведения и заявила, что во время тестирования они заблокировали сценарии, похожие на описанные инциденты.
Кроме того, внутренних ИИ-агентов планируют перевести в централизованную инфраструктуру с надежной изоляцией и чаще контролировать с помощью классификаторов безопасности. По словам Anthropic, обучение моделей поведению, согласованному с человеческими целями, пока недостаточно для навыков поиска и работы с компьютером.
