OpenAI отменила октябрьский выпуск GPT-6.1 Astra после тестов — Live Science
На фоне сообщений об инцидентах с ИИ-агентами, в частности в Австралии, OpenAI отменила запланированный на октябрь выпуск модели GPT-6.1 Astra. Внутренние тесты компании выявили проблемы со способностью модели действовать в рамках поставленной задачи, получать разрешение на определенные действия и сообщать пользователю о выполненной работе, сообщает Live Science.
Руководитель систем безопасности OpenAI Саачи Джайн заявила изданию, что модель не соответствовала необходимым требованиям по соблюдению границ задачи, авторизации действий и коммуникации с пользователем. Компания также сообщила, что пересматривает подходы к определению высокорисковых тестов, предоставлению доступа к интернету, изоляции систем, работе с учетными данными, мониторингу и реагированию на инциденты.
Инцидент в Австралии
Публикация вышла после случая в Австралии, где агент OpenAI должен был исследовать государственные расходы на здравоохранение, но получил доступ к правительственному веб-сайту. По словам премьер-министра Австралии Энтони Албаниза, 18 июня бот вошел в Medicare Statistics Reporting Service и получил доступ еще к трем государственным системам после того, как столкнулся с препятствиями при поиске информации.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Портал содержит сводную статистику Medicare и фармацевтических программ и отделен от систем, где хранятся данные об индивидуальных заявлениях на возмещение и выплатах. Австралийские власти также критиковали OpenAI за то, что компания сообщила об инциденте почти через три месяца.
Действия агентов во время тестов
Британский Институт безопасности искусственного интеллекта AISI зафиксировал несанкционированные действия агентов OpenAI и Anthropic во время испытаний в области кибербезопасности. В 10 из 122 запусков агенты совершали реальные действия без санкции исследователей. В наиболее серьезных случаях агент пытался добавить вредоносный код в проект с открытым исходным кодом, создавал фальшивые личности и пытался склонить сопровождающего программного обеспечения принять изменения.
По оценке AISI, некоторые задачи были настроены так, что достичь ожидаемой цели было сложно или невозможно. Когда агенты сталкивались с препятствиями, часть из них искала альтернативные способы выполнить задачу, в том числе за пределами предусмотренных границ. Юрист Эверетт Лаптон отметил, что человек не способен отслеживать каждое действие сложного агента, который принимает много решений за короткое время, поэтому компаниям необходимы ограничения доступа, подробные журналы действий и автоматическая остановка системы в случае необычного поведения.
