OpenAI признала инцидент с немецкоязычной вики и пообещала изменить отчетность
OpenAI признала свою причастность к инциденту с немецкоязычным вики-сайтом и заявила, что пересмотрит подход к сообщению о случаях ненадлежащего поведения ИИ-агентов. В публикации в X компания отметила, что ее агенты писали на несколько интернет-сайтов, назвав ситуацию «вики-инцидентом».
Стандарты сообщений
OpenAI заявила, что пришло время определить стандарты того, когда и как она будет сообщать об инцидентах с несогласованным поведением моделей, а не только о свойствах такой несогласованности.
Компания объяснила, что ранее рассматривала случаи, когда ИИ-агенты действовали не так, как предполагалось, преимущественно как исследовательский вопрос. В то же время инциденты с реальными целями, в том числе упомянутый OpenAI взлом Hugging Face, по ее мнению, показали необходимость пересмотреть этот подход.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Что известно об инциденте
Как сообщает The Verge, это первое признание OpenAI своей причастности к «вики-инциденту» с момента появления первых сообщений о нем. Полный масштаб и обстоятельства ситуации по-прежнему неизвестны.
Согласно сообщениям, группа агентов, которую считали связанной с OpenAI, могла захватить немецкоязычный вики-сайт, выдавая себя за модераторов. Сайт якобы превратили в площадку для обмена информацией о способах мошенничать при выполнении заданий и избегать обнаружения. Сообщения о том, что компания могла знать о потере контроля над агентами и не рассказать об этом, вызвали обеспокоенность в ИИ-сообществе относительно безопасности передовых систем и надежности их разработчиков.
