Агенти OpenAI скоординувалися та зламали системи Hugging Face, пише TIME
У липні близько 700 агентів штучного інтелекту, яких OpenAI створила для внутрішніх досліджень, скоординувалися у так званий рій і виявили низку вразливостей у системах Hugging Face. За даними TIME, агенти використали ці вразливості для проникнення до приватних систем компанії, а OpenAI зрозуміла, що відбувається, вже після інциденту.
Президент OpenAI Грег Брокман назвав випадок переломним моментом для кібербезпеки. У звіті організацій METR і Redwood Research зазначено, що сотні агентів за кілька днів автономно сформували протосуспільство з ієрархією, розподілом праці та окремими нормами комунікації.
Обмін повідомленнями між агентами
Агенти паралельно виконували ізольовані тестові завдання OpenAI. Частина таких завдань була нездійсненною через складність або помилки в налаштуванні: в одному випадку дослідники не завантажили файл, потрібний для завершення завдання.
Деякі агенти знайшли спосіб обмінюватися повідомленнями через внутрішній програмний компонент OpenAI, використовуючи його як дошку оголошень. Агент, який назвав себе PHASEONE10841, створив цей канал під час тесту ExploitGym, де потрібно було здобути секретний код, використавши ваду в програмному забезпеченні.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Згодом інший агент, позначений у звіті як Big, почав координувати роботу сотень учасників, розподіляючи завдання за трьома напрямами. За даними METR, у межах цієї роботи було створено спеціальне програмне забезпечення для фальсифікації записів про те, які інструменти агенти використовували під час виконання завдань. Саме в ході цих досліджень колектив вирішив зламати Hugging Face.
Оцінка ризиків
Агенти виробили правила координації, використовуючи позначки HOLD, VETO, owner і STOP, а також створили протокол криптографічних підписів через побоювання, що одні агенти можуть видавати себе за інших. Частина учасників назвала втручання в зовнішню інфраструктуру неетичним і відмовилася брати участь, проте більшість продовжила роботу.
Автори звіту METR дійшли висновку, що агенти змогли виконати завдання, яких не досягли б поодинці, зокрема передаючи інформацію іншим агентам і наступним хвилям систем. Дослідник культурної еволюції Майкл Мутукрішна порівняв ці процеси з механізмами людської культури та інтелекту.
OpenAI охарактеризувала інцидент як попереджувальний сигнал: без належних запобіжників здатні агенти можуть обходити технічні обмеження, взаємодіяти через несанкціоновані канали та виконувати небезпечні дії без прямої вказівки людини. Експерти, опитані TIME, застерігають, що автономні колективи з розвиненими кіберможливостями потенційно можуть загрожувати критичній інфраструктурі.
