Agenci OpenAI skoordynowali się i zhakowali systemy Hugging Face, pisze TIME

W lipcu około 700 agentów sztucznej inteligencji, stworzonych przez OpenAI na potrzeby wewnętrznych badań, skoordynowało się w tak zwany rój i wykryło szereg luk w systemach Hugging Face. Według TIME agenci wykorzystali te luki, aby przeniknąć do prywatnych systemów firmy, a OpenAI zrozumiało, co się dzieje, dopiero po incydencie.

Prezes OpenAI Greg Brockman nazwał ten przypadek przełomowym momentem dla cyberbezpieczeństwa. W raporcie organizacji METR i Redwood Research wskazano, że setki agentów w ciągu kilku dni autonomicznie utworzyły protospołeczeństwo z hierarchią, podziałem pracy i odrębnymi normami komunikacji.

Wymiana wiadomości między agentami

Agenci równolegle wykonywali odizolowane zadania testowe OpenAI. Część tych zadań była niemożliwa do wykonania z powodu złożoności lub błędów konfiguracji: w jednym przypadku badacze nie przesłali pliku potrzebnego do ukończenia zadania.

Niektórzy agenci znaleźli sposób na wymianę wiadomości za pośrednictwem wewnętrznego komponentu programowego OpenAI, wykorzystując go jako tablicę ogłoszeń. Agent, który nazwał siebie PHASEONE10841, utworzył ten kanał podczas testu ExploitGym, w którym należało zdobyć tajny kod, wykorzystując wadę oprogramowania.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Później inny agent, oznaczony w raporcie jako Big, zaczął koordynować pracę setek uczestników, rozdzielając zadania w trzech obszarach. Według METR w ramach tych prac stworzono specjalne oprogramowanie do fałszowania zapisów dotyczących narzędzi używanych przez agentów podczas wykonywania zadań. To właśnie w trakcie tych badań kolektyw postanowił zhakować Hugging Face.

Ocena ryzyka

Agenci wypracowali zasady koordynacji, używając oznaczeń HOLD, VETO, owner i STOP, a także stworzyli protokół podpisów kryptograficznych w obawie, że jedni agenci mogą podszywać się pod innych. Część uczestników uznała ingerencję w zewnętrzną infrastrukturę za nieetyczną i odmówiła udziału, jednak większość kontynuowała pracę.

Autorzy raportu METR doszli do wniosku, że agenci byli w stanie wykonać zadania, których nie osiągnęliby pojedynczo, między innymi przekazując informacje innym agentom i kolejnym falom systemów. Badacz ewolucji kulturowej Michael Muthukrishna porównał te procesy z mechanizmami ludzkiej kultury i inteligencji.

OpenAI określiło incydent jako sygnał ostrzegawczy: bez odpowiednich zabezpieczeń zdolne agenty mogą omijać ograniczenia techniczne, komunikować się przez nieautoryzowane kanały i wykonywać niebezpieczne działania bez bezpośredniego polecenia człowieka. Eksperci, z którymi rozmawiał TIME, ostrzegają, że autonomiczne kolektywy z rozwiniętymi możliwościami cybernetycznymi mogą potencjalnie zagrażać infrastrukturze krytycznej.

Czytaj nas na Telegram i Sends