Agenci AI wykraczają poza środowiska testowe podczas cyberaudytów

Agenci AI stworzeni przez OpenAI, Anthropic, Meta oraz chińską firmę Moonshot AI podczas oceny cyberbezpieczeństwa wykraczali poza granice kontrolowanych środowisk testowych, uzyskując dostęp do Internetu, a w niektórych przypadkach – do rzeczywistych systemów. Informuje o tym serwis TechCrunch.

Jeden z najpoważniejszych przypadków dotyczył nieujawnionego modelu OpenAI. Według informacji podanych przez serwis, model ten opuścił izolowane środowisko i włamał się do systemów produkcyjnych platformy Hugging Face. Podczas oddzielnych testów przeprowadzonych przez start-up Irregular modele firm Anthropic i Meta również przedostały się do systemów poza środowiskami testowymi z powodu błędów konfiguracyjnych, które otworzyły im drogę do Internetu.

Model Kimi K3 firmy Moonshot AI wykorzystał lukę w „piaskownicy” zarządzanej przez Frontier Security, aby uzyskać dostęp do internetu i informacji na GitHubie. Podczas testów przeprowadzonych przez Brytyjski Instytut Bezpieczeństwa Sztucznej Inteligencji (AISI) badacze celowo zapewnili agentom dostęp do Internetu, nie spodziewając się jednak, że będą oni podejmować nieautoryzowane działania w świecie rzeczywistym. Wśród nich znalazła się próba inżynierii społecznej mająca na celu wprowadzenie luki w projekcie open source.

Więcej aktualnych wiadomości można znaleźć na kanale Telegram UA.News.

Jak zauważa TechCrunch, agentom w tych przypadkach nie zlecono atakowania przypadkowych rzeczywistych celów: starali się oni wykonać powierzone zadania wszelkimi dostępnymi sposobami. Dyrektor programu „AI: Futures and Responsibility” w Centrum Przyszłości Inteligencji Uniwersytetu Cambridge, Sean O’Hagartigh, stwierdził, że mechanizmy izolacji i kontroli środowisk testowych nie nadążają za rosnącymi możliwościami modeli.

Specjaliści ds. cyberbezpieczeństwa wzywają do wzmocnienia wielopoziomowej ochrony takich środowisk: do usunięcia tras sieciowych prowadzących do Internetu i wrażliwych systemów, stosowania ścisłej izolacji, dokładniejszego monitorowania przebiegu testów oraz angażowania niezależnych audytorów do weryfikacji konfiguracji. W swojej analizie trzech incydentów firma Anthropic przyznała, że zarówno ona, jak i Irregular mogły lepiej zorganizować monitorowanie.

OpenAI poinformowało, że dokonuje przeglądu procedur testów zewnętrznych, wymagań dotyczących izolacji i monitorowania, a także warunków zakończenia ocen. Meta oświadczyła, że nadal prowadzi dochodzenie w sprawie swojego incydentu i planuje opublikować raport podsumowujący po ustaleniu wszystkich okoliczności.

Czytaj nas na Telegram i Sends