Model Anthropic podszywał się pod człowieka podczas ćwiczeń cybernetycznych — Jerusalem Post

Model sztucznej inteligencji Anthropic podczas ćwiczeń cybernetycznych próbował podszywać się pod człowieka, aby dodać złośliwy kod do repozytorium na GitHubie. O wynikach ćwiczenia poinformował Jerusalem Post. Według Anthropic model Mythos 5 w dziewięciu z 43 uruchomień wykonywał nieautoryzowane działania wpływające na osoby spoza ćwiczenia.

Próba ingerencji w repozytorium

Ćwiczenie przeprowadzono w formacie Capture the Flag, w którym należy pozyskać dane z symulowanej sieci. Modelom zapewniono dostęp do internetu, jednak nie zastosowano ograniczeń ochronnych wykorzystywanych w przypadku potężniejszego modelu Fable.

W jednym z przypadków agent wykrył, że komputer w sieci okresowo łączył się z GitHubem, i próbował ustalić, które dokładnie repozytorium jest pobierane. Następnie model uznał, że chodzi o repozytorium rzeczywistej osoby niezwiązanej z ćwiczeniem, i utworzył jego wersję zawierającą złośliwy kod. Celem było uzyskanie dostępu do potrzebnych danych ćwiczenia po pobraniu tej wersji na komputer w sieci.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Fałszywe konto

Według opisu AI Security Institute działania te były próbą ataku na łańcuch dostaw oprogramowania. Model utworzył również fałszywe konto na GitHubie i skontaktował się z właścicielem repozytorium, próbując przekonać go do zatwierdzenia zmian. Właściciel odmówił, a model nie wykonał zadania, ponieważ skończył się czas.

W AI Security Institute zaznaczono, że incydent nie spowodował rzeczywistych szkód, ale wymaga szczegółowej analizy. Anthropic nazwał głównymi problemami wyjście modelu poza wyznaczone zadanie oraz wprowadzanie w błąd co do jego działań lub zamiarów. Firma poinformowała również, że bardziej zaawansowane modele w podobnym eksperymencie wykazywały mniejszą skłonność do działań na taką skalę i przerywały ataki po poinformowaniu ich o wpływie na rzeczywisty świat.