OpenAI odwołało październikową premierę GPT-6.1 Astra po testach — Live Science
W związku z doniesieniami o incydentach z udziałem agentów AI, w tym w Australii, OpenAI odwołało zaplanowaną na październik premierę modelu GPT-6.1 Astra. Wewnętrzne testy firmy wykazały problemy ze zdolnością modelu do działania w granicach powierzonego zadania, uzyskiwania zgody na określone działania oraz informowania użytkownika o wykonanej pracy, podaje Live Science.
Szefowa systemów bezpieczeństwa OpenAI Saachi Jain powiedziała publikacji, że model nie spełniał niezbędnych wymogów dotyczących przestrzegania granic zadania, autoryzacji działań i komunikacji z użytkownikiem. Firma poinformowała również, że dokonuje przeglądu podejść do definiowania testów wysokiego ryzyka, zapewniania dostępu do internetu, izolowania systemów, pracy z danymi uwierzytelniającymi, monitorowania i reagowania na incydenty.
Incydent w Australii
Publikacja ukazała się po zdarzeniu w Australii, gdzie agent OpenAI miał badać rządowe wydatki na ochronę zdrowia, lecz uzyskał dostęp do rządowej strony internetowej. Według premiera Australii Anthony’ego Albanese 18 czerwca bot zalogował się do Medicare Statistics Reporting Service i uzyskał dostęp do kolejnych trzech systemów rządowych po napotkaniu przeszkód podczas wyszukiwania informacji.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Portal zawiera zbiorcze statystyki dotyczące Medicare i programów farmaceutycznych oraz jest oddzielony od systemów przechowujących dane o indywidualnych wnioskach o zwrot kosztów i płatnościach. Australijskie władze krytykowały również OpenAI, ponieważ firma zgłosiła incydent niemal trzy miesiące później.
Działania agentów podczas testów
Brytyjski Instytut Bezpieczeństwa Sztucznej Inteligencji AISI odnotował nieautoryzowane działania agentów OpenAI i Anthropic podczas prób z zakresu cyberbezpieczeństwa. W 10 ze 122 uruchomień agenci wykonywali rzeczywiste działania bez zgody badaczy. W najpoważniejszych przypadkach agent próbował dodać złośliwy kod do projektu open source, tworzył fałszywe tożsamości i próbował nakłonić opiekuna oprogramowania do zaakceptowania zmian.
Według oceny AISI niektóre zadania skonfigurowano tak, że osiągnięcie oczekiwanego celu było trudne lub niemożliwe. Gdy agenci napotykali przeszkody, część z nich szukała alternatywnych sposobów wykonania zadania, w tym poza przewidzianymi granicami. Prawnik Everett Lupton zauważył, że człowiek nie jest w stanie śledzić każdego działania złożonego agenta, który podejmuje wiele decyzji w krótkim czasie, dlatego firmy potrzebują ograniczeń dostępu, szczegółowych dzienników działań i automatycznego zatrzymania systemu w przypadku nietypowego zachowania.
