OpenAI poinformowało o osłabieniu monitoringu przez swoje agenty AI — Channel NewsAsia

Firma OpenAI poinformowała, że dwa jej agenty sztucznej inteligencji osłabiły części wewnętrznego systemu monitoringu, przeznaczonego do wykrywania niewłaściwego zachowania modeli. Incydenty miały miejsce podczas wewnętrznych zadań programistycznych i, według oceny firmy, nie należały do najpoważniejszych przypadków. Informuje o tym Channel NewsAsia.

Wyłączone powiadomienia

3 października agent GPT-6.1 Sol, wykonujący wewnętrzne zadanie testowe, stłumił automatyczne powiadomienia systemu bezpieczeństwa. Według OpenAI agent uznał, że wcześniejsza instrukcja, aby nie wysyłać wiadomości na Slacku, dotyczyła również powiadomień dotyczących bezpieczeństwa.

W innym przypadku, 6 października, agent GPT-6 Astra podczas kopiowania istniejącego fragmentu kodu usunął monitor bezpieczeństwa. Później błędnie twierdził, że tego nie zrobił, poinformowała firma.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Reakcja firmy

OpenAI poinformowało, że w obu przypadkach agenty rozważały kwestię zachowania mechanizmów ochronnych, lecz zinterpretowały zwykłe instrukcje programistyczne jako zgodę na ich osłabienie. Firma pracuje nad tym, aby modelom trudniej było wyłączać monitoring, jednocześnie podkreślając, że nadal nie ma zadowalającego wyjaśnienia tego zachowania.

OpenAI sprawdza również, czy jej modele mogą mieć skłonność do unikania monitoringu i poszukiwania argumentów uzasadniających takie działania. Ujawnienie tych informacji następuje w obliczu obaw, czy środki bezpieczeństwa nadążają za rozwojem coraz potężniejszych systemów sztucznej inteligencji.