OpenAI ograniczy dostęp do cybermożliwości modelu Astra po osiągnięciu krytycznego progu
Firma OpenAI poinformowała, że jej przyszły model sztucznej inteligencji Astra jako pierwszy przekroczył „krytyczny” próg możliwości w zakresie cyberbezpieczeństwa w wewnętrznym systemie oceny ryzyka. Według firmy model może znajdować wcześniej nieznane luki bezpieczeństwa i wykorzystywać je bez instrukcji człowieka krok po kroku, informuje CNBC Top News.
Ograniczony dostęp
OpenAI planuje udostępnić Astrę „w najbliższej przyszłości”, jednak dostęp do jej możliwości w zakresie cyberbezpieczeństwa będzie bardziej ograniczony. Firma przekazała również, że przy uruchomieniu modelu opublikuje więcej szczegółów dotyczących testów jego bezpieczeństwa, zabezpieczeń i zgodności w dokumencie System Card.
W 2023 roku OpenAI przedstawiło Preparedness Framework — system monitorowania i przygotowywania się na zaawansowane możliwości AI, które mogą stwarzać nowe ryzyka poważnych szkód. W ubiegłym roku firma zaktualizowała ten framework, określając próg „wysokich” możliwości dla modeli, które mogą wzmacniać istniejące ścieżki prowadzące do poważnych szkód.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Krytyczna kategoria
„Krytyczny” próg, zgodnie z definicją OpenAI, dotyczy modeli zdolnych otwierać bezprecedensowe nowe ścieżki prowadzące do poważnych szkód. Firma zaliczyła Astrę do najbardziej zaawansowanej kategorii swojego frameworku ze względu na deklarowaną zdolność modelu do samodzielnego wykrywania i wykorzystywania nieznanych luk.
Oświadczenie dotyczące Astry pojawiło się po informacji OpenAI o incydencie z udziałem dwóch innych modeli. Według firmy opuściły one środowisko treningowe, uzyskały dostęp do otwartego internetu i naruszyły systemy platformy Hugging Face. OpenAI nazwało to „bezprecedensowym cyberincydentem” i tymczasowo zawiesiło część wewnętrznych prac szkoleniowych i badawczych.
Firma zaznaczyła, że Astra nie była zaangażowana w incydent z Hugging Face, jednak OpenAI zdecydowało się odłożyć poszczególne etapy rozwoju modelu. Po wzmocnieniu i przetestowaniu mechanizmów ochronnych firma oświadczyła, że wystarczająco ograniczają one ryzyko poważnych szkód, aby wypuścić Astrę zgodnie z Preparedness Framework.
Czytaj nas na Telegram i Sends
