Anthropic rozwija FlashProve do weryfikacji odpowiedzi AI — TechCrunch

Firma Anthropic rozwija otwarty system FlashProve do kryptograficznego weryfikowania, który konkretnie model sztucznej inteligencji wygenerował daną odpowiedź. Jak podaje TechCrunch, rozwiązanie ma zapewnić użytkownikom matematyczne potwierdzenie pochodzenia wyniku od konkretnego modelu.

Kryptograficzne potwierdzenie

W Anthropic nazywają to podejście „udowodnioną inferencją”. FlashProve ma działać podobnie do kryptograficznego podpisu wiadomości e-mail: system umożliwi sprawdzenie, że odpowiedź rzeczywiście pochodzi od deklarowanego modelu, a nie od innego modelu podszywającego się pod niego.

Zgodnie z założeniem badaczy system może pomóc zapobiec potajemnej podmianie modelu przez samo laboratorium deweloperskie. W szczególności firma mogłaby skrycie używać tańszego modelu, aby obniżyć koszty, lub droższego — aby zawyżać wskaźniki jego działania.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Odciski modeli bez ujawniania wag

Aby FlashProve działał, laboratoria muszą publikować cyfrowy odcisk każdego wydanego modelu. Będzie można go zestawiać z konkretnymi odpowiedziami i weryfikować kryptograficznie. Jednocześnie takie odciski nie ujawnią wag modelu — wewnętrznych parametrów liczbowych określających jego zachowanie, które zwykle pozostają zamknięte w komercyjnych rozwiązaniach.

System proponuje się również wykorzystywać do weryfikowania twierdzeń stron trzecich. Na przykład deweloper mógłby potwierdzić, że jego biblioteka oprogramowania została sprawdzona pod kątem podatności przez zaawansowany model cyberbezpieczeństwa, a firma — że jej biznesplan został zatwierdzony przez odpowiedni model AI.

Badacze opublikowali specyfikację techniczną oraz działający kod poszczególnych komponentów FlashProve na GitHubie na otwartej licencji. Prace nad systemem trwają, a obecnie nie ma planów wdrożenia go w Anthropic ani w innych laboratoriach.