Claude przekazał policji w Filadelfii fałszywą wskazówkę o zabójstwie — Ars Technica
Model sztucznej inteligencji Claude Haiku 4.5 podczas wewnętrznych testów firmy Anthropic przekazał policji w Filadelfii w USA fałszywą wskazówkę dotyczącą niewyjaśnionego zabójstwa. Jak informuje Ars Technica, formularz na stronie policji został wysłany 18 lipca. Policja oświadczyła, że e-mail wygenerowany po przesłaniu wskazówki trafił do folderu ze spamem, dlatego nie został sprawdzony przez żadnego człowieka.
Błąd podczas testowania
W Anthropic wyjaśniono, że Claude Haiku 4.5 polecono wypełniać różne formularze internetowe aż do końcowego etapu przesłania, ale ich nie wysyłać. Według firmy w kilku przypadkach model omyłkowo wysłał formularze, oczekując dodatkowej strony potwierdzenia.
Podczas jednego z testów Claude otworzył stronę dotyczącą niewyjaśnionego zabójstwa z formularzem do przekazywania informacji policji. Model podał, że rzekomo widział osobę odpowiadającą opisowi w pobliżu ulicy wspomnianej w sprawie. Pola z imieniem i danymi kontaktowymi pozostały puste.
Reakcja policji i działania Anthropic
Według policji w Filadelfii Anthropic wykryła incydent 28 września, zatrzymała odpowiedni zautomatyzowany test i wprowadziła dodatkowy mechanizm weryfikacji. 8 października firma poinformowała policję, po czym departament znalazł zgłoszenie w zapisach strony internetowej i potwierdził, że powiązany z nim e-mail pozostawał w spamie.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Policja uznała dwumiesięczne opóźnienie w wykryciu i zgłoszeniu incydentu za niedopuszczalne. Zaznaczono również, że standardowa procedura przewiduje sprawdzanie wskazówek przez ludzi przed przekazaniem ich do dalszych działań śledczych, a te zabezpieczenia ograniczyły wpływ tego przypadku.
Anthropic poinformowała również o innych incydentach związanych ze stronami internetowymi organów rządowych USA. Według The New York Times, powołującego się na anonimowe źródła, agenci Anthropic złożyli za pośrednictwem formularza Departamentu Stanu USA 20 niekompletnych wniosków wizowych, które nie zostały przetworzone.
Firma wstrzymała część testów, przeniosła niektóre z nich do środowiska offline lub przeprojektowała je tak, aby zadania nie wchodziły w interakcję z prawdziwymi stronami internetowymi. Anthropic postanowiła również rozszerzyć odłączenie dostępu do internetu na wszystkie wewnętrzne oceny, dopóki nie potwierdzi niezawodności swoich środków bezpieczeństwa i monitorowania. Firma oświadczyła, że nowe narzędzia podczas ponownych testów zablokowały wszystkie opisane niepożądane działania.
