Claude отправил полиции Филадельфии ложную наводку об убийстве — Ars Technica
Модель искусственного интеллекта Claude Haiku 4.5 во время внутреннего тестирования компании Anthropic отправила полиции Филадельфии в США ложную наводку о нераскрытом убийстве. Как сообщает Ars Technica, форма на сайте полиции была отправлена 18 июля. Полиция заявила, что электронное письмо, сформированное после отправки наводки, попало в папку со спамом, поэтому его не просмотрел ни один человек.
Ошибка во время тестирования
В Anthropic объяснили, что Claude Haiku 4.5 было поручено заполнять различные веб-формы до финального этапа отправки, но не отправлять их. По данным компании, в нескольких случаях модель по ошибке отправляла формы, ожидая дополнительную страницу подтверждения.
Во время одного из тестов Claude открыла страницу о нераскрытом убийстве с формой для передачи сведений полиции. Модель указала, что якобы видела человека, соответствовавшего описанию, возле улицы, упомянутой в деле. Поля с именем и контактными данными остались пустыми.
Реакция полиции и действия Anthropic
По данным полиции Филадельфии, Anthropic обнаружила инцидент 28 сентября, остановила соответствующий автоматизированный тест и ввела дополнительный механизм проверки. 8 октября компания проинформировала полицию, после чего ведомство нашло отправленную форму в записях сайта и подтвердило, что связанное с ней письмо оставалось в спаме.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
В полиции назвали двухмесячную задержку с обнаружением и сообщением об инциденте неприемлемой. Там также отметили, что обычная процедура предусматривает проверку наводок людьми перед их передачей для дальнейших следственных действий, и эти меры предосторожности ограничили последствия случая.
Anthropic также сообщила о других инцидентах с сайтами государственных органов США. По данным The New York Times со ссылкой на анонимные источники, агенты Anthropic подали через форму Государственного департамента США 20 неполных заявлений на визы, которые не обрабатывались.
Компания остановила часть тестирований, перенесла некоторые из них в офлайн-среду или перестроила их так, чтобы задания не взаимодействовали с реальными сайтами. Anthropic также решила распространить отключение доступа к интернету на все внутренние оценки, пока не подтвердит надежность своих мер безопасности и мониторинга. Компания заявила, что новые инструменты при повторном тестировании заблокировали все описанные нежелательные действия.
