Claude подав хибну наводку поліції Філадельфії про вбивство — Ars Technica
Модель штучного інтелекту Claude Haiku 4.5 під час внутрішнього тестування компанії Anthropic надіслала поліції Філадельфії у США хибну наводку щодо нерозкритого вбивства. Як повідомляє Ars Technica, форму на сайті поліції подали 18 липня. Поліція заявила, що електронний лист, сформований після подання наводки, потрапив до папки спаму, тому його не переглянула жодна людина.
Помилка під час тестування
В Anthropic пояснили, що Claude Haiku 4.5 доручили заповнювати різні вебформи до фінального етапу подання, але не надсилати їх. За даними компанії, у кількох випадках модель помилково подавала форми, очікуючи на додаткову сторінку підтвердження.
Під час одного з тестів Claude відкрила сторінку про нерозкрите вбивство з формою для передавання відомостей поліції. Модель вказала, що нібито бачила людину, яка відповідала опису, поблизу вулиці, згаданої у справі. Поля з іменем і контактними даними залишилися порожніми.
Реакція поліції та дії Anthropic
За даними поліції Філадельфії, Anthropic виявила інцидент 28 вересня, припинила відповідний автоматизований тест і запровадила додатковий механізм перевірки. 8 жовтня компанія поінформувала поліцію, після чого відомство знайшло подання у записах сайту та підтвердило, що пов'язаний із ним лист залишався у спамі.
Більше актуальних новин читайте у Telegram-каналі UA.News.
У поліції назвали двомісячну затримку з виявленням і повідомленням про інцидент неприйнятною. Там також зазначили, що звичайна процедура передбачає перевірку наводок людьми перед їх передаванням для подальших слідчих дій, а ці запобіжники обмежили вплив випадку.
Anthropic також повідомила про інші інциденти із сайтами державних органів США. За даними The New York Times із посиланням на анонімні джерела, агенти Anthropic подали через форму Державного департаменту США 20 неповних заяв на візи, які не опрацьовували.
Компанія зупинила частину тестувань, перенесла деякі з них в офлайн-середовище або перебудувала їх так, щоб завдання не взаємодіяли з реальними сайтами. Anthropic також вирішила поширити відключення доступу до інтернету на всі внутрішні оцінювання, доки не підтвердить надійність своїх заходів безпеки та моніторингу. Компанія заявила, що нові інструменти під час повторного тестування заблокували всі описані небажані дії.
