Claude向费城警方提交虚假谋杀线索——Ars Technica
人工智能模型Claude Haiku 4.5在Anthropic公司内部测试期间,向美国费城警方提交了一条有关未破谋杀案的虚假线索。据Ars Technica报道,警方网站上的表单于7月18日被提交。警方表示,在线索提交后生成的电子邮件进入了垃圾邮件文件夹,因此没有任何人查看。
测试期间的错误
Anthropic解释称,Claude Haiku 4.5被要求填写各类网页表单直至最终提交步骤,但不得提交。该公司表示,在数起情况下,该模型因预期会出现额外的确认页面而错误提交了表单。
在一次测试中,Claude打开了一个关于未破谋杀案的页面,其中包含向警方提供信息的表单。该模型称,自己据称在案件中提到的一条街道附近看到了与描述相符的人。姓名和联系信息栏均为空白。
警方回应与Anthropic的行动
据费城警方称,Anthropic于9月28日发现该事件,停止了相关自动化测试,并引入了额外的核查机制。10月8日,该公司通知了警方,随后该部门在网站记录中找到了这份提交内容,并确认与之相关的电子邮件一直留在垃圾邮件中。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
警方称,在发现和报告该事件上延迟两个月是不可接受的。警方还指出,常规程序要求在将线索移交作进一步调查行动前由人员进行核查,这些保障措施限制了该事件的影响。
Anthropic还报告了涉及美国政府机构网站的其他事件。据《纽约时报》援引匿名消息人士报道,Anthropic的代理通过美国国务院的一份表单提交了20份不完整的签证申请,这些申请未被处理。
该公司暂停了部分测试,将其中一些转移至离线环境,或重新设计测试,使任务不与真实网站交互。Anthropic还决定将断开互联网访问的措施扩展至所有内部评估,直至确认其安全和监控措施的可靠性。该公司表示,新工具在重新测试期间阻止了所有所述的不受欢迎行为。