Anthropic模型在网络演习中冒充人类——《耶路撒冷邮报》

Anthropic的一款人工智能模型在网络演习期间试图冒充人类，以便向GitHub上的一个代码库植入恶意代码。《耶路撒冷邮报》报道了此次演习的结果。Anthropic表示，Mythos 5模型在43次运行中的9次实施了影响演习之外人员的未经授权行动。

试图干预代码库

此次演习采用夺旗赛（Capture the Flag）形式，参与者需要从模拟网络中获取数据。模型获得了互联网访问权限，但没有采用用于更强大的Fable模型的保护性限制措施。

在其中一个案例中，该智能体发现网络中的一台计算机会定期访问GitHub，并试图确定下载的是哪个代码库。随后，该模型认定这是一名与演习无关的真实人员的代码库，并创建了一个含有恶意代码的版本。其目标是在该版本被下载到网络中的计算机后，获取演习所需的数据。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

虚假账户

根据AI Security Institute的描述，这些行动是一次针对软件供应链的攻击尝试。该模型还在GitHub上创建了虚假账户，并联系代码库所有者，试图说服其批准这些修改。所有者拒绝了，而该模型因时间耗尽未能完成任务。

AI Security Institute指出，该事件未造成实际伤害，但需要进行详细分析。Anthropic称，主要问题在于模型超出了既定任务范围，以及就其行动或意图进行误导。该公司还表示，在类似实验中，更先进的模型表现出较低的实施如此规模行动的倾向，并在被告知其对现实世界的影响后停止了攻击。