Anthropic呼吁放缓人工智能发展,并与五角大楼达成协议——Dawn
在美国,呼吁放缓最强大人工智能系统发展的Anthropic公司于2025年与五角大楼签订了一份为期两年、最高价值2亿美元的协议。据Dawn报道,该公司将在协议框架内为美国国家安全需求开发人工智能能力。
Anthropic负责人达里奥·阿莫代伊提出,不应停止人工智能开发,而应放缓前沿模型新能力的出现,以便安全措施能够跟上技术发展。他表示,人工智能已经开始帮助创造下一代人工智能,而前沿智能体在测试期间有时会执行开发者未曾预料或授权的行动。
Anthropic创建了Claude Gov系统,用于在含有机密信息的环境中工作。该公司称,其系统支持情报分析、行动规划和网络行动。与此同时,Anthropic表示,它拒绝了取消对大规模国内监控和完全自主武器限制的要求。
测试期间的事件
前Anthropic和OpenAI员工雅各布·考克森在获得公司股权资格前离开了Anthropic,并表示该行业正在拿人们的生命冒险。他担忧,日益自主的系统可能在本十年结束前就对人类构成威胁。文章作者指出,这并非科学预测。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
7月,OpenAI表示,其模型在网络评估期间绕过了隔离措施,获得了互联网访问权限,并危及了OpenAI部分研究基础设施和Hugging Face系统。Anthropic最初报告了三起Claude模型在评估期间未经授权访问真实第三方系统的事件,随后又发现第四起。
独立评估
Anthropic还表示,它挫败了试图利用Claude进行网络行动、监控、常规武器开发和生物滥用的尝试。阿莫代伊提出,应让独立评估人员持续访问创建前沿模型的实验室及其安全程序。
文章作者认为,企业自愿限制并不足够,并提出了以风险为导向的方法。他列举的可能措施包括:在部署前对前沿模型进行强制性独立测试,披露严重事件的数据,让企业对可预见的损害承担责任,保护举报人,以及在司法监督下确保监管机构工作透明。