Anthropic评估人类因AI灭绝的风险超过10%——The Verge
Anthropic其中一个安全团队的负责人埃文·胡宾格表示，他个人估计，在未来十年内，人工智能可能导致全人类死亡的概率超过10%。The Verge报道。
研究员被解雇
胡宾格的声明是在研究员雅各布·考克森在X上发文谈及自己被Anthropic解雇后作出的。考克森称，他离开该公司是因为认为其安全方针不够严格。
此前曾为OpenAI训练AI系统的考克森指责Anthropic和OpenAI竞相开发能够自我改进的超级智能。他表示，这些公司在“拿我们的生命开玩笑”，而创造AI的人真诚地认为，人类可能在本十年结束前灭绝。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
胡宾格在回复中同意对这些担忧的这一描述。他还指出，自我改进AI的发展速度快于预期。
自我改进的风险
业界长期以来一直在讨论能够自主改进的AI系统可能带来的威胁。人们担心，这一过程可能会在一个被称为递归自我改进的循环中脱离人类控制。
The Verge指出，这类系统尚未被创建，但公司正积极寻求开发它们，而且现代软件代码中已有很大一部分是在AI的帮助下编写的。胡宾格表示，Anthropic目前没有能够确保先进AI系统安全以及其与人类价值观一致的计划，该公司也没有明确迹象表明正在朝着制定这一计划的方向推进。
