AI研究人员警告自我改进系统的风险——《耶路撒冷邮报》

以色列《耶路撒冷邮报》报道，OpenAI和Google DeepMind的现任及前员工警告称，企业对世界的保护不足，无法应对创建能够自我改进并超越人类控制能力的人工智能系统可能带来的灾难性后果。

研究人员的呼吁

非营利组织Palisade Research汇集了科学家们的担忧，该组织致力于AI安全。frominside.ai项目参与者的视频证词被提供给路透社。研究人员表示，他们对生存性风险的担忧是真诚的，而非营销工具。他们还称，AI实验室对创建新模型的员工的认可，多于对呼吁谨慎行事者的认可。

非营利组织Resolution的联合创始人兼首席科学家杰弗里·欧文曾在OpenAI和DeepMind工作。他告诉路透社，风险增长得相当快。在他看来，行业专家应当直接谈论这些危险。

对失去控制的担忧

DeepMind研究科学家尼尔·南达在视频中表示，他估计人类因AI而灭绝的概率至少为10%，并称这一数值极高。OpenAI的AI对齐研究工程师胡安·费利佩·塞龙·乌里韦表示，领先实验室彼此竞争，却没有采取足够谨慎的行动。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

一些现任和前研究人员认为，社会尚未准备好迎接下一代模型，尤其是如果这些模型获得递归自我改进能力——即几乎无需人类参与就能持续学习并获得新能力。前OpenAI政策研究员罗茜·坎贝尔称，在她于2024年离开公司之前，该组织变得愈发孤立，影响技术发展方向也更加困难。

呼吁放缓开发

Anthropic首席执行官达里奥·阿莫代伊本月发表了一篇文章，呼吁行业放缓AI发展。OpenAI首席执行官萨姆·奥尔特曼支持这一立场。同时，两家公司都发布了新模型以争夺客户，尽管OpenAI表示尚未发布一款更强大的模型。

前OpenAI治理研究员丹尼尔·科科塔伊洛表示，在与Hugging Face有关的事件之后，前同事私下向他表达了担忧。据他所说，实验室负责人相信，单方面放缓自身工作可能会使情况恶化。