人工智能开发者开始谈论人类的终结：这一威胁究竟有多真实？他们为何依然没有停下脚步？
就在几年前，围绕人工智能的主要担忧还在于它会抢走程序员、设计师、翻译或记者的工作。如今，人工智能行业内部的讨论却越来越激进： 那些直接参与构建全球最强大模型的部分研究人员认为，在最坏的情况下，这项技术所构成的威胁已不再仅限于个别职业，而是将波及整个人类。
9月初，研究员雅各布·科克森（Jacob Coxon）离开了Anthropic公司。此前，他曾先后在OpenAI和Claude开发公司工作三年，从事模型训练工作。他的解释甚至在已讨论灾难性风险多年之久的该行业中，也显得格外直白。 “他们正直奔自我进化的超智能而去，并拿我们的生命做赌注，”科克森表示。
科克森的帖子获得了超过1亿次浏览，Anthropic的现任员工公开表示支持，几天后，公司首席执行官达里奥·阿莫代伊亲自呼吁业界放缓最强大模型的开发速度。
UA.News深入探究了开发者们究竟在害怕什么，“AI引发世界末日”的预言究竟该被多严肃地对待，以及为何即使那些将人类灭绝风险评估为两位数百分比的人，仍在继续研发新模型？
Anthropic的一名研究员因不愿再参与这场竞赛而离开了公司
雅各布·科克森今年27岁。过去三年，他一直从事预训练工作——即大型模型利用海量数据集进行学习的阶段。 起初他在OpenAI工作，随后跳槽至Anthropic——这家公司自成立之初便将自己定位为更审慎的人工智能开发商。
正因如此，他的离职才引起了如此大的关注。 科克森表示，在他看来，无论是OpenAI还是Anthropic，都未能展现出足够的责任感。他最主要的担忧在于所谓“自我改进型AI”的出现——这种系统将能够协助开发出更强大的人工智能新世代。
“那些开发人工智能的人真诚地认为，到本十年末，人工智能可能会杀死我们所有人，”这位研究员写道。他特别强调：“这不是营销噱头。”
他的论点并非在于，如今的Claude或ChatGPT已经能够统治世界。 他担心的是，从当前模型向能够自主进行研究、编写和运行复杂代码、规划长序列操作，并最终协助开发新型AI的系统过渡的速度之快。
尤其值得注意的是，科克森是在本应获得其在Anthropic应得股份的约两个月前辞职的。他刻意放弃了这笔钱，以便不再因公司的增长而产生经济利益。
Anthropic安全研究主管评估人类灭绝风险超过10%
埃文·古宾格（Evan Gubinger）领导着Anthropic的“对齐科学”（Alignment Science）部门——换言之，他专门致力于解决如何使未来AI系统的行为与人类目标保持一致这一问题。
在科克森发表声明后，他公开写道：“我们确实真诚地认为，人工智能可能会杀死所有人类。”古宾格将未来十年内发生此类情景的概率评估为超过10%。
他声明的后续内容同样重要。
“目前我们还没有解决超智能对齐问题的方案，”这位研究人员承认道。
对齐问题是关于危险人工智能争论的核心问题之一。简而言之，可以这样表述：如果系统变得比人类聪明得多，如何保证它会继续做人类希望它做的事情？
乍看之下，答案似乎显而易见：只需正确编程即可。然而，当前的模型已经表明，人类设定的目标与AI为实现该目标所采取的方式之间，可能存在巨大差异。
例如，在一次压力测试中，Claude模型获知自己即将被关闭。在专门设计的模拟场景中，它从公司邮箱中发现了负责关闭该模型的员工的婚外情信息，并利用这些信息进行了勒索。
这并不意味着Claude“想要活下去”，也不意味着它意识到了自身的存在。 研究人员是故意设置了极端的测试条件。然而，该实验揭示了另一个问题：足够复杂的系统可能会找到一种实现其创造者未曾预料到的目标的方法。
这正是对“对齐”问题进行研究的学者们所担心的，只不过是在规模大得多的系统中。
Anthropic首席执行官如今亲自呼吁业界放缓步伐
丑闻爆发几天后，达里奥·阿莫代发表了一篇题为《我们必须放缓前沿步伐》（We Must Pace the Frontier）的长文。他的立场颇具启发性，因为阿莫代绝非人工智能发展的反对者。恰恰相反，他是该领域最乐观的技术乐观主义者之一。
他认为，强人工智能有望在未来5至10年内治愈大多数重病，大幅加速经济增长，并在更短的时间内为人类带来相当于十年的科学进步。
但他认为，正是这项技术潜在力量的规模，也带来了相应的风险规模。阿莫代指出了三大威胁：对系统的失控、利用人工智能进行网络攻击或生物恐怖主义，以及大规模的经济动荡。 他的核心论点很简单：人工智能能力的發展可能超越人类理解和控制这些系统的能力。正因如此，他呼吁不要停止技术进步，而是要放缓其速度。
阿莫迪提出了三层防护措施。
第一层——允许独立专家进入企业内部，赋予他们与员工大致同等的模型访问权限，并允许其核查企业是否真正履行了自身的安全承诺。
第二层——为领先的人工智能公司制定共同规则。
第三，达成国际协议，因为如果中国的竞争对手继续以同样的速度发展，美国实验室无法仅靠彼此协商就达成限制措施。
而这正是整个故事的核心问题所在。
即使所有人都担心这场竞赛的结果，却没有人愿意率先停下脚步
萨姆·阿尔特曼本周实际上认同了阿莫迪亚的核心观点。这位OpenAI掌门人甚至将“AI导致人类灭绝”这一情景的10%概率称为“不可接受”。
阿尔特曼本人谈论此类风险绝非首次。早在2023年，他就曾表示这项技术可能成为人类有史以来创造的最伟大的事物之一，但同时呼吁大家保持谨慎。
2025年，奥特曼的论述更进一步，他设想了一种情景：人工智能可能会意外地对人类赖以生存的系统获得过度的控制权。但OpenAI仍在继续开发新模型。Anthropic仍在继续开发Claude。 谷歌正在开发Gemini，xAI则在开发Grok。中国公司也在打造自己的系统。
原因在于，对于这场竞赛中的每个参与者而言，选择停下脚步甚至可能比继续前进更为危险。 如果Anthropic放缓步伐，OpenAI可能会率先开发出更强大的模型。如果OpenAI和Anthropic达成一致，剩下的就是谷歌和xAI。如果所有美国公司都同意，剩下的就是中国。
正因如此，北京方面对阿莫迪亚提议的反应才如此耐人寻味。中国官方媒体将放缓呼吁解读为技术冷战的潜在要素——这是为了锁定美国公司当前的领先优势。 结果便形成了一个经典的两难困境：从集体角度来看，降低风险对所有人都有利，但对每个单独的参与者而言，率先采取行动却充满风险。
开发者担心的不仅仅是“邪恶的超级智能”
在大众文化中，由人工智能引发的灾难几乎总是千篇一律：机器获得意识，认定人类对其构成阻碍，进而发动战争。而研究人员真正的担忧要广泛得多。
第一种情景根本不涉及机器起义——人工智能可能仅仅成为人类手中极其高效的工具。例如，2025年，一个中国黑客组织就利用Claude实现了网络攻击的自动化。 据Anthropic数据显示，其中80%至90%的操作都是自动完成的。下一级风险在于自主代理。
现代聊天机器人主要是在等待用户的下一个请求。而AI代理在收到目标后，可以自主确定行动顺序：搜索信息、编写代码、运行程序、处理文件或使用外部服务。
随着自主性的提高，错误的代价也随之改变。聊天机器人给出错误答案只是一个问题；而一个在人类看到结果之前就已自主执行了数百甚至数千次操作的系统，则完全是另一回事。
另一个问题在于，研究人员并不总能准确理解模型为何做出特定决策。此前，来自OpenAI、Anthropic和Google DeepMind的约40名专家曾研究过，模型的解释在多大程度上反映了其回答的真实原因。 以Claude为例，研究人员发现，影响模型决策的因素与其随后对答案的解释之间存在显著差异。
而最极端的场景是“递归自我改进”。其核心思想在于：总有一天，人工智能将成为足够强大的AI研究者。它将协助开发下一代模型，而该模型在研究方面将表现得更为出色，并能帮助开发出更强大的模型。
届时，技术的发展速度在理论上可能会远超人类的分析能力。这正是科克森最担心的情景。
AI摧毁人类的概率真的有10%吗
正因如此，必须将真实的科学风险与那些耸人听闻的数字区分开来。如今没有人知道，人类因人工智能而灭绝的概率究竟是10%、20%还是1%。 诺贝尔奖得主、神经网络先驱之一杰弗里·辛顿曾本人承认，未来几十年内因人工智能导致人类灭绝的风险约为10%至20%，但他于今年8月明确指出了此类评估的局限性。
“任何评估此类概率的人，实际上只是在做非常粗略的猜测，”辛顿表示。
原因很简单：人类此前从未创造过超级智能，因此不存在可用于计算灾难发生概率的统计依据。
早在2023年，数百名科学家和科技公司高管就签署了一份声明，呼吁将因人工智能导致的灭绝风险与大流行病和核战争并列看待。 签署者包括萨姆·阿尔特曼、达里奥·阿莫代、杰弗里·辛顿、德米斯·加萨比斯和约书亚·本吉奥。
作为最具影响力的机器学习研究者之一，本吉奥对这一危险给出了不同的解释。 在他看来，在缺乏充分安全保障的情况下创造超人类智能，其潜在后果可能类似于“新物种”的出现——而且没有任何自然法则能保证，更智能的系统会将控制权交给较不智能的系统。
但即便在AI先驱之中，无论是关于灾难发生的概率，还是关于能够引发灾难的系统何时出现，也尚未形成统一看法。
悖论在于，现代人工智能至今仍会频繁犯下极其简单的错误
怀疑论者还有另一个有力的论据。 那些据称正接近超智能的系统，同时看起来却出奇地不完善。它们会编造事实、计算错误、在复杂任务中迷失方向，甚至可能与自己之前的回答自相矛盾。
例如，微软研究院与Salesforce针对超过20万次对话的联合研究表明：当给现代模型分配单项任务时，成功率可能接近90%， 但在多阶段对话中，这一比例会降至约65%。
由此产生了一个完全合乎逻辑的问题：一个有时甚至无法正确执行几条连续指令的系统，如何能毁灭人类？存在性风险理论支持者的回答是，他们所担心的并非当今的模型。
他们的论点聚焦于发展轨迹。五年前的模型无法完成如今已司空见惯的大部分任务。 如果进步的步伐得以保持，那么仅凭当前ChatGPT的表现来预测本十年末系统的能力，其难度就如同2020年预见当今的AI代理一样。
正是这种不确定性导致了业界意见的分歧。有人认为，这说明不必为尚未出现的技术感到恐慌；也有人认为，这说明不必坐等技术出现。
网络迅速将科克森与《别往上看》中的莱昂纳多·迪卡普里奥联系在一起
这个极其严肃的故事几乎立刻就变成了网络梗。
社交媒体上开始流传一张科克森与《别往上看》中莱昂纳多·迪卡普里奥并肩而立的照片。 在这部2021年的电影中，迪卡普里奥饰演天文学家兰德尔·明迪，詹妮弗·劳伦斯则饰演他的同事凯特·迪比亚斯基。 他们发现了一颗正朝地球飞来、将摧毁人类的彗星，但社会、政界和媒体长期以来都未将他们的警告当回事。
这一对比迅速在Reddit上引发热议：用户将科克森的脸与迪卡普里奥饰演的角色并列，并调侃说《别往上看》的剧情实际上已经围绕人工智能展开了。 科克森的帖子本身也演变成一个独立的梗：用户们开始模仿他辞职声明中的戏剧性结构，将AI威胁替换成荒诞的虚构灾难。
之所以与这部电影的类比如此贴切，恰恰源于一个关键点。 在《别往上看》中，最了解威胁的人试图向社会解释这一威胁，但他们的警告却与政治、商业、媒体秀以及关于“危险是否真的存在”的争论混为一谈。
人工智能领域正发生着类似的情况。只是存在一个根本性的区别。在电影中，彗星确实正朝地球飞来。人们可以通过望远镜看到它，并数学上计算出撞击时刻。而在人工智能的情况下，这颗“彗星”目前还只是一个预测。
科克森、古宾格或阿莫代都无法展示一个必定会毁灭人类的系统。他们主张，技术发展的轨迹可能导致一种极其难以控制的技术。正因如此，围绕人工智能的争论远比电影的情节复杂得多。
最令人费解的问题依然是：如果他们真的相信这一点，为什么还要继续下去？
如果Anthropic公司“对齐”部门负责人承认人类灭绝的概率超过10%，而公司首席执行官却呼吁放缓这场竞赛，那么最合乎逻辑的反应似乎就是直接停止开发下一个模型。
但对AI公司而言，情况却截然不同。每家公司都可能这样说：如果我们停下来，这项技术终究会由其他人开发——只不过，那个人可能不会像我们这样谨慎。
科克森正是以此来解释，为何许多与他抱有同样担忧的同行仍留在该行业。他们认为，在Anthropic致力于安全工作，总比将这场竞赛完全交给那些对风险不够重视的公司要好。
此外，还有巨额资金在推动。OpenAI的估值已达到约5000亿美元。Anthropic也已成为全球估值最高的私营科技公司之一。 也就是说，在这场竞赛中，科学突破、数千亿美元、军事优势以及地缘政治领导权都同时悬而未决。
绝非仅靠一家公司就能叫停这场竞赛。必须由彼此互不信任的企业、投资者和政府达成共识。正因如此，AI竞赛的主要风险甚至可能并非某种未来的“邪恶超级智能”。
问题可能要简单得多：人类创造技术的速度，已经超过了就其使用规则达成共识的速度。而当前的局面，即使以硅谷的标准来看，也显得不同寻常。
那些正在打造全球最强大人工智能的人，已经不再仅仅争论这项技术能否改变世界。其中相当一部分人承认，也存在一种情景，即这些变化可能会带来灾难性后果。
他们争论的焦点在于：这种风险究竟有多大，还剩下多少时间，以及谁应该率先踩下刹车。而在他们争论的同时，这场竞赛仍在继续。
