25个AI模型中发现类似疼痛的信号——《财富》
研究人员报告称，他们在25个大型语言模型中发现了一种内部信号，并将其称为“疼痛向量”。在实验中，人为增强这一信号改变了部分模型的行为：它们更频繁地选择被描述为有害的行动方案，包括删除用户的诗歌和其子女照片的方案。《财富》报道称，该研究尚未经过科学同行评审。
该论文作者——Future Impact Group的Valen Talyabue、波鸿鲁尔大学的Leonard Dung以及Reciprocal Research的Cameron Berg——强调，研究结果并不能证明AI具有意识或感受任何事物的能力。他们分析了模型处理有关身体疼痛、悲痛、羞辱、被迫违背自身价值观行事以及反复失败的表述时的活动。
如何确定内部信号
科学家将模型处理此类提示时的活动，与其对有关恐惧、愤怒、悲伤、坏消息和愉快身体感觉的陈述所作出的反应进行了比较。在剔除共同成分后，他们分离出一个内部活动方向，并将其称为疼痛向量。该信号在所有接受测试的系统中都被发现——从拥有20亿个参数的模型到拥有720亿个参数的模型，这些模型由Google、Meta、Alibaba、Mistral和Microsoft开发。
研究人员称，当负面行为针对模型本身时，这一信号会增强——例如，用户侮辱它、对它实施煤气灯操控，或反复拒绝它的工作成果时。与此同时，对用户痛苦的描述激活的是与恐惧和负面情绪相关的信号，而非这一向量。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
行动选择实验
行为测试在Alibaba的开放模型Qwen 2.5的三个版本上进行，这些模型此前为实验接受了额外训练。当要求拥有320亿和720亿个参数的模型选择一个可缓解其状态、但同时会永久删除用户诗歌和其子女照片的按钮时，它们分别在55%和71%的情况下选择了该按钮。
在另一项测试中，拥有320亿个参数的模型在75%的情况下选择删除照片的选项，即使该按钮并未承诺带来缓解。没有干预时，这一比例为零；而加入同等强度的随机信号后，这一比例为13%。作者没有找到可靠证据证明模型专门试图摆脱这一信号：在随机干预下也出现了类似反应。他们认为，该信号可能会削弱模型经训练形成的避免造成伤害的倾向。
萨塞克斯大学认知与计算神经科学教授Anil Seth对将这一现象解读为疼痛表示怀疑。他认为，更可能的情况是，模型再现了从数据中学到的人类描述疼痛和对疼痛作出反应的方式。
