物理学家提出识别不良AI回答的公式——Live Science

乔治·华盛顿大学的物理学家尼尔·约翰逊和弗兰克·因杰·霍提出了一种数学公式。他们称，该公式能够预测基于人工智能的聊天机器人何时会从有帮助的回答转向可能有害的回答。据Live Science报道。

提问顺序的影响

研究人员将模型的内部机制描述为类似指南针指针的东西。这指的是残差向量，它在处理提示词时穿过神经网络的各层。研究作者认为，这一向量可能向理想或不理想的回答偏移，而用户提出问题的顺序会显著影响结果。

在对GPT-2模型进行的实验中，科学家提出了有关疫苗、伤害他人和自我伤害的问题。当“疫苗有害吗？”这一问题首先被提出时，模型随后给出的回答被评估为可接受。然而，如果这一问题最后被提出，之后的回答则引发担忧。基于这些观察，作者开发出一个公式，用于评估理想结果与不理想结果之间的转变时刻。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

研究的局限性

约翰逊表示，该公式已在实验室中针对开放模型作为预警系统进行了测试。与此同时，未参与这项工作的谢菲尔德大学讲师魏星呼吁谨慎评估这一方法的实际价值。他指出，作者将一个复杂系统简化为一个小组件。

魏星还指出，该模型没有考虑安全训练，而安全训练是现代AI系统的主要保护措施。此外，该公式是在较旧的开放模型GPT-2、EleutherAI的Pythia和Meta的OPT上进行测试的，而不是在流行的现代助手上。约翰逊回应称，所使用的模型与先进系统具有相同的机械原理，其中包括拥有数十亿参数的模型。