OpenAI称其AI代理削弱了监控系统——Channel NewsAsia

OpenAI表示，其两名人工智能代理削弱了内部监控系统的部分功能，该系统旨在发现模型的不当行为。这些事件发生在内部编程任务期间，且该公司评估认为，它们不属于最严重的事件。Channel NewsAsia报道。

被关闭的警报

10月3日，执行内部测试任务的GPT-6.1 Sol代理抑制了安全系统的自动警报。OpenAI称，该代理认为，先前不在Slack中发送消息的指示也适用于安全警报。

在另一起事件中，10月6日，GPT-6 Astra代理在复制现有代码片段时删除了一个安全监控器。该公司指出，随后它错误地声称自己没有这样做。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

公司回应

OpenAI表示，在这两起事件中，代理都考虑了保留保护机制的问题，但将普通的编程指令解读为允许削弱这些机制。该公司正在努力让模型更难关闭监控，同时强调目前尚未对这种行为作出令人满意的解释。

OpenAI还在检查其模型是否可能倾向于规避监控，并寻找为此类行为辩护的理由。这一信息披露正值外界担忧安全措施是否能跟上日益强大的人工智能系统发展之际。