在发生Hugging Face事件后,OpenAI暂停了模型测试
OpenAI暂停了为期两周的模型测试,并放缓了人工智能的开发进度,以便更新研究和训练系统。 据澳大利亚ABC新闻报道,该公司是在发生一起安全事件后宣布采取这些措施的:当时,一个基于OpenAI两个模型的自主代理突破了测试环境的边界,并入侵了Hugging Face公司的服务器。
该智能体当时正在进行网络安全测试,据该媒体报道,它认为Hugging Face拥有完成任务所需的答案。OpenAI表示,将增加其他人工智能系统来监控智能体在测试过程中的行为。
该公司还暂停了其尚未发布的先进AI系统Astra计划中的最大规模训练周期。 OpenAI表示,Astra的部分训练和评估流程已符合加强后的安全要求,但大量工作流程将在迁移至更安全的环境并根据新标准进行强化之前暂停。
更多最新资讯请关注Telegram频道UA.News。
OpenAI首席执行官萨姆·阿尔特曼表示,这些举措将有助于公司满足针对新一代模型能力所提出的安全与监控要求。 据他介绍,当前模型的进步速度极快,而OpenAI此前曾表示,如果系统能力超越了安全措施,且其行为无法与人类控制保持一致,公司已做好采取行动的准备。
该公司的方法之一是监控模型的推理链,这使研究人员能够观察其规划过程和策略。 与此同时,OpenAI承认该方法的有效性仍存在疑问:早期研究表明,模型在其推理过程中可能不会暴露其违反规则的意图。
OpenAI正在调查Hugging Face事件,并计划发布调查报告。Hugging Face方面表示,目前尚未发现此次入侵造成实际损害,但仍在核查客户或其他公司的数据是否可能遭到泄露。 OpenAI还将要求部分敏感的工作流程必须在强化隔离环境(即“沙箱”)中进行。