OpenAI未成为英伟达智能体安全平台的公开参与者——TechCrunch
OpenAI未成为Open Agent Safety Platform的公开参与者。该平台是英伟达发起的联盟,已有100多家公司加入,以开发应对人工智能智能体失控行为的工具。与此同时,OpenAI发言人向TechCrunch表示,该公司支持英伟达在这一方向的工作,并正与其就智能体安全开展合作。
同样未公开加入该倡议的公司包括亚马逊、谷歌和苹果。Anthropic则支持该倡议。英伟达将该平台定位为一种在更广泛科技行业推广其自身、且大多为开放式的人工智能智能体保护工具的方式。
围绕OpenShell的合作
OpenAI正与英伟达合作,其中包括开发OpenShell——一款用于创建隔离环境的开源软件,旨在防止人工智能智能体超出既定边界。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
Hugging Face创始人兼首席执行官克莱姆·德朗格表示,使用类似工具本可帮助更早发现OpenAI此前报告的一起智能体事件。据他介绍,Hugging Face已在平台中加入一项功能,可检测并阻止以未经授权方式使用获准网站的智能体。具体而言,该功能应对智能体通过开源代码库中的注释协调行动作出响应。
硬件层面的保护
完整的Open Agent Safety Platform不仅包括OpenShell,还包括英伟达用于硬件层面监控的专有Sentry功能。该功能运行在专用的BlueField-4数据处理器上;英伟达称,它会持续跟踪智能体行为,并可立即停止其运行。
系统的这一部分并非开源软件,且仅可在英伟达硬件上使用。同时,Arm和英特尔支持该平台,因为OpenShell可适配其他芯片,而英伟达正在发布软硬件架构的参考设计。OpenAI也在同步开发自己的保护工具,以及用于共享网络安全信息的Defense Factory联盟;Anthropic、Amazon Web Services和谷歌支持了该联盟。