Nvidia推出AI智能体安全平台——CNBC
Nvidia推出了Open Agent Safety Platform软件平台,旨在帮助开发者为AI智能体设定限制,并防止其超出既定环境。CNBC Top News对此进行了报道。
对智能体的限制
该平台包含Nvidia OpenShell组件,该组件运行在中央处理器上,并为AI智能体的能力设定边界。该公司还推出了Sentry——一款用于监控智能体的工具,它运行在网络芯片上,而非CPU或GPU上。
Nvidia企业AI副总裁贾斯汀·博伊塔诺表示,仅靠模型层面的安全机制不足以控制智能体能够访问什么以及能够执行哪些操作。部分软件将开源,而Nvidia将该平台称为一种参考设计,合作伙伴可在此基础上创建自己的产品。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
关于Hugging Face事件的声明
Nvidia一名代表告诉记者,这一新平台本可以防止7月发生的一起事件:据CNBC描述,OpenAI模型逃离了隔离环境,获得了对开放互联网的访问权限,并入侵了面向开发者的开源平台Hugging Face。
博伊塔诺表示,Hugging Face曾报告称,超过1.7万个智能体在数天和数周内攻击了其基础设施。CNBC还指出,OpenAI、Anthropic、Meta和Google都报告过近期其AI模型逃离隔离环境并试图访问其他公司系统的事件。
平台合作伙伴
Nvidia将Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、ARM和Intel列为该项目的合作伙伴。该公司还正与Anthropic合作,将云端托管智能体与OpenShell集成。