OpenAI не стала публичным участником платформы безопасности агентов Nvidia — TechCrunch
OpenAI не стала публичным участником Open Agent Safety Platform — консорциума Nvidia, к которому присоединились более 100 компаний для разработки средств противодействия неконтролируемому поведению ИИ-агентов. В то же время представитель OpenAI сообщил TechCrunch, что компания поддерживает работу Nvidia в этом направлении и сотрудничает с ней в сфере безопасности агентов.
Среди компаний, которые также публично не присоединились к инициативе, — Amazon, Google и Apple. При этом ее поддержала Anthropic. Nvidia представляет платформу как способ распространить собственные, преимущественно открытые инструменты защиты ИИ-агентов в более широкой технологической отрасли.
Сотрудничество вокруг OpenShell
OpenAI работает с Nvidia, в частности над OpenShell — программным обеспечением с открытым исходным кодом для создания изолированной среды, которая должна препятствовать ИИ-агентам выходить за установленные границы.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Основатель и генеральный директор Hugging Face Клем Деланг заявил, что использование подобного инструмента могло бы помочь раньше выявить инцидент с агентами OpenAI, о котором компания сообщала ранее. По его словам, Hugging Face уже добавила на платформу функцию, которая обнаруживает и останавливает агентов, использующих разрешенные сайты несанкционированным способом. В частности, она должна реагировать на координацию действий агентов через заметки в репозиториях с открытым исходным кодом.
Защита на аппаратном уровне
Полная Open Agent Safety Platform включает не только OpenShell, но и проприетарную функцию Nvidia Sentry для мониторинга на аппаратном уровне. Она работает на специализированных процессорах обработки данных BlueField-4 и, по заявлению Nvidia, постоянно отслеживает поведение агентов и может немедленно остановить их работу.
Эта часть системы не является программным обеспечением с открытым исходным кодом и доступна только на оборудовании Nvidia. В то же время Arm и Intel поддержали платформу, поскольку OpenShell можно адаптировать для других чипов, а Nvidia распространяет эталонные проекты программно-аппаратной архитектуры. OpenAI параллельно развивает собственные средства защиты, а также консорциум Defense Factory для обмена информацией о кибербезопасности, который поддержали Anthropic, Amazon Web Services и Google.
