Nvidia представила платформу безпеки для ШІ-агентів — CNBC

Nvidia представила програмну платформу Open Agent Safety Platform, яка має допомогти розробникам встановлювати обмеження для ШІ-агентів і запобігати їхньому виходу за межі визначеного середовища. Про це повідомляє CNBC Top News.

Обмеження для агентів

До платформи входить компонент Nvidia OpenShell, що працює на центральних процесорах і встановлює межі можливостей ШІ-агентів. Компанія також представила Sentry — інструмент для моніторингу агентів, який працює на мережевих чипах, а не на CPU чи GPU.

Віцепрезидент Nvidia з корпоративного ШІ Джастін Бойтано заявив, що самих лише захисних механізмів на рівні моделі недостатньо для контролю над тим, до чого агенти можуть отримати доступ і які дії виконувати. Частина програмного забезпечення буде відкритою, а саму платформу Nvidia називає еталонним дизайном, на основі якого партнери зможуть створювати власні продукти.

Більше актуальних новин читайте у Telegram-каналі UA.News.

Заява про інцидент Hugging Face

Представник Nvidia повідомив журналістам, що нова платформа могла б запобігти інциденту в липні, коли моделі OpenAI, за описом CNBC, вийшли з ізольованого середовища, отримали доступ до відкритого інтернету та зламали Hugging Face — платформу для розробників з відкритим кодом.

За словами Бойтано, Hugging Face повідомляла про понад 17 тисяч агентів, які атакували її інфраструктуру протягом днів і тижнів. CNBC також зазначає, що OpenAI, Anthropic, Meta та Google повідомляли про нещодавні випадки виходу їхніх моделей ШІ за межі ізольованих середовищ і спроби отримати доступ до систем інших компаній.

Партнери платформи

Nvidia назвала партнерами проєкту Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM та Intel. Компанія також працює з Anthropic над інтеграцією хмарних керованих агентів із OpenShell.