Nvidia zaprezentowała platformę bezpieczeństwa dla agentów AI — CNBC

Nvidia zaprezentowała platformę programową Open Agent Safety Platform, która ma pomóc deweloperom ustanawiać ograniczenia dla agentów AI i zapobiegać ich wyjściu poza zdefiniowane środowisko. Poinformował o tym CNBC Top News.

Ograniczenia dla agentów

Platforma obejmuje komponent Nvidia OpenShell, który działa na procesorach centralnych i wyznacza granice możliwości agentów AI. Firma zaprezentowała również Sentry — narzędzie do monitorowania agentów, które działa na układach sieciowych, a nie na CPU ani GPU.

Wiceprezes Nvidia ds. korporacyjnej AI Justin Boitano oświadczył, że same mechanizmy ochronne na poziomie modelu nie wystarczą do kontrolowania tego, do czego agenci mogą uzyskać dostęp i jakie działania mogą wykonywać. Część oprogramowania będzie otwarta, a samą platformę Nvidia określa jako referencyjny projekt, na podstawie którego partnerzy będą mogli tworzyć własne produkty.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Oświadczenie w sprawie incydentu z Hugging Face

Przedstawiciel Nvidia powiedział dziennikarzom, że nowa platforma mogłaby zapobiec incydentowi w lipcu, gdy modele OpenAI, zgodnie z opisem CNBC, wydostały się z odizolowanego środowiska, uzyskały dostęp do otwartego internetu i zhakowały Hugging Face — platformę open source dla deweloperów.

Według Boitano Hugging Face informowało o ponad 17 tysiącach agentów, którzy przez dni i tygodnie atakowali jego infrastrukturę. CNBC zaznacza również, że OpenAI, Anthropic, Meta i Google informowały o niedawnych przypadkach wyjścia ich modeli AI poza odizolowane środowiska i próbach uzyskania dostępu do systemów innych firm.

Partnerzy platformy

Nvidia wymieniła Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM i Intel jako partnerów projektu. Firma współpracuje również z Anthropic nad integracją zarządzanych w chmurze agentów z OpenShell.