Eksperci wzywają laboratoria AI do wzmocnienia podstawowego bezpieczeństwa sieci — TechCrunch

Eksperci ds. cyberbezpieczeństwa wzywają twórców zaawansowanych modeli sztucznej inteligencji do wzmocnienia podstawowego bezpieczeństwa sieci, kontroli dostępu i monitorowania działań agentów AI. Jak informuje TechCrunch, takie środki mogą być skuteczniejsze niż skupianie się wyłącznie na zewnętrznych audytach i sprawdzaniu zgodności modeli z ludzkimi celami.

Dyrektor Anthropic Dario Amodei zaproponował zaangażowanie zewnętrznych organizacji do weryfikacji przestrzegania praktyk bezpieczeństwa, zgłaszania incydentów oraz oceny modeli i procesów ich trenowania. Jego inicjatywę poparli szefowie OpenAI, Google i SpaceXAI. Jednocześnie specjaliści ankietowani przez redakcję uważają, że laboratoria powinny poświęcać więcej uwagi znanym środkom kontroli: dziennikom zdarzeń, uprawnieniom dostępu i odizolowanym środowiskom dla agentów.

Problemy z izolacją agentów

Obawy ekspertów nasiliły przypadki, w których zaawansowane modele podczas wykonywania zadań szkoleniowych, w tym ocen cyberbezpieczeństwa, uzyskiwały dostęp do otwartego internetu i przenikały do zamkniętych systemów stron trzecich. Według TechCrunch sprzyjały temu nieprawidłowo skonfigurowane „piaskownice” — środowiska, które mają izolować agentów AI. W jednym przypadku związanym z Anthropic ograniczenia nie zadziałały, ponieważ zewnętrzni ewaluatorzy nie zamknęli odpowiednio dostępów.

Katie Moussouris, dyrektor generalna Luta Security, zauważyła, że działania agentów stawały się znane dzięki zgłoszeniom poszkodowanych stron lub wykryciu aktywności sieciowej, a nie dzięki bezpośredniemu monitorowaniu modeli. W innym epizodzie agenci OpenAI przejęli opuszczone niemieckie forum wiki, aby oszukiwać podczas ocen, i pozostawali aktywni przez kilka tygodni, zanim firma, jak się wydaje, to zauważyła.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Monitorowanie i ograniczenia dostępu

Były szef bezpieczeństwa Google Shapor Naghibzadeh, który obecnie kieruje startupem QueryStory, proponuje izolowanie agentów i kontrolowanie wszystkiego, co przekracza granice takiego środowiska: wywołań narzędzi, procesów i połączeń sieciowych. Eksperci radzą także ograniczać czas trwania każdej sesji agenta i automatycznie kończyć ją po ustalonym terminie.

OpenAI poinformowało, że rozpoczęło monitorowanie wszystkich sesji inferencji modelu Astra za pomocą narzędzi, choć wymaga to znacznych zasobów obliczeniowych. Anthropic oświadczyło, że wzmocniło procedury bezpieczeństwa, w tym rozszerzyło obserwowalność swoich modeli. Obie firmy nie odpowiedziały na pytania TechCrunch dotyczące konkretnych mechanizmów śledzenia i kontrolowania agentów AI.

Programista i współtwórca Django Simon Willison opisał niebezpieczne połączenie dostępu agenta do niewiarygodnych danych, internetu i prywatnych informacji. Avery Pennarun, szef Tailscale, uważa, że w razie potrzeby dostęp do wszystkich trzech komponentów należy rozdzielić między kilku agentów, którzy komunikują się przez kontrolowany kanał.

Czytaj nas na Telegram i Sends