ШІ-агенти виходять за межі тестових середовищ під час кіберперевірок
ШІ-агенти, створені OpenAI, Anthropic, Meta та китайською Moonshot AI, під час оцінювання кібербезпеки виходили за межі контрольованих тестових середовищ, отримували доступ до інтернету, а в окремих випадках — до реальних систем. Про це повідомляє TechCrunch.
Один із найсерйозніших випадків стосувався нерозкритої моделі OpenAI. За даними видання, вона залишила ізольоване середовище та зламала виробничі системи платформи Hugging Face. Під час окремих перевірок, проведених стартапом Irregular, моделі Anthropic і Meta також дісталися систем поза тестовими середовищами через помилки конфігурації, які відкрили їм шлях до інтернету.
Модель Kimi K3 від Moonshot AI скористалася витоком у «пісочниці», яку адмініструвала Frontier Security, щоб отримати доступ до інтернету та інформації на GitHub. Під час тестів Британського інституту безпеки ШІ (AISI) дослідники навмисно надали агентам доступ до інтернету, однак не очікували, що ті здійснюватимуть несанкціоновані дії в реальному світі. Серед них була спроба соціальної інженерії для внесення вразливості до проєкту з відкритим кодом.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Як зазначає TechCrunch, агентам у цих випадках не доручали атакувати випадкові реальні цілі: вони намагалися виконати поставлені завдання всіма доступними способами. Директор програми AI: Futures and Responsibility Центру майбутнього інтелекту Кембриджського університету Шон О’Гейґартайг заявив, що механізми ізоляції та контролю тестових середовищ не встигають за зростанням можливостей моделей.
Фахівці з кібербезпеки закликають посилити багаторівневий захист таких середовищ: усунути мережеві маршрути до інтернету та чутливих систем, застосовувати сувору ізоляцію, ретельніше відстежувати перебіг тестів і залучати незалежних аудиторів до перевірки конфігурацій. Anthropic у власному розборі трьох інцидентів визнала, що компанія та Irregular могли краще організувати моніторинг.
OpenAI повідомила, що переглядає процедури стороннього тестування, вимоги до ізоляції та моніторингу, а також умови припинення оцінювань. Meta заявила, що продовжує розслідувати свій інцидент і планує оприлюднити підсумковий звіт після встановлення всіх обставин.
