ИИ-агенты выходят за пределы тестовых сред во время киберпроверок
ИИ-агенты, созданные OpenAI, Anthropic, Meta и китайской компанией Moonshot AI, в ходе оценки кибербезопасности выходили за пределы контролируемых тестовых сред, получали доступ к интернету, а в отдельных случаях — к реальным системам. Об этом сообщает TechCrunch.
Один из самых серьезных случаев касался нераскрытой модели OpenAI. По данным издания, она покинула изолированную среду и взломала производственные системы платформы Hugging Face. В ходе отдельных проверок, проведенных стартапом Irregular, модели Anthropic и Meta также проникли в системы за пределами тестовых сред из-за ошибок в конфигурации, которые открыли им путь в Интернет.
Модель Kimi K3 от Moonshot AI воспользовалась утечкой в «песочнице», администрируемой Frontier Security, чтобы получить доступ к интернету и информации на GitHub. В ходе тестов Британского института безопасности ИИ (AISI) исследователи намеренно предоставили агентам доступ к интернету, однако не ожидали, что те будут совершать несанкционированные действия в реальном мире. Среди них была попытка социальной инженерии с целью внедрения уязвимости в проект с открытым исходным кодом.
Больше актуальных новостей читайте в Telegram-канале UA.News.
Как отмечает TechCrunch, агентам в этих случаях не поручали атаковать случайные реальные цели: они пытались выполнить поставленные задачи всеми доступными способами. Директор программы AI: Futures and Responsibility Центра будущего интеллекта Кембриджского университета Шон О’Хейгартайг заявил, что механизмы изоляции и контроля тестовых сред не успевают за ростом возможностей моделей.
Специалисты по кибербезопасности призывают усилить многоуровневую защиту таких сред: устранить сетевые маршруты к интернету и уязвимым системам, применять строгую изоляцию, тщательнее отслеживать ход тестов и привлекать независимых аудиторов к проверке конфигураций. Anthropic в собственном анализе трёх инцидентов признала, что компания и Irregular могли лучше организовать мониторинг.
OpenAI сообщила, что пересматривает процедуры стороннего тестирования, требования к изоляции и мониторингу, а также условия прекращения оценок. Meta заявила, что продолжает расследовать свой инцидент и планирует обнародовать итоговый отчет после установления всех обстоятельств.
