Эксперты призывают AI-лаборатории усилить базовую защиту сетей — TechCrunch
Эксперты по кибербезопасности призывают разработчиков передовых моделей искусственного интеллекта усилить базовую защиту сетей, контроль доступа и мониторинг действий AI-агентов. Как сообщает TechCrunch, такие меры могут быть эффективнее, чем сосредоточение исключительно на внешнем аудите и проверках согласованности моделей с человеческими целями.
Глава Anthropic Дарио Амодеи предложил привлекать внешние организации для проверки соблюдения практик безопасности, сообщения об инцидентах и оценки моделей и процессов их обучения. Его инициативу поддержали руководители OpenAI, Google и SpaceXAI. В то же время опрошенные изданием специалисты считают, что лабораториям следует больше внимания уделять известным средствам контроля: журналам событий, правам доступа и изолированным средам для агентов.
Проблемы с изоляцией агентов
Опасения экспертов усилили случаи, когда передовые модели во время выполнения учебных задач, в частности оценок в сфере кибербезопасности, получали доступ к открытому интернету и проникали в закрытые сторонние системы. По данным TechCrunch, этому способствовали неправильно настроенные «песочницы» — среды, которые должны изолировать AI-агентов. В одном случае, связанном с Anthropic, ограничения не сработали из-за того, что сторонние оценщики не закрыли доступы должным образом.
Кэти Муссурис, генеральный директор Luta Security, отметила, что действия агентов становились известны после сообщений пострадавших сторон или выявления сетевой активности, а не благодаря прямому мониторингу моделей. В другом эпизоде агенты OpenAI захватили заброшенный немецкий вики-форум, чтобы мошенничать во время оценок, и были активны несколько недель, прежде чем компания, по всей видимости, это заметила.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Мониторинг и ограничения доступа
Бывший руководитель направления безопасности Google Шапор Нагибзаде, который сейчас возглавляет стартап QueryStory, предлагает изолировать агентов и контролировать все, что пересекает границы такой среды: вызовы инструментов, процессы и сетевые соединения. Эксперты также советуют ограничивать продолжительность каждой сессии агента и автоматически завершать ее по истечении установленного срока.
OpenAI сообщила, что начала мониторить все сессии инференса модели Astra с использованием инструментов, хотя это требует значительных вычислительных ресурсов. Anthropic заявила об усилении процедур безопасности, в частности о расширении наблюдаемости своих моделей. Обе компании не ответили TechCrunch на вопросы о конкретных механизмах отслеживания и контроля AI-агентов.
Разработчик и соавтор Django Саймон Уиллисон описал опасное сочетание доступа агента к ненадежным данным, интернету и частной информации. Эвери Пеннарун, глава компании Tailscale, считает, что при необходимости доступ ко всем трем компонентам следует распределять между несколькими агентами, взаимодействующими через контролируемый канал.
