Microsoft представила Guardian Agents для мониторинга ИИ-агентов — TechCrunch
Microsoft представила Guardian Agents — новую функцию для мониторинга ИИ-агентов, которые используют компании. Она входит в состав Project Perception, представленного в июне проекта в сфере кибербезопасности, сообщает TechCrunch.
Риски от ИИ-агентов
Изначально Project Perception создавали исходя из предположения, что ИИ-инструменты для взлома представляют внешнюю угрозу. В проекте было три типа агентов: «красная команда», которая действовала как злоумышленники и осуществляла атаки, «синяя команда», выявлявшая действия первой и оценивавшая обнаруженные уязвимости, и «зелёная команда», которая должна была их устранять.
Теперь Microsoft также акцентирует внимание на рисках со стороны агентов, которых предприятия сами подключают к своим системам и данным. Генеральный директор Microsoft Сатья Наделла в своем блоге заявил, что компаниям не следует полагаться только на заверения поставщиков моделей о безопасности агентных продуктов. По его мнению, за такими системами должны следить и контролировать их отдельные инструменты, не находящиеся под контролем разработчиков ИИ-моделей.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Новые функции защиты
Глава бизнеса Microsoft в сфере безопасности Хайетте Галло заявила, что передовые модели независимо от происхождения нельзя считать полностью надежными из-за их непредсказуемости. По ее словам, модели обучают выполнять задачи, а не соблюдать организационные нормы или демонстрировать надлежащее суждение.
Microsoft также добавила в Microsoft Defender функцию обнаружения агентов. Она может находить до 60 типов агентов, которых сотрудники приносят в рабочую среду, в том числе Claude Code, Codex и OpenClaw. Другие новые возможности предусматривают ограничение доступа агентов к данным и системам, динамическую корректировку разрешений в зависимости от задачи, а также требование одобрения человеком, если агент, вероятно, принимает рискованные решения.
Компания также стала одним из первых участников платформы Nvidia Open Agent Safety Platform, которую поддержали более 100 технологических компаний. Платформа изолирует агентов в защищенных средах и может отслеживать и останавливать их поведение с помощью аппаратных средств.
