Китай определил требования к контролю автономных ИИ-агентов
В Китае регуляторы определили требования безопасности для систем искусственного интеллекта, в частности автономных ИИ-агентов, чтобы предотвращать потерю человеческого контроля над ними. В мае киберпространственный регулятор страны опубликовал совместные рекомендации для таких систем, которые могут действовать более самостоятельно и выполнять более сложные задачи, чем обычные чат-боты, сообщает Asharq Al-Awsat.
Нормы требуют от разработчиков улучшить способность выявлять ненадлежащее поведение агентов, вмешиваться в их работу, блокировать ее и восстанавливать системы после инцидентов. Среди определенных рисков — отравление данных, манипулирование алгоритмами, уязвимости систем и «операционная потеря контроля». Согласно рекомендациям, пользователи должны сохранять окончательное право принимать решения относительно автономных действий агентов.
Риск потери контроля
Китай впервые включил сценарий возможной потери контроля над ИИ в рамочный документ по безопасности, опубликованный в сентябре 2024 года под руководством Управления киберпространства Китая. В документе отмечалось, что нельзя исключать появление ИИ, способного самостоятельно получать внешние ресурсы, воспроизводить себя, развивать самосознание и стремиться к внешней власти, конкурируя с людьми за контроль.
Расширенная версия рамочного документа, изданная в сентябре 2025 года, предусматривала возможность внезапного и неожиданно значительного скачка интеллектуальных возможностей ИИ. В нее также внесли принцип «доверенного применения, предотвращения потери контроля». В экспертном разъяснении на сайте регулятора этот принцип связали с противодействием рискам для выживания и развития человечества, а также со сценарием, при котором ИИ может «вырваться на свободу».
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Позиция чиновников
В июле на Всемирной конференции по искусственному интеллекту в Шанхае председатель КНР Си Цзиньпин заявил, что власти должны уделять пристальное внимание как внутренним, так и производным рискам ИИ. По его словам, искусственный интеллект должен «всегда оставаться под контролем человека».
Высокопоставленный чиновник МИД Китая по вопросам ИИ Сунь Сяобо на заседании ООН в прошлом месяце сообщил об ускорении исследований более широкого законодательства в сфере искусственного интеллекта. Заместитель постоянного представителя Китая при ООН Сунь Лэй в сентябре призвал правительства осторожно подходить к военному применению ИИ, чтобы избежать стратегических просчетов и гонки вооружений.
Министр государственной безопасности Китая Чэнь Исинь написал в государственном издании, что передовые американские модели Anthropic и OpenAI могут представлять серьезные риски для критической информационной инфраструктуры КНР, и призвал комплексно укреплять безопасность ИИ.
