中国确定对自主AI智能体的控制要求
中国监管机构为人工智能系统，包括自主AI智能体，确定了安全要求，以防止人类失去对它们的控制。今年5月，中国国家互联网信息办公室发布了此类系统的联合指导方针；与普通聊天机器人相比，这些系统能够更自主地行动并执行更复杂的任务，Asharq Al-Awsat报道。
相关规范要求开发者提升识别智能体不当行为、干预其运行、阻止其运行以及在事件发生后恢复系统的能力。确定的风险包括数据投毒、算法操纵、系统漏洞以及“操作性失控”。根据指导方针，用户必须保留对智能体自主行动作出决定的最终权利。
失去控制的风险
中国首次在由中国国家互联网信息办公室主导、于2024年9月发布的一份安全框架文件中纳入了可能失去对AI控制的情景。该文件指出，不能排除出现能够自主获取外部资源、自我复制、发展自我意识并寻求外部权力、与人类争夺控制权的AI。
于2025年9月发布的该框架文件扩展版，提出了AI智能能力可能突然且出乎意料地大幅跃升的可能性。其中还纳入了“可信应用、防止失控”的原则。监管机构网站上的专家解读将这一原则与应对人类生存和发展风险，以及AI可能“挣脱束缚”的情景联系起来。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
官员立场
今年7月，在上海举行的世界人工智能大会上，中国国家主席习近平表示，当局必须密切关注AI的内在风险和衍生风险。他表示，人工智能必须“始终处于人类控制之下”。
中国外交部人工智能事务高级官员孙晓波上个月在联合国会议上表示，关于人工智能领域更广泛立法的研究正在加速推进。中国常驻联合国副代表孙磊今年9月呼吁各国政府谨慎对待AI的军事应用，以避免战略误判和军备竞赛。
中国国家安全部部长陈一新在国家出版物中写道，Anthropic和OpenAI的先进美国模型可能对中华人民共和国的关键信息基础设施构成严重风险，并呼吁全面加强AI安全。
