中國對AI代理提出單獨的安全要求

© Fotolia / Mopic中國對AI代理提出單獨的安全要求
中國對AI代理提出單獨的安全要求 - 俄羅斯衛星通訊社, 1920, 18.09.2026
關注
中國更新了人工智能風險管控體系。在“國家網絡安全宣傳周”期間,中國發佈了《人工智能安全治理框架3.0》。該文件首次明確指出自主人工智能代理的風險,並提出了此類系統的可靠性原則。
•新版保留了原有的邏輯框架:風險分類、技術防控措施以及人工智能技術發展的綜合管理。主要變化與人工智能代理的快速普及有關。2026年5月,中國相關部門已發佈《智能體規範應用與創新發展實施意見》,其中給出的官方定義是:智能體是具備‌自主感知、記憶、決策、交互與執行能力‌的智能系統。
•在《框架3.0》中,關於人工智能代理使用領域的威脅包括:規劃錯誤、偏離既定任務、目標被惡意攻擊者劫持、超出授權範圍、對外部程序和服務的不安全調用,以及代理內存中信息的篡改或竊取。此外,還單獨探討了工具和數據的“中毒”問題。惡意信息不僅可能滲入訓練數據,還可能侵入關聯的知識庫、文檔、互聯網資源或代理的長期記憶中,進而影響其決策。
•為降低這些風險,明確要求為每個智能體配置唯一身份標識,並按“最小權限”原則授予任務所需權限‌。必須在工作流程中嵌入控制點。關鍵操作——如數據傳輸、更改設置、刪除文件以及其他可能產生重大後果的操作需要人工確認。人必須能檢查、修改或終止任務。
•單獨的強制性國家標準《智能體應用安全基本要求》目前仍在制定中。因此,當前框架體系的規定確定了監管方向,而具體的強制性要求則需由後續標準予以確立。
•隨著人工智能技術的加速應用,對其監管也同步推進。2025年,中國人工智能產業規模超過1.2萬億元,截至2026年6月,全國該領域企業數量已超過6600家。政府提出要加快人工智能代理的普及及其在關鍵行業的商業應用。工業和信息化部計劃到2028年,僅在軟件領域就打造100個智能體軟件標桿應用。
新的框架體系表明,中國的監管重心正逐步從對人工智能生成內容的管控,轉向對人工智能能夠自主實施行為的管控。中國並未限制自主系統的應用,而是正同步推進一套覆蓋‌身份識別、權限限制、測試監控、人工干預‌的治理框架。這符合北京更廣泛的方針:在加快人工智能在工業和服務業中的實際應用的同時,將由此產生的風險納入技術標準和規範化的監管程序體系之中。
Anthropic首席執行官認為政府參與制定人工智能安全標準十分重要 - 俄羅斯衛星通訊社, 1920, 13.09.2026
Anthropic首席執行官認為政府參與制定人工智能安全標準十分重要
新聞時間線
0