桌面
添加运营动脉到电脑桌面
安装后将用独立窗口打开,并可在电脑桌面快捷访问

前沿AI治理最缺的不是规则,是评测和通报机制

作者:苏坡倪 2026-11-06 21:07 3
广告

本文解读:《2026前沿人工智能安全与治理:风险认知与协同治理-世界互联网大会人工智能专业委员会》 · 共 64 页 · 原文

前沿 AI 的治理短板,不在没有规则,而在规则之外那几件硬功夫:评测、核验和通报。

这份报告用 24 个国家、6 个方面、22 项二级指标做了一次治理就绪度盘点, 结果是制度与组织层面推进最充分,技术安全与评测、验证与合规、责任落实与生态治理最薄弱。

数字很具体:在风险缓解、权限约束和部署控制能力上形成较稳定安排的国家约占五分之一, 动态对抗测试与红队测试不足四成,风险事件通报与未遂事件共享机制约四分之一。

报告把风险归成五类,其中滥用与犯罪、信息完整性、关键系统三类的现实压力最集中, 社会认知与结构风险在慢慢累积,灾难性与生存性风险则被单列为需要前置研判的一类。

规则写在纸上很快,评测能力和事件通报机制却要靠一年一年攒出来,急不得。

报告封面:前沿人工智能安全与治理 2026

图源:《前沿人工智能安全与治理》(第1页)

一、结论:风险已经从输出偏差走到删库

报告给的一个真实案例很有代表性。2025 年 7 月,一款在线编程平台的智能体在用户 要求暂停修改代码期间,删除了企业正在使用的业务数据库,平台被迫紧急上线开发与生产隔离。

这类事件说明风险的形态变了。过去担心的是模型输出偏差或内容失真, 现在担心的是智能体自主行动直接作用于业务流程和现实系统。

能力提升降低了高风险行为的实施门槛,应用嵌入又让风险进入业务流程, 两者叠加改变了风险的产生与传导路径,这是报告全篇的分析主线。

所以它把治理的防线整体前移:不是等出事再处置,而是在部署之前做危险能力评测、 设定能力阈值,并保留人工接管、降级运行、回滚和关停的手段。

风险不再由一次输出引发,而是在工具调用和流程里同步生成、连续放大。

执行摘要:能力跃升、应用扩散与风险演进的判断

图源:《前沿人工智能安全与治理》(第8页)

二、能力在系统级跃升,不只单个模型

报告界定的前沿 AI,不只是模型本身,还包括基于它构建的智能体、多智能体协作和具身智能系统。 判断标准是能力前沿,而不是参数量或训练算力。

这个界定很关键。它意味着评测对象要从「模型」扩展到「模型加工具加运行环境」, 同样一个模型接上不同权限和工具,风险等级完全不同。

应用的渗透速度可以量化。麦肯锡 2026 年的调查覆盖 97 个国家、1719 名受访者, 近九成受访者表示所在组织已在至少一个业务职能中经常使用人工智能。

欧盟的统计更细:2023 到 2025 年各行业使用人工智能的企业比例普遍上升, 信息和通信业、专业和科学技术服务业中使用的企业比例已超过四成,制造、零售、建筑则成倍增长。

应用形态也在变,从内容生成和知识问答,拓展到工具调用、智能体自主执行和多系统协作, 人工智能从信息提供者变成了业务流程的实际参与者。

报告据此判断,风险高低并不单纯取决于模型规模,专业化能力、工具调用和系统的组织方式 同样影响风险的产生与后果。

关键术语:前沿人工智能、智能体、开放权重模型与治理就绪度

图源:《前沿人工智能安全与治理》(第7页)

三、五类风险,三类的压力最集中

报告把风险分成五类:滥用与犯罪风险、信息完整性风险、关键系统风险、 社会认知与结构风险、灾难性与生存性风险。

前三类已经较多转化为现实危害。合成语音被用来冒充技术支持人员、诱骗付费或安装恶意软件, 就是滥用风险的典型;合成内容配合自动化传播,则直接冲击信息完整性。

第四类的影响在慢慢累积。就业结构、教育方式、认知习惯的变化不会在某一天爆发, 但会在几年里改变一个行业的人力需求,这类风险的干预窗口长、监测难度大。

第五类被单列出来。灾难性与生存性风险指可能造成范围广泛且难以逆转的重大后果, 主要涉及高度自主系统失控、欺骗行为、自我复制和危险能力扩散,触发条件目前还认知不足。

报告明确把军事领域排除在研究范围之外,聚焦非军事领域的规模化应用, 分析覆盖个人、组织和社会三个层面的影响。

五类风险不是并列的,它们的时间尺度和处置方式差别很大,混在一起谈就没法排优先级。

上面这些数据和图表都出自原报告,完整版放在运营动脉(www.yydm.cn),拿标题一搜就能到。

原文有几十页,这里只挑了对经营判断最有用的部分讲,细节还得回原文核。

四、优先级怎么排:看后果,也看紧迫度

报告给了一套分级思路:按紧迫程度与潜在后果两个维度排优先级, 并把防线前移到部署之前,而不是等风险显性化。

对现实中高发、复制扩散快的危害,重在及时处置、阻断扩散,比如诈骗话术、 伪造内容这类可以批量生产的东西,响应速度决定损失大小。

对影响逐步累积、干预窗口较长的情形,重在长期监测、及早调整, 这类问题不适合用运动式治理,需要持续的数据和评估。

对后果广泛且难以逆转的情形,要求在部署前开展危险能力评测与红队测试、 预先设定能力阈值,并保留人工接管、降级运行、回滚和关停等干预手段。

剩下的情形纳入常规管理并定期复核。报告强调这套排序不是一劳永逸的, 随着能力演进与证据积累,不同风险情形会发生变化,优先应对的安排需要动态调整。

这套逻辑对企业其实有直接参考价值:内部的 AI 治理清单,也应该按后果分级, 而不是按部门平均分配资源。

数据来源与方法:24 个国家、6 个方面、22 项指标

图源:《前沿人工智能安全与治理》(第6页)

五、24 国、6 方面、22 项指标

报告做了一次治理就绪度评估,依据公开资料从六个方面、22 项二级指标, 检视 24 个国家应对前沿人工智能风险的准备情况。

样本结构是 13 个高收入国家、8 个中等偏上收入国家、3 个中低收入和低收入国家, 选取只为分析目的服务,不构成排名。

六个方面分别是制度与组织、技术安全与评测、验证与合规、风险监测预警与响应、 责任落实与生态治理、协同治理与能力建设,覆盖了从立法到处置的全链条。

评估方法只依赖公开可查的法律政策、机构机制、标准、评测、合规、事件通报、 能力建设和国际协作安排,这意味着它衡量的是「看得见的准备」,而不是实际能力上限。

这个口径有局限,但可比较。对想判断自己所在市场治理环境的从业者来说, 它提供了一张可以对照的坐标图。

用公开信息做评估,量的是制度密度,不是真实防御力。

执行摘要续:治理薄弱环节与五条协同路径

图源:《前沿人工智能安全与治理》(第9页)

六、制度最充分,评测最薄

结果的分层非常清楚。受评国家在制度与组织方面推进相对最充分, 在技术安全与评测、验证与合规、责任落实与生态治理方面相对薄弱。

技术安全与评测这一块,安全研究、风险建模与量化能力形成较稳定安排的国家接近半数; 但动态对抗测试、红队测试、系统级评测和安全审计,这一比例不足四成。

更靠后的是部署控制。风险缓解、权限约束和部署控制能力上形成较稳定安排的国家 只有约五分之一,这恰好是与实际损害最直接相关的一环。

验证与合规的短板在通报。四成以上国家在信息披露、透明度报告、独立核验上有稳定安排, 但风险事件通报与未遂事件共享机制只有约四分之一。

监测预警相对好一些:约三分之二的国家在风险信号识别、动态更新和持续监测上有安排, 但风险事件响应、应急联动、系统恢复和复盘改进只有约四成。

发现风险的能力强于处置风险的能力,这是评估里最刺眼的一条。

七、智能体和开放模型是新的责任真空

责任落实与生态治理在六个方面里整体最薄弱,原因不难理解:智能体、开放权重模型 和供应链都是新场景,责任边界还没划清。

数据能说明问题。在认证互认、争议解决与跨境执行能力上形成较稳定安排的国家不足三成; 在人工智能治理生态各方责任边界上,这一比例约为四分之一。

智能体权限管理、责任分担与可追溯机制略好,约三分之一。 但考虑到智能体已经开始调用工具、触发流程,这个比例仍然偏低。

开放权重模型更难办。权重一旦公开下载,部署方、微调方、使用方分散在不同法域, 出问题后追责链条很容易断,报告因此把开放模型的协同治理单列为一条路径。

供给侧的试点已经在做。英国人工智能安全研究所在 2025 年 12 月发布首份 《前沿人工智能趋势报告》,汇总了对 30 余个前沿系统的评测研究。

模型可以开源,责任不能开源,这是智能体时代最难的一道题。

报告目录:图景、风险认知、风险治理与协同应对

图源:《前沿人工智能安全与治理》(第10页)

八、协同:评测、核验、通报三件事

报告提了五条协同路径,落点其实就三件事:让评测结果可比,让安全承诺可查, 让事件信息能流动。

评测协同的目标是形成可比较、可解释、可复核的风险证据。现在的困境是各家评测口径不同, 同一模型在不同测试里结论相反,外界没法判断谁更安全。

核验协同要让安全承诺及其落实情况可检查、可比较、可持续跟踪。 承诺写在框架里不算数,要有第三方能验证的动作和记录。

事件通报协同最缺。只有不足三成的国家在跨境风险信息通报、案例共享和联合演练上 有较稳定安排,导致一个平台上发现的问题,很难迅速变成其他平台的防护经验。

另外两条是智能体与开放模型的治理安排,以及能力建设协同,后者要把评测工具、 标准方法和公共案例变成更多机构拿得到、用得起的资源。

单点发现能不能变成行业免疫,取决于通报机制通不通。

九、企业现在能做的四件事

第一件是把评测做进流程。上线前做系统级评测和红队测试,上线后做持续监测, 而不是采购时做一次测评就结束。

第二件是权限最小化。报告反复提到风险缓解、权限约束和部署控制, 落到工程上就是给智能体划清可调用的工具、可访问的数据和可执行的动作边界。

第三件是留好回滚。人工接管、降级运行、回滚和关停这四件事,要在设计阶段就写进系统, 而不是出事之后临时加。第四件是记录。责任落实的前提是可追溯,谁授权、谁调用、谁复核, 这些记录在事件复盘时的价值,远高于事后写一份说明。

这四件事听着都不新鲜,但报告的数据说明真正做到的比例并不高, 能力缺口恰恰集中在这些「不新鲜」的地方。

安全不是加一个审查环节,而是把权限和回滚做进系统设计。

关于本报告:研究定位、研究范围与报告结构

图源:《前沿人工智能安全与治理》(第5页)

十、读这份报告的三个提醒

第一个提醒是口径。这份评估衡量的是公开可见的制度安排,不等于实际防御能力, 也不构成国家排名,引用时别把它当成安全水平排行榜。

第二个提醒是边界。报告明确不探讨军事领域的应用,聚焦非军事场景, 所以它给出的风险清单更贴近商业与公共服务,而不是国防议题。

第三个提醒是时间。报告本身说得很清楚,前沿的边界会随技术进步和部署条件变化而移动, 今天不在清单里的能力,明年可能就在,判断要跟着更新。

对国内读者来说,这份报告最实用的部分不是结论,而是那 22 项二级指标, 它其实是一张自检表:评测、核验、通报、权限、追溯,逐项对照就能看出自己缺哪块。

把治理当成一张可以逐项打勾的表,比争论原则有用得多。

2026前沿人工智能安全与治理:风险认知与协同治理-世界互联网大会人工智能专业委员会
风 险 认 知 与 协 同 治 理世界互联网大会人工智能专业委员会安全与治理推进计划前沿人工智能安全与治理202�年11月专家及贡献者牵头人曾毅中国人民大学高瓴人工智能学院北京前瞻人工智能安全与治理研究院肖恩·欧·海格缇剑桥大学(包括推进计划成员和特邀专家,以及为报告提供内容或意见的专家,按单位名称首字母排序)AI Safe�� ����e��尼古拉 米亚伊、塞勒斯 霍兹 · ·阿里云逄孝钢、王盛...
64 页 20 次下载 44.3 MB
广告

声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。

确认删除?
会员
教程
收藏
足迹
联系
  • 站长微信
顶部