上海人工智能实验室安远AIShanghaiArtifcilInteligenceLaboratoryCONCORDIAAI前治人工智能风险管理框架Frontier Al Risk Management Framework2025年7月
持人工销实CONCORDMAAN执行摘要我们对可信AGI的发展愿景当前人工智能(A)技术正以前所未有的速度取得突破性进展，各类系统在众多领域已达到或超越人类水平。这些突破性进展为我们解决人类面临的重大挑战提供了历史机遇—从推动科学发现提升医疗质量和人的健康福祉，到促进经济生产力的提升。但与此同时，快速发展的技术也带来了前所未有的风险。随着先进人工智能的研发与部署速度超越了关键安全措施的发展速度，建立完善的风险管理机制已成为全球科技发展的当务之急。作为我国人工智能领域的新型科研机构，上海人工智能实验室致力于打造“突破型、引领型、平台型"一体化的大型综合性研究基地，推动人工智能技术的安全有益发展。为积极应对技术发展带来的挑战,推动全球在人工智能安全领域的良性竞争，实验室提出了A1-45°平衡律,作为实现可信AG前沿人工智能风险管理框架上海人工智能实验室联合安远A,正式发布《人工智能前沿风险管理框架(1.0%)》(以下简称"框架”),旨在为通用型人工智能（General-PurposeAl）模型研发者提供全面的风险管理指导方针，主动识别、评估、缓解和治理一系列对公共安全和国家安全构成威胁的严重人工智能风险保障个体与社会的安全本框架旨在为通用型人工智能模型研发者管理其通用型人工智能模型可能带来的严重风险提供指导。框架充分借鉴了安全攸关型行业的风险管理标准与最佳实践，涵盖风险管理的六大核心流程风险识别、风险阈值、风险分析、风险评价、风险缓解及风险治理1.风险识别:本章节聚焦通用型人工智能模型可能引发的严重风险，明确四大核心风险类型：滥用风险、失控风险、意外风险及系统性风险。我们计划通过持续更新风险分类体系动态应对未知与新兴风险。2,风险阈值:本章节明确了一系列不可接受的风险结果(纤线)以及触发事高级别安全保院措施的早期预警指标(黄线）。我们针对可能威胁公共安全和国家安全的几个关键领域设定阈值,其中包括:网络攻击、生物威胁、大规模说服和有害损控、以及失控风险。Yang.C.etal,"Trowards A1-45"Law.A Roadmapto TrustworthvAGl."arXiv oreorint.2024https/anxivorg/abs/2412.14186安远A(ConcordiaA)是一家AI安全与治理领域第三方研究和咨询机构,同时是目前该领域中哪唯一的社会企业
前沿人工智能风险管理框架(1.0版男人王销实CONCORDIAA否越过黄线——即达到触发更高级别安全措施的早期预警指标。我们建议A1研发者在研发前和部署前进行系统性评估，以便为关键的部署决策提供参考。同步应建立部署后持续监测机制,为新一代系统研发提供安全指引。与本框架同时发布的还有一份针对一系列涌用型4.风险评价:建立三级风险分级体系:绿色区域(基于常规措施可安全部署）、黄色区域《需强化安全防护与授权》、红色区域(需特殊措施,如限制部署或限制研发)。我们建议对缓解携施实施后的剩金风险进行选代评估,讲一步采取降低风险的措施直至风险汰到可接受水平。5,风险缓解:构建全生命周期纵深防御风险缓解策略,包含三种风险缓解措施:安全训练施、部署缓解措施及模型安保措施,并根据模型处于绿色区域、黄色区域或红色区域设定不同的保障级别。我们呼吁全球持续加大A安全基础研究投入,当前技术手段尚难以充分保障先进AI系统的安全性6.风险治理:提出监督和调整整个风险管理流程的治理路径。建立四维治理体系:内部治理机制、透明度与社会监督、应急管控机制、政策定期更新和反馈机制,并根据模型处于绿色区域、黄色区域或红色区域设定不同的保障级别上海人工智能实验室坚信AI安全是一项全球公共产品。我们率先提出这份前沿A1风险管理框架，汇集了现阶段对重大A|风险的认知与应对思路。我们倡导前沿A研发机构、政策制定者及相关方采用兼容的风险管理框架。AI技术的跃迁日新月异,唯有尽快在当下采取集体行动,才能让变革性AI真正造福人类，并避免灾难性后果。我们诚邀各方就框架落地开展合作，并承诺以公开透明的方式分享实践成果。只有当关键组织同步落实同等强度的防护措...
