桌面
添加运营动脉到电脑桌面
安装后将用独立窗口打开,并可在电脑桌面快捷访问
足迹
浏览记录
加载中...
查看更多

2026-大模型与智能体安全综合测评报告-177页

2026-大模型与智能体安全综合测评报告-177页 复制标题
2026-大模型与智能体安全综合测评报告-177页_第1页
1/179页
2026-大模型与智能体安全综合测评报告-177页_第2页
2/179页
2026-大模型与智能体安全综合测评报告-177页_第3页
3/179页
2026-大模型与智能体安全综合测评报告-177页_第4页
4/179页
2026-大模型与智能体安全综合测评报告-177页_第5页
5/179页
2026-大模型与智能体安全综合测评报告-177页_第6页
6/179页
2026-大模型与智能体安全综合测评报告-177页_第7页
7/179页
2026-大模型与智能体安全综合测评报告-177页_第8页
8/179页
2026-大模型与智能体安全综合测评报告-177页_第9页
9/179页
2026-大模型与智能体安全综合测评报告-177页_第10页
10/179页
::::2026大模型与智能体安全综合测评报告2026大模型与智能体安全综合测评报告联合发布单位国家计算机病毒应急处理中心天津大学天津师范大学元回科技(天津)有限公司目录CONTENTS前言02/05大模型安全评测3.1大模型安全评测总体结果12/223.2评测维度22/263.3评测基准数据27/323.4评测方法与质量控制33/363.5大模型安全评测详细结果371150概述06/10智能体安全评测4.1Agent安全评测总体结果152/1544.2评测维度154/1574.3评测基准数据157/1584.4评测方法与质量控制158/1604.5Agent安全评测详细结果160/176前言01//////////近年来,以大语言模型、多模态大模型和智能体系统为代表的人工智能技术快速演进,正在深刻改变知识生产、产业协作、公共服务和社会治理方式。大模型凭借强大的语义理解、内容生成、复杂推理、代码编写、跨模态感知和工具调用能力,已经广泛应用于办公协同、教育培训、金融服务、医疗辅助、政务咨询、软件开发、工业制造、内容创作等诸多场景,成为推动新一轮科技革命和产业变革的重要力量。随着模型参数规模、训练数据质量、推理能力和任务泛化能力的持续提升,大模型正在从“辅助工具”逐步走向“智能基础设施”,其社会影响力和系统重要性不断增强。与此同时,人工智能的演进正在经历从“生成式AI”到“智能体AI”(AgenticAl)的关键跃迁。大模型不再仅仅作为被动响应人类提问的对话02系统,而是逐渐发展为能够自主规划任务、调用工具、委托子任务、执行多步操作并与真实世界产生交互的智能体。智能体系统能够操作浏览器、编写代码、管理云基础设施、应答客户服务、查询数据仓库,其行为已经从生成文本扩展为执行操作,从单轮对话演进为多轮自主决策。这一转变在显著提升生产效率的同时,也从根本上重塑了人工智能安全风险的性质与边界。与传统信息系统相比,大模型和智能体系统具有开放交互、概率生成、上下文依赖、涌现能力明显、行为边界难以完全预判等特点,其安全问题呈现出更强的隐蔽性、动态性和扩散性。一方面,大模型可能在用户正常使用过程中生成虚假信息、误导性建议、偏见歧视内容、低俗暴力内容或其他不具调用、权限操作和自主执行能力,可能被恶意利用于越权访问、数据窃取、系统操控、权限提升乃至现实世界的破坏性行为。研究表明,当前生产%时存在私有数据访问、不可信内容暴露和出站操作能力三重风险。安全风险已从单纯的内容安全,扩展到系统安全、数据安全、业务安全和供应链安全等多个层面。从技术机制看,大模型和智能体系统的安全风险贯穿数据、模型、训练、对齐、部署、应用和监管全生命周期。训练数据中可能包含偏见、谣言、违法违规内容、个人隐私或敏感信息,模型在学习和泛化过程中可能放大这些问题;模型对齐过程虽能在一定程度上降低有害输出概率,但仍难以覆盖所有真实场景,面对越狱提示、角色扮演、多轮诱导、跨语言攻击、编码绕过、工具调用滥用等复杂攻击方式时,模型仍可能出现防护失效;在应用部署阶段,模型与插件、数据库、搜索引擎、代码解释器、自动化工具及外部业务系统连接后,其风险边界进一步扩大。对于智能体系统而言,风险维度03★20261女伴狐智健进一步延伸至工具调用安全、委托安全、自标持久性与自主权校准等全新领域。智能体可能误解用户意图、泄露敏感信息、编造不存在的事实、被提示注入攻击所操控,或在多轮交互中逐步扩大执行边界与数据访问范围。与此同时,人工智能安全问题还具有明显的社会属性。模型和智能体输出的价值导向、文化立场、知识准确性和行为规范,不仅影响用户对信息的判断,也可能影响公众认知、舆论生态和社会信任。尤其是在教育、医疗、法律、金融、心理咨询、未成年人保护等高影响场景中,模型一旦给出错误、片面或不负责任的建议,或智能体一旦执行越权、违规的操作,都可能造成,,,,“,,“得负责任”,以及智能体是否做得安全”“做得可靠”“做得合规”“做得负责任”当前,全球主要国家和地区均高度重视人工智能安全治理,围绕模型透明度、数据保护、算法问责、内容治理、风险分级、红队测试、安全评估、生成式人工智能服务管理等方面持续完善政策框架和技术标准。产业界、学术界...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

查找下载文件的指引

一、电脑端

- Windows 系统:按下键盘快捷键 `Ctrl + J`,即可打开下载列表。  

- Mac 系统:按下键盘快捷键 `⌘ + J`,即可打开下载列表。  

二、手机端

1. 打开手机浏览器,点击浏览器右下角的 “≡”(或“更多”)图标。  

2. 在弹出的菜单中找到并点击 “下载内容”(或类似选项),即可查看已下载的文件。  

提示:不同浏览器界面略有差异,若未找到“下载”入口,可尝试在浏览器设置中搜索“下载”关键词。


2026-大模型与智能体安全综合测评报告-177页

¥9.9
会员免费
下载本文档
安全支付  |  可重复下载
格式pdf
大小180.84 MB
页数约179页
下载19 次
报告魔方 + 关注
实名认证
确认删除?
会员
教程
联系
  • 站长微信
顶部