2024蚂蚁安全实验室Prompt生成式大模型安全评估白皮书LargeLanguageModel
前言自2022年11月以来,以ChatGPT为代表的生成式大模型持续引发全球广泛关注。作为新大模型安全白皮书参与人名单一轮人工智能技术革命的代表性成果,生成式大模型的迅速发展,正在深刻重塑全球人工智赔技术档局，为我国数字经济高质量发展和智能化转型注入新的动能。然而，随着技术应用联合编写的不断扩展,其潜在的安全风险逐渐凸显。诸如"大模型幻觉",三星公司机密资料泄票等。件，反映了生成式大模型在隐私保护、恶意滥用、技术漏洞及合规性等方面的复杂挑战。这智能算法安全置点实验室(中国科学院)些问题的出现,不仅对技术的安全性提出了更高要求,也对产业的规范发展和社会治理能力公安部第三研究所蚂蚊安全实验室构成了严峻考验。馆写组铝长我国对此高度重视,出台了《操暂行办法》等一系列政策文件胡确了生成式大模型技术在安全性、面的基本原则和监管要求,为技术程学旗--智能算法安全置点实验室主任(中国科学院)的健康发展提供了系统指引和政策保障,这些举措充分体现了我国在全球人工智能技术治理中秉持的前增性战略眼光和责任担当。编写组成员特能算法安全服点实验立(中国科学院):敖翔、尹芷仪、张曙光、王确诗、李承奥活期,ODenA发布了更撞长处理复杂推理任务的01和03系列模型,标志着生成式大楼陈天宇、景少玲、张玉洁、张函玉、张晓敏生成式大模型安全评估框架提出了迫切需求。构建这一框架，需要从技术性能、风险防控公安部第三研究所：盛小宝、王勇、江软螺、曹思玮、刘署名、文馒干、刘佳磊、王光泽合规性等多个维度胡确评估指标体系,系统性降低潜在风险。为行业提供权成的技术指异蚂蚁安全实验立:王编强、李俊壶，崔世文、许卓尔、孙传亮、郑亮、朱丛、周莉这不仅将促进生成式大模型技术向安全、可信、可持续的方向发展,也为全球人工智能技术治理提供了可借鉴的"中国方案"。版权声明凡是在学术期刊、新闻发布稿、商业广告及其他文章中使用本报告文字、观点,请注胡为积极应对生成式大模型的安全挑战,智能算法安全亚点实验空(中国科学院)、公安部《生成式大模型安全测评白皮书》。第三研克所和县蚊安全实验享联合编写了2024年度《生成式大樟型安全评估白皮书》。白皮书会面结班了生成式大燎型的发展现状与安全风险。从安全评估方法别实践案例,深入剖听了当前技术而临的关键挑战,及应对策略,放力于为学术研究。产业实践和政输制定投供重更总*希望通过这一系统性研究助力生成式大型安全研与成用途收中心元的工智能生态体系提供坚实支撑,推动技术向着服务人类社会福祉的方向健康发展。
目录（2）传播皮假信息3.3事实性评估416大模型系统安全评估实践(3)连反法律法规3.3.事实性评估4.2文生图火模型安全性评估1.1生成式大语言模型(4)缺乏安全预警机制222隐私风险（1)基于规则的评估服标421HollaicEvalustionaf(2)基于机器学习模型的评估指标(1)便犯用户隐私信息mageMadels于LLM的评估指标8o产生成式大透言模型422UnzateDitlusion（2）对露企业机密数据【4)4.2.3HammAmpilicationin2.2.3知识产权风险3.32事实性评估数据制ageMadels1)训练阶存在知识产权风险(2）应用阶我存在知识产权风险4.3多模态大模型安全性评估[4)网里云:“通文干网”3.43隐私世路4.3.1T2VSaletyBanch(3）生成式大模型知识产权保护（1)敏感壹询4.3.2MLMGJA8D(6)树大讯飞认知大模型2.3技术安全风险（2)上下文对测点当当五、大模型安全评估的展壁(7）华为:盘古大模型2.3.1对抗样本攻击风险（3）个人:2335门攻击风险3.42隐私攻击2.3.3Prompt进入攻击风险5JW向安全的大模型自主演进(1)成员推断攻击52大模型评估的衍生安全风险2.3.4数据投毒风险（2)模型反寅/效据重建欢击1072.3.5越狱攻击风险(3)同性擦断攻击参考文献1.2文生图大模型（4）模型提取/窃取次击三、生成式大模型的安全评估方法31生成式大模型安全性评估堆度3.5鲁棒性评估3.31伦理性3.5.3对抗自神性评估基准【1)对抗样本攻击（1）偏见(2)粤性（2)后门攻击(3)Pvompt进入攻击3.12事实性13.30P3.13隐私性14)数烟投毒1.3.4家东太初3.14各棒性二、生成式大模型的安全风险233.2伦现性...
