大型语言模型LLM)安全风险、案例与防御策略Preparedby ChaMDS Security Team AIGroupauthor@bayuncao/editor@gurdxer2025.04.12
ChaMD5安全团队AI组这是ChaMD5安全团队AI组的第一篇关于大语言模型（LLM)的安全研究报告,尽管团队在AI安全领域已经有了一定的积累,但由于是初次撰写报告，我们深知在专业性与严谨性方面可能存在着诸多不足。真诚地希望各位读者老师能够不吝赐教,对报告中的任何问题提出宝贵的意见与建议,帮助我们不断改进与提升。1.引言2.LIM安全格局:机遇与风险并存3.剖析核心风险:OWASPLLMTop10(2025版)详解4.真实世界的威胁:LLM与供应链安全案例研究4.1案例研究:数据投嘉~PoisonGPT实验42案例研究:软件供应链攻击-PyTorch'torchtrition'事件4.3.启示与影响5.安全构建:LLM开发与防御框架及工具5.1.开发编排框架:LangChain52.防御工具:RebuffAI5.3.防御工具:Garak5.4．其他相关工具5.5.LLM安全工具比较6.建议与未来展望7.附录7.1.关键术语解释(Glossary of Key Terms)72.0WASPTop10forLLMApplications(2025版)完整列表7.3参考引用Page2of27
ChaMD5安全团队AI组1.引言这篇报告旨在概述当前LLM面临的主要安全风险:特别是基干OWASPTo10frIIMSG全除的实际影响。此外,报告还将介绍用干LLM应用开发和防御的金键框架与工具，并最终提出一系列建议以帮助企业及组织构建和部署更安全的LLM应用程序。2.LIM安全格局:机遇与风险并存大型语言模型(LLM正以前所未有的度改变著备行备业从自动化客户服务成销容到辅助软件开发·其强大的自然语言处理能力和快速推理能力为组织带来了显着的生产力提升和商业价值。然而，这种变革性的力量伴随着一个新兴且复杂的威胁环境。LIM的广泛采用速度常常超过了对应的安全措施的发展,暴露出严重的安全隐惠这些型以及与外部系统的交互等多个层面。例如，模型可能被诱导泄露敏感信息，生成有内容被票意临入操控(即提示注入)。“大型语言模型应用Ton10项目。这是一个由全球超过500名专家和150多名活跃贡献者协作努力的成果旨在识别和排序LLM应用中最笑键的安全漏洞·该列表不仅提高了人们对这些风险的认识还为设计构建和部署利用LLM技术的"OwASPGenA[安全项目"，反映了且金注范围的扩大和重性的提升OWASPLIMToN10列寿会定期更新(例2025版发Paae3of27
ChaMD5安全团队AI组布)，以反映不断变化的威胁和新的研究发现，凸显了LLM安全领域的动态性。这种动态性意味着LLM安全是一个需要持续关注和投入的领域仅仅一年前被认为是关键的威胁,可能随着模型架构的演进新的攻击技术出现以及防御策略的进步而发生变化组织必须保持警惕，不断学习和调整其安全态势以应对新出现的风险在此背号下·像OWASPTon10这样的标准化框架变得至关重要。它们为开发者·安全专业人员和决策者提供了一个共同的理解基础和沟通语言,帮助他们在复杂的LLM安全领域中识别评估和优先处理最馀键的漏洞。这种基干广泛共识的方法有助干将资源集中在最需要会注的领域此外·OWASP列表强调了LLM安全的整体性。风险不仅存在于模型本身·也贯穿于其整个生命周期和牛态系统.包括训练数据的完整性第三方组件和依赖项(供应链)插件的安全性以及模刑输出的处理方式。因此,采取全面的复盖整个LLM操作生命周期的安全视角对于有效的风险管理至关重要。3剖析核心风险:OWASPLJMTon10(2025版)详解OWASPTop 10 for LLM Applications25版确定了当前LLM应用中最键的十大安全风险。理表1:OWASPILMTon10核心风险(2025版)概要日陆愧丹与名称简要定义示例/影响免健缓解方法RiskID&Name)(BriefDefinition)(Example/Impact)(KeyMitigationApproaches)LLM01:2025Prompt直接注入:用户输入恶用户提示以非预期方式1.输入过滤与净化实改变LLM行为或输竟指令.绕过安全护栏·施严格的输入验证和净Page4of27
ChaMD5安全团队AI组Iniection(提示注入)出，可能导致违反准则、或执行非预期功能。令。权访问或影响决策。间接注入:LLM处理2.输出编码与处理:对执行代码。户不知情的情况下执行3.权限控制:限制LLM操作。执行高风险操作的能影响:数据泄露社会力·实施最小权限原则工程·未经授权的操作、4人工审核:对敏威操...
