QualcomAl变革正在推动终端侧推理创新生成式模型的激增和演讲,将如何改变A格局并释放价值2025年2月
目录摘要。....................高质量AI模型目前已变得丰富且经济实惠创新推动模型质量提升,减少开发时间和成本.................4小模型在边缘侧实现了强大功能...........................A推理创新时代已经到来...........................0高通将成为AI推理时代引领老扩展复盖所有关键边缘细分领域..................手机.PC.汽车...............................工业物联网_9网络..............总结.10
摘要尖端A推理模型DeepSeekR1一经问世,便在整个科技行业引起波澜。因其性能能够媲美甚至超越先进的同类模型。颠复了关于AI发展的传统认知这一关键时刻是更广泛趋势的一部分，凸显了行业在打造高质量小语言模型和多模态推理模型方面的创新，以及这些创新正在为AI的商用应用和终端侧推理落地做好准备。这些新模型能够在终端侧运行,将加速强大边缘侧芯片的规模化扩展,并创造对此类芯片的需求。四大趋势正在显着提高目前可在终端侧运行的AI模型的质量、性能和效率,从而推动上述变革:当前先进的AI小模型已具有卓越性能。模型蒸馏和新颖的AI网络架构等新技术能够在不影响质量的情况下简化开发流程，让新模型的表现超越一年前推出的仅能在云端运行的更大模型。模型参数规模正在快速缩小。先进的量化和剪枝技术使开发者能够在不对准确性产生实质影响的情况下，缩小模型参数规模。开发者能够在边缘侧打造更丰富的应用。高质量A模型快速激增,意味着文本摘要、编程助手和实时翻译等特性在智能手机等终端上的普及，让A能够支持跨边缘侧规模化部署的商用应用AI正在成为新的UI。个性化多模态A智能体将简化交互，高效地跨越各种应用完成任务。高通技术公司在引领并利用从A1训练向大规模推理转型。以及Ai计算处理从云端向边缘侧扩展方面具有战略优势。公司在开发定制CPU、NPU、GPU和低功耗子系统领域取得了广泛的成就。通过与模型厂商展开合作,以及面向跨不同边缘终端领域的模型部署提供工具、框架和SDK,高通技术公司赋能开发者在边缘侧加速采用A1智能体和应用。近期对A模型训练方式的颠复变革和重新评估验证了A格局即将向大规模推理转变的趋势，这将形成全新边缘侧推理计算的创新和升级周期。尽管模型训练仍将在云端进行,但推理将受益于采用高通“技术的广泛终端规模。并催生更多边缘侧A1赋能处理器的需求。3
高质量AI模型目前已变得丰富且经济实惠创新堆动刑居昌升减心开发时间和成大AI模型训练成本的下降和开源合作相结合,让更多的开发者和组织能够进行高质量模型开发。这种转变是由多种技术讲步共同推动的。使用更长上下文文本和简化一些训练光骤能够节省计算成本。从混合专家模型(MoE)到状态空间模型(SSM)等较新的网络架构正在以更少的计算开销和功耗不断实现技术突破。新一代A模型还集成了诸如思维链推理（Chain-of-ThoughtReasoning》和自我验证等先进方法，能够在数学、编码和科学推理等各种颇具挑战性的领域获得出色表现。蒸馏(Distilation)是开发高效小模型的一项关键技术。它能够让大模型"教兰"小楼型，保持准确性的同时迁移知识。蒸馏技术的使用促使小型基础模型激增,包括众多图1展示了蒸馏的强大能力。这里比较了Llama3.3700亿参数模型和同类DeepSeekR1蒸馏模型的LiveBench平均测试结果，显示出在相同参数规模下，蒸馏能够在推理,编程和数学任务中显著提高性能。LiveBenchAI基准测试88指令遵循图1:Meta Llama700亿参数模型和DeepSeek对应蒸馏模型的LveBenchA基准测试平均结果对比。来源:LiveBench.ai,2025年2月。
小模型在边缘侧实现了强大功能得益于蒸馏和上述其他技术，小模型正在接近前沿大模型的质量。图2显示了DeepSeekR1蒸馏版本与其他领先模型的基准测试结果对比。基于通义千问模型和Llama模型的DeepSeek蒸馏版本展现了诸多明显优势,尤其是在GPQA基准测试中与GPT-40、Claude3.5Sonnet和GPT-01mini等先进模型相比,取得了相似或更高的分数。GPQA是一个关键评估指标,因其涉及解决复杂问题的深层次、多步骤的推理，这对许多模型颇具挑战性。AIMMATHGPQA模型LiveCodeBe...
