2025年深度行业分析研究报告
目录一、大楼型发展回顾:以Transformer为盖,Scaling lhww贯穿始修三、海外大模型进晨:资源头部售中。压铺G13.1、海外大模型;格局头部集中马太效应显着,集中押注面向AGI111、大语言模型(LLMs)的兴起—自回归架构强化文本生成能力3.2、OpenAl;全球AI大模型风向标,自然语言/多模态/推理模型上均作为引领角色113.Tansfiome拆锅，包括Encoder/Decodar、注意力层、前馈神经网络层3.3、Goocle:Gcmini面向智能体时代新作,原生多模态领域前跪布局12.1、预训练Transfomc型时代(2018-200)GPTVSRERT3.4、Mca:10年布局路身全球AI巨头,Llama成为全球开源模型标杆122、GPT3以1750亿参数开启了预训练侧Scalinghaw叙事35.Antroic: Claude-3.5对标0penAl,Agent系列lcomputcr use推动人机交互131、Transfommer受限于长序列场景,计算复杂度与输入序列表现为指数增长关系变革132.Mamba架构集成Tansfomer+RNN优势,成为Transformer架构的强劲挑战者四、模型未来研判:投注后训练+算法的持续优化二、国内大摘型进晨:行业充分竞争,降本提效为主旋神41、模型架构的演进:从Dense到MoE,模型大幅降本提效2.1、国内大模型:行业充分竞争,降本提效为主旋律42、台成数据作为A时代新石油，支撑模型继续在pe training bscaling22.DeoSeck,早期确立A战略,模型家族涵盖标准语言模型推理模型/多模态模型4.3、DepSed带动纯强化学习新范式，23、豆包大模型：实时语音、视频生成理解领域布局，2024日2发力月活冲上全球第二4.4、DepSeck带动模型加速私有化+低成本部署趋势2.4、Qwen;AI为阿里巴巴未来战略核心,Qwen系列掀起国内模型开源革命
一、大模型发展回顾:以Transformer为基,Scaling law贯穿始终
1.1.1、大语言模型(LLMs)的兴起自回归架构强化文本牛成能力语言模型是一种人工智能系统,旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构,使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。大语言模型(LLMs)是语言模型系统的子集。大语言模型规模显著更大,通常包含数十亿个参数(例如,GPT－3拥有1750亿个参数),使得大语言模型在广泛的任务中表现出卓越的性能。大语言模型这一术语在2018至2019年间随着基于Transformer架构的模型出现开始受到关注，在2020年GPT-3发布后,LLMs开始被广泛使用。0大多数(.LNs以自回归方式操作,根据前面的文本预测下一个字(取)oken/sulb-word)的概率分布。这种自回归特性使模型能够学习复杂的语言模式和依赖关系，从而善于文本生成。在文本生成任时，LLM通过解码算法确定下一个输出的字,这一过程可以采用的策略包括:1)选择概率最高的下个字;2)从预测的概率分布中随机采样一个字。虚类似人类的语言圈:LLM通过解码算法来确定下一个输出的字The neat token'sprobablity distribution.DecodingAlgorithm0.31powerfulText InputText Output03complexLanguageDeepLearningisveryLLM0.28]innovativepowerfulBeijingWhat isthe capital of China?Model"Prompt+priortokens"eweak"Question"or"Prompt'"Response0.01limitedDN0致Great资料来源：中科院计算所培训中心公众号
1.1.2、Transformer架构克服RNN长文本局限性,标志着NLP的分水岭时刻02017年谷歌团队提出Iransformcr捷型,Transformer架构也标志着NLP的分水岭时刻。Tansforme突破了早期模型如循环神经网络(RNNs)与长短期记忆网络（ＬＳTMs》在捕捉长依赖及顺序处理上的难点,同时RNN和LSTMs计算低效自易受梯度消失等问题困扰。Transformer的横空出世扫清了这些障碍，重塑了该领域格局,并为当代大型语言模型发展铺设了基石。达到预定的条件:RNNS(循环神经网络）Time=0Deep-LearingTime=1DeepLearning1LNLarge Language Model(LLM)AAAATime=3DeepLearning;is"LLMTlme=4DeepLeaminglsvwery-LLMpowerfulX资料来源：中科院计算所培训中心公众号、ATYUN人工智能媒体平台
1.1.3、Transformer拆解:包括Encoder/Decoder、注意力层、前馈神经网络层编码器:编码器是前馈神经网络层解码器:与编码器几乎OutputprobablitiesTransformers架构的主相同,除了额...
