2025年深度行业分析研究报告
内容目录一二Transformer架构的过去和现在人脑带来的启示:数据的无损压缩Transformer的优势:规模扩展、Transformer架构的未来17Transformer架构的局限性12Transformer架构的挑战者13221.................................RetNet.22.2Mamba1622.3..................RWKV(ReepanceWeighted Key Value),2.2.4Hyena....202.2.5线性注意力机制,.....2123架的账望:更钺计算复杂度、更任成本，更布效单.24图表目录图1.大语言模型(LLMs)大语言模型(LLMs)与大脑相似性估计框架的示意图大语言模型上不同提示添加策略与大脑相似性在处理积极和消极情感文本时与大脑的相似性.6预测下一个词汇注意力(SraltedDo-Product/tentin)原理和Soltmax公式….....er和LSTM在不同参数教量和上下文长度下的测试损失........10流大模型参数量变化10RNNLSTM、CNN和Transformer在跨模态任务中的优势劣势,11用12.Transformer架构的计算复杂度过高来源于其自注意力机制SofimaxAttention.六围13.大模型参数量不断膨胀,已达1000B.......................--
图14.谷歌COREML/AI制总裁BiJia在2024年硅谷华源科技年会上接受采访14图15潜在的Tnsformer来构替代............................15图17.ReANet同时实现训练并行性、良好性能和低推理成本这一"不可能的三角"....16..6图18.状态空间模型(SSM)图19.RNNs、Transformers和SSMs在自回归序列建模任务中的优缺点.17图20,改进Mamba架构的现有研究总站.17图21.RWKV-6的tokenshift计算流程.18围22.RWKY4,RWKY-5Eagle和RWKV-6Finch模型的上下文长度实验随版本送代表现变好.19图23在RWKV4Fincth,Mamhe和oPlshAtention中,RWKV6的置存占用率最低...围24.RWKV基础模型的众多应用场..20图25.Hyena算子的结构和工作原理.21图26.Softmax注意力和线性注意力的计算流程图27.AgentAttention的计算流程.23图28.3图29.MiniMax-Text-01的结构..........24
1 Transformer架构的过去和现,在1.1人脑带来的启示:数据的无损压缩人类大脑的进化伴随着神经系统的复杂化,包括神经元数量、类型、连接方式以及大脑区域的扩展。这些变化主要由基因的复制和分化驱动。大脑区域的模块化进化加速了这一过程,因为不同的模块可以独立进化。随着我们对大脑认知机制的深入了解以及计算机科学的进步,研究人员尝试通过算法量化大脑的认知功能将人类的思维模式映射到人工智能上。目前,人工智能大模型的进化主要依赖子人工版本的更新。而随着技术的发展,研究人员正在探索自我进化的模型,使其能够自主完善和学习由自身生成的经验,从而推动人工智能向更高级的智能发展图1大语言模型(LLMG)自进化概念框架盟1.ExperienceAcquisitionSolutionFeedbackTaskEvolutionEvolutionEvolutionObjectiveE=(A.D)AbilityADirectionDAgent+F,y.F2日4.Evaluation3.Updatingy，g2.ExperienceRefinement据来源：Z实现了高效的,为了优化信息处理。大脑发展了高效的信息选择和投注机制注意而非依赖超大容量的处理能力。通过集中有限的计算资源于重要任务上,注大脑能够迅速分析关键信息并做出决策。在人工智能领域,受人类注素力机制的启发。研究者开发了"自注意力机制”(Sel-Atention),用于处理序列数据，如自然语言中的文本。自注意力机制通过计算输入序列各部分之间的相似度,并为每个部分分配不同的权重,从而更加精准地理解句子含义。这种机制能够综合考虑输入的全面性和个别单词之间的相关性,提升对信息的理解能力。因此,人工智能中的自注意力机制与人类大脑的注意力机制类仪,都能在有限资酒下高效地处理信息,并优化决策过程。
图2．大语言模型（LLMs)与大脑相似性估计框架的示意图Human BrainRDMStimulusTextLLM-BrainSimilarityLLMsRDM"预测即压缩,压缩即智施"。从神经科学的角度来看,人脑依然远远超过当前的大型语言模型(ILM》。尽管LLM的参数和连接数达到数万亿,但仍无法与人脑的复杂性相提并论。人类大脑的进化依赖于选择和投注机制，以较低的容量实现更高效的信息处理。人工智能的注意力机制主要是基于算法和模型来实现的，虽然在功能上与人类的注意力机制有相似之处,但在实现原理和灵活...
