DeepSeek对国产芯片的影响科智咨询云网研究事业部苏长飞2025年4月神智咨询
目录01DeepSeek技术创新02DeepSeek对国产芯片的影响03国产芯片面临的挑战和发展机遇
Deepieck出现的影响人科智咨询DeepSeek的出现标志着我国在生成式A|领域达到世界领先级别全球APP增长1亿用户所业时间DeepSeek与ChatGPT移动端全球DAU对比情况产品增长1亿用户花费时间Riras2.200DeepSoek7天ＤAU(万2.000S2个月ChatGPTTASOk9个月K)denvoN&10个月0栋年2个月instagran2年6个月whatsapp3年6个月0apchal土acebook155ChatGPTTelegram5年1个月DAU（万)114615小咨万维网应用(APP)发布第N天数据来源:公开信息02025科幅咨询AIightsrexrved.
Deafeek主要技术创断点人科智咨询架构创新无辅助损失负载平衡的DeepSeekMoEDeenSek-V3提出了一种无辅助损失的负载均衡策略(LossFreeBalancing),通过动态调整每个专家的偏差来控制负载平衡。而不引入干扰梯度,减少因鼓励负戴均衡而对模型性能产生的负面影响。RM5Norm1daldTop-&,O00OCachedDuringIMulti-Head Latent Attention(MLA)0000MLA的核心在于通过低校联合压缩来减少注意力键(kevs)和位(values在推理过程中的缓存,从而提高推理效率Latentc0000000数据来源:DeepSeek论文02025科幅咨询AIightsrexrved.
Deafeek主要技术创断点人科智咨询软协同工程优化1/2多token预测(Multi-TokenPrediction.MTP,主流大模型token-by-token生成序列。而每次token生成需要频繁与访存交互从而因为访存效率形成训练或推理的瓶颈。MTP方法主要将单token的生成,转变成多token的生成,提升训练和推理的性能,DeepSeek主要对传统MTP算法进行了一定优化,顺序预测额外token,并在每个预测深度保持完整的因果链,FP8混合精度训练框架绝大多数核心计算核(即通用矩来法GEMM作)均以FPB精度实现,这些GEMM操作接受FP8张量作为输入,并输出BF1太中多球大的结果。如下围所示，与线性算子(Linearopeaor)相关的三个GEMM运算前向传播(Fprop)，激活梯度反向传播(Dgrad)和权重桥度反向传播(Wgrad)对以下模块维持原有精度(如BF16成FP32):嵌入模块(embeddingmodule)输出头(outputhead),混合专家门按模块(MoEgatingmodules)标准化算子(nomalzationoperabrs)以及注意力算子(atentionopealors(尽管FPB格式具有计算效率优势,但由于部分算子对纸精度计算转为报仍需保持史高计算精度)数据来源:DeepSeek论文
Deabeek主要技术创新点人科智咨询软协同工程优化2/2计算:通信重叠(DualPipe调度策略)DeenSeek-V3设计了DualPipe算法,用于高效的流水绳并行计算。该算法通过重叠计算和道信,减少了流水线气池,并在跨节点的专家并行训练中实现了近个完全的计算-通信重叠,显若提升了训练效年。通过PTX手动优化跨芯片通信NVIDIACUDAComplier(NVC英伟达H800芯片互联带宽相比H100被阁割,为弥补这一缺陷,DeepSeek借助PTX手动优化跨芯片通信,保障数据传输效车。PTXACUDA编译的中间代码,处于高级编程语言(如CUDACJC++)和底层机器码(SAS5)之间,起到在CUDA和最终机器码之间的桥梁作用。Host C/C++DeviceJust-in-TimeCompilerCompiler借助PTX,开发者能够直接对GPU的寄存器分配、线程调度等硬件级操作进行控制,实现细继度的性能优化,在多GPU协同训练场录中,可通过PTX(SASS)手动调整跨芯片通信效率,提升整体训练效能。CPUGPU数据来源:Deep5eek论文、公开信息02025科智咨询,AInghtressved.
目录01DeepSeek技术创新02DeepSeek对国产芯片的影响03国产芯片面临的挑战和发展机遇
市场影响人科智咨询开源生态打开国产算力需求空间刺激算力总需求持续增长杰文斯博论算力总需求持续增长:根据科智咨询发布的中国智能算力市场规"杰文斯悖论"指出,技术模研究报告,2024-2028年,中国智能算力规模仍将保持近40%的高速增长进步导致资源使用效率的提高,反而可能增加资源推理侧需求爆发:推理侧需求占比将爆发成增长至202年将从的总体消费量。目前的65%增长至72%在图中,燃料成本下降/2020-2028年中国ADC算力供给规模(PFLOPS)20%(从100美元到80美元)，旅行量增加了40%300,000(从10单位到14单位)250.000中国人工智能服务器工作负机及预测200,00050.00041%58%65%67%推...
