全校AI公开课DeepSeek与未来AI创新DeepSeeki核心技术白话解读嘉宾：王鹏西北工业大学计算机学院教授国家级人才西北工业大学计算机学院2025年2月26日空天地海一体化大数据应用技术国家工程实验室报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新第一部分引言嘉宾：王鹏西北工业大学计算机学院教授国家级人才报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新DeepSeek的突破性定位首个低成本、高性能的开源大语言模型性能比肩GPT-4、OpenA1-o1等顶尖闭源大模型，训练成本仅为后者的5%-10%嘉宾：王鹏西北工业大学计算机学院教授国家级人才DeepSeek-V3性能DeepSeek-R1性能报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新DeepSeek的几个版本通用DeepSeek有语言和推理模型，及模型对应的满血蒸馏等诸多版本语言大模型DeepSeek-V3满血DeepSeek完整的版本deepseek版本性能强大但计算开销大通用语言大模型，对标ChatGPT量化模型不变，通过降低参数精嘉宾：王鹏推理大模型DeepSeek-R1版本效率西北工业大学计算机学院教授国家级人才先思考后回答，蒸馏将大型模型的知对标OpenAl-.O1识压缩到更小的版本弱但轻便高效报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新DeepSeek技术创新的核心逻辑核心逻辑：用更少的成本做更多的事技术创新功能实现终极目标更少的模型参数更少的成本学习策略嘉宾：王鹏更少的计算存储模型框架西北工业大学计算机学院教授更少的通讯开销国家级人才工程实现更少的数据标注报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.1学习策略创新：背景知识机器学习模型：一种映射，在给定输入情况(x)下、输出一定结果的函数(X)。机器学习：根据反馈信号调整模型的参数，以使模型的表现符合预期输入模型输出嘉宾：王鹏西北工业大学计算机学院教授国家级人才反馈信号报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.1学习策略创新：背景知识监督学习和强化学习是两种常见的机器学习策略监督学习：直接的指导性的反馈类比：老师手把手教你做题，直接告诉你解题思路输出优势：学习目标明确。训练效率高，易收敛劣势：依赖标注数据，泛化能力受限嘉宾：王鹏强化学习：间接的评估性的反馈西北工业大学计算机学院教授类比：只告诉你答案是否正确，不指导解题思路国家级人才出优势：无需标注数据，可处理开放性问题劣势：需大量试错，训练效率低，难收敛报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.1学习策略创新：背景知识在监大模型训练流程：预训练+后训练预训练后训练在海量文本数据上进行“下一词预测”的（自）监督微调，在少量带有思考过程（思维链）的监督学习，用于学习足够多的语言知识监督数据上进行“下一词预测”学习，用于激发推理能力预训练思维连监督微调嘉宾：王鹏西北工业大学计算机学院教授国家级人才报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.1学习策略创新：算法实现DeepSeek:首次在后训练阶段用强化学习完全代替监督微调(R1-Zero)。采用的GRPO算法放弃了对思维过程进行监督的执念，去除了过程价值评分模型(critic)嘉宾：王鹏西北工业大学计算机学院教授国家级人才DeepSeek-R1-Zero的强化学习曲线DeepSeek-R1-Zero平均响应长度逐新暗加神奇之处：通过一个不需要思维链标注、不需要过程监督、依靠最简单的反馈信号、依赖很少的学习循环次数的极其简单的后训练流程，就可大幅提升模型的推理能力。报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.1学习策略创新：顿悟时刻行有不得，反求诸己，我悟出了更好的DeepSeek-R1-Zero中一个有趣的"顿悟时刻”该模型学会了使用拟人化的Question:If a 1,then the sum of the real solutions of asx is equal to语气进行重新思考。(d-xy=a+x-42-2ax2+(x-a+r=x-2ax2-x+(02-0)=0像人一样有顿悟的时刻，让嘉宾：王鹏Wait,wait.Wait.That's an aha moment I can flag hene.我们见证了强化学习的力量西北工业大学计算机学院教授We started with the equation:和美丽。国家级人才First let's square both sides:Next,I could square both sides again,treating the equation:.报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.1学习策略创新：科学意义>大幅增加后训练阶段的可扩展性，降低数据标注成本开启LLM推理能力的自我进化之门：与其直接教解题思路，不如让模型自己悟出更好的>从强人工智能到超人工智能？嘉宾：王鹏西北工业大学计算机学院教授国家级人才报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.2模型结构创新：背景知识深度神经网络的核心思想是信息的逐层传播与变换>传播的多样性：CNN关注空间局部性，RNN强调时序依赖，Transformer实现全局交互，但均遵循“输入一处理一输出”的传播逻辑。>变换的核心性：无论线性变换、非线性激活，还是注意力权重的动态计算，本质上都是对信息的加工和提取。>目标的一致性：最终目标是通过层级变换，将原始输入映射到有意义的输出。嘉宾：王鹏西北工业大学计算机学院教授国家级人才循环神经网培RNNTransformer结构Transformer模型结构因其全局依赖建模能力、并行计算效率和可扩展性，l成为大模型的首选架构报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.2模型结构创新：背景知识Transformer结构：Feed-Forward Network前向计算网络：实现多层非线性变换，大约2/3的模型参数集中于此RMSNorm自注意力机制：嘉宾：王鹏其核心思想是通过动态计算输入元素间的权重，捕捉Attention元素之间的复杂依赖关系，赋予模型强大的上下文建西北工业大学计算机学院教授模能力。参数量占约1/3，但其计算复杂度为输入序国家级人才RMSNorm列长度的平方，在长文本条件下消耗了大部分计算存储资源单层Transformer结构报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.2模型结构创新：背景知识传统机器学习理论：模型复杂度增加时，测试误差先下降后上升现代机器学习实践：在过参数化的深度学习中测试误差会再次下降，形成“双下降”曲线，这成为大模型研究的重要动机之一over-fittingover-parameterizedTest riskTest riskinterpolating regime嘉宾：王鹏Training riskTraining risk西北工业大学计算机学院教授Capacity of HCapacity of H国家级人才(b)大模型的过参数化：参数量远超过了拟合训练数据所需的最小参数量，但学习到的模型可能只存在于一个低本质维度的子空间中。这是Deepseek模型结构创新的重要前提报告主题：DeepSeek核心技术白话解读全校AI公开课DeepSeek与未来AI创新2.2模型结构创新：混合专家结构混合专家结构(MO)：对前向计算网络的改进MOE:将单一前向计算网络分割成若干个小网络，通过动态激活Feed-Forward Network部分专家提升计算效率DeepSeekMOE:更细粒度的专家分割，将MOE的计算优势发RMSNorm挥到极限。但随之带来负载均衡、通信路由等问题，通过工程方法进行了解决嘉宾：王鹏Attention西北工业大学计算机学院教授国家级人才RMSNorm报告主题：DeepSeek核心技术白话解读