DeepSeek内部研讨系列DeepSeek私有化部署和一体机AI肖睿团队(韩露、王春辉、既、李娜、谢安明、陈钟)20250224@北京I N G·北大青鸟人工智能研究院·北大计算机学院元宇宙技术研究所摘要1.本次讲座为DeepSeek原理和应用系列研讨的讲座之一，让大家可以决策是否需要自己部署DeepSeek系列模型，并了解自己本地化部署DeepSeek的基本方法，同时了解更专业的企业级部署方法，有助于选择DeepSeek一体机型号，并能理解DeepSeek云服务的工作机制和原理，用好DeepSeek:云服务的API调用方法。2.本讲座的内容分为四个主要部分：①首先，除了DeepSeek满血版之外，还有各种各样的蒸馏版和量化版，以及DeepSeek的不同专业模型。我们将介绍人工智能大模型的基本概念，以及DeepSeek各个模型的特点与适用场景，对比不同规模模型的性能表现，帮助大家选择最适合自己需求的版本。②其次，对于普通用户在自己的电脑上部曙和体验DeepSeek(蒸馏版)的情况，我们会评估和建议硬件要求，演示如何通过0lama命令行高效部署DeepSeek模型，解决下载过程中可能遇到的常见问题。为了提升在自己的电脑上安装DeepSeek模型后，大家与DeepSeek模型的交互体验，我们还将介绍Open WebUl和Chatbox等前端展示工具的配置与使用方法。③然后，对于专业级的企业部署DeepSeek,或把DeepSeek(蒸馏版和满血版)部署在专业的昂贵的推理机上，本讲座将探讨基于Transformers快速验证和vLLM的高性能部署方案，并提供真实企业基于vLLM的部曙DeepSeek-7Ob的相关数据和经验.④最后，作为补充内容，针对计算资源受限的场景，我们专门设计了"低成本部曙"环节，详细讲解Unsloth R1动态量化部署的三种实3.在技术学习的道路上，优质学习资源至关重要。推荐大家参考《人工智能通识教程（微课版）》这本系统全面的入门教材，结合B站“思客观通”栏目的配套视频进行学习。此外，欢迎加入ai.kgc.c社区，以及“A1肖客团队”的视频号和微信号，与志同道合的A爱好者交流经验、分享心得。2PEKING UNIVERSITY目录CONTENTSO1人工智能与DeepSeekO2个人部署DeepSeekO3企业部署DeepSeekPART 01,人工智能与DeepSeek大模型相关术语8文本腾讯元宝、智谱清言、通义Skywork o1300gpt2-01 LlaVA-CoT●通用模型>大语言模型(LM,Large Language Model)业●行业模型（垂直模型、垂类模型>教育、医疗、金融办公、安全等大模型的前世今生·人工智能：让机器具备动物智能，人类智能，非人类智能（超人类智能）运算推理：规则核心：自动化知识工程：知识核心：知识库+推理机·机器学习：学习核心：数据智能（统计学习方法，数据建模）常规机器学习方法：逻辑回归，决策森林，支持向量机，马尔科夫链，…··人工神经网络：与人脑最大的共同点是名字，机制和架构并不一样传统神经网络：霍普菲尔德网络，玻尔兹曼机，……·深度神经网络：深度学习传统网络架构：BN,CNN,NN,ResNet,Inception,RKY,·Transformer架构：可以并行矩阵计算(GPU),核心是注意力机制(Attention)三大核心妇件编码器(ERT):多数embedding模型，Emie早期版本，….混合网络：T5、GLMDeepSeek、Qren、GLM、Step、MiniMax、hunyuan、kimi、火山、…DiffusionOpenAI GPT(ChatGPT)、C1 laude、Llama、Grok、…Diffu8ion架构：主要用于视觉模型（比如Stable Diffusion、DLL.E),现在也开始尝试用于语言模型Diffusion+Transformer架构：例如Sora的DiT(加入Diffusion的视觉模型)，部分新的多模态模型架构大模型的发展阶段Stable Diffusion XL发布GLM-Zero.Skywork-o1.Step R-mini.Qwon.IntornLM,ChatGLM3.2022.122023.062023.122024.062025.01生成模型推理模型ref中文大模型基准测评2024年度报告(2025.01.08)生成模型与推理大模型的对比比较项OpenAl GPT-.4o(生成模型)OpenAl o1(推理模型)专注于通用自然语言处理和多模态能力，适合日常对侧重于复杂推理与逻辑能力，擅长数学、编程和自然语言推理任务，模型定位话、内容生成、翻译以及图文、音频、视频等信息处适合高难度问题求解和专业领域应用。一般是在生成模型的基础上通过RL方法强化CoT能力而来在日常语言任务中表现均衡，但在复杂逻辑推理（如推理能力数学题求解)上准确率较低。在复杂推理任务表现卓越，尤其擅长数学和代码等推理任务。支持文本、图像、音频乃至视频输入，可处理多种模多模态支持当前主要支持文本输入，不具备图像处理等多模态能力。态信息。适合广泛通用任务，如对话、内容生成、多模态信息适合需要高待度推理和逻辑分析的专业任务，如数学竞赛、编程问应用场景处理以及多种语言相互翻译和交流：面向大众市场和题和科学研究：在思路清晰度要求高的场景具有明显优势，比如采商业应用。访大纲、方案梳理。提供流畅的实时对话体验，支持多种输入模态；用户用户交互体验可自主链式思考，不需要太多的过程指令，整体交互节奏较慢。界面友好，适合大众使用。普通大模型是玩知识和文字的。推理大模型是玩逻辑的。至于计算问题，还是找计算器吧推理模型也不是万能的，其幻觉通常比生成模型大，很多不需要强推里的场合还是传统的生成模型比较适合deepseek自2024年起，Al肖睿团队便接入DeepSeek V2,持续应用DeepSeek技术体系，历经V2(MoE架构)、V3(MTP)探索，现已在生产项目中接入DeepSeek R1(满血版)。其中，V2和V3都是生成模型，R1为推理模型。下面，基于我们团队对DeepSeek的技术研究和实战经验，为大家系统梳理这三大模型技术特性，剖析知识蒸馏在各版本提升效率的逻辑，并结合边缘计算、数学编程、中文等场景实例，对比DeepSeek R1各版本模型的计算效率与推理精度的演进，同时说明标准化API/SDK对技术落地的适配机制。DeepSeek快速出圈DeepSeek全球增速最快AI应用上线20天日活2000万仅包含DeepSeek.应用(App)不包含网站(Web)数据，来源：AI产品榜2200◆DeepSeekDAU万)2.161180014932025年1月20日下午，中共中央政治局常委、国务院总理李强主持召开专家、企业家和教科文卫体等领域代表15519ChatGPT座谈会，听取对《政府工作报告（征求意见稿）》的意78DAU(万)22见建议。DeepSeek公司创始人梁文峰作为企业家代表之1520一参加了此次座谈会。应用(APP)发布第N天DeepSeek-.“服务器繁忙”2024年12月26日，Deep Seekl因推出对标GPT4o的语言模型DeepSeek V3,首先在美国的人工智能行业内部一起轰动.2025年1月20日，DeepSeek继续发布对标OpenAl o1的语言模型DeepSeek R1。由于“深度思考"模式生成的答率的过程可视化，完全开源模型参数和技术方案，采用极致的模型架构优化和系统优化手段降低了模型的训练和推理成本，加之完全由中国本土团队制造，让Deep Seek公司和DeepSeek R1模型在蛇年春节前后彻底出圈。春节之后，随着大量用户的快速涌入，DeepSeek官方提供的模型服务就一直在经历拥堵，它的联网搜索功能间歇性雍痪，深度思恩已深度思考（用时0秒）A考模式侧高频率提示“服务器繁忙”，此类现象让大量用户倍感困扰。这也揭示了A1时代和互联网时代的底层逻辑的不同：在互联网服务器繁忙，请稍后再试。时代，用户使用一个系统的成本很低，边际成本接近于零，但在A时代，用户使用一个系统的成本比较高，后天会有大量的算力需求和token消耗，边际成本下隆并不明显公司与模型介绍正式发布公司简介DeepSeek R1模型，在大模型排名ArenaDeepSeek于2023年7月成立，是幻宣布开源第二DeepSeek R1中其基准测试DeepSeek成代MoE大模型升至全类别大方量化孵化出的一家大模型研究机构，团立。DeepSeek V2.式上线模型第三。队分布在中国杭州和北凉，是中国大模型2024年1月2024年9月2024年12月七小虎之一。2023年7月2024年5月2024年11月2025年1月除了DeepSeek之外，其它六家也发布首个大模型DeepSeekSeek CoderDeepSeek V3被投资界称为中国大模型企业六小龙（智V2和Deep首个版本上线Seek V2 Chat并同步开源模谱A1、百川智能、月之暗面、零一万物、两个模型，升型权重。级推出全新的阶跃星辰、MiniMax)。DeepSeekV2.5新模型模型的演进历史和特点在MoE架构中捉出细粒度专家分割负载优化：MoE中采用无辅助损失的负载均衡策路和共享专家隔离策路通信优化：DualPipe算法，精细控制分配给计算和通信的GPU SM数量；高效的跨节点通信内核。内存优化：重计算·参数共享等。储、在线量化等·推理优化：多Token预测(MTP)DeepSeekMoE/DeepSeek-R1-Zero成立DeepSeekLLMCoder/Math/VLDeepSeek-V2DeepSeek-V3DeepSeek-R12023.072024.012024.052024.122025.01引入多头潜在注意力2T tokens进一步拓展MoE的专家机制纯强化学习：仅通过RL·无SFT,展现了分组查询注意力自我进化能力。SFT,DPO四阶段循环的训练方式：基础→L→微蒸馏：比小型模型直接L更有效、更通用。MLA三个主要的DeepSeek模型的区别对比维度DeepSeek V2DeepSeek V3DeepSeek R1DeepSeekMoE(混合专家架升级版DeepSeekMoE架构核心架构构改进版)总参数量2360亿总参数量6710亿与V3模型相同单次激活210亿参数单次激活370亿参数传统预训练+监督微调(SFT)·预练+SFT+MTP+RL训练方法+强化学习(L)跳过SFT,直接通过RL激发推理能力数据量8.1万亿tokens数据量14.8万亿tokens采用两阶段RL和冷启动技术部分关键特性首次引入MoE架构，并进行了·无辅助损失的负载均衡L驱动推理优化改进你代码任务生成速度提升至60TPS模型蒸馏实验（可迁移至小模型）Zero版验证了自我进化能力性能表现举例生成速度20TPS,适合通用生综合NLP任务接近GPT-4o数学推理(MATH-50097.3%)成任务MMLU知识理解88.5%代码生成(Codeforces)与openAlAPI成本大幅降低-01-1217相当14模型简介DeepSeek-V2模型简介DeepSeek-V2模型与DeepSeek LLM67B相比，DeepSeek-V2实现了更强的性能，同时节省了425%的训练成本，减沙了93.3%的KV缓存，并将最大生成吞吐量提升至5.76倍。设计初衷DeepSeek-V2旨在解决现有大语言模型训练成本高、推理效率低的问题。通过引入Mo架构，它在保特高性能的同时，大幅降低训练成本和雕理时间，为广泛的应用场景提供支持.。核心原理DeepSeek-V2基于混合专家(Mixture-of-Experts,MoE架构，将在务分配给多个专家模型，每个专家专注于特定子任务，从而提升性能和效率模型总参数量为236B,其中21B参数在每个token.上被激活，使其在处理腹杂任务时更灵活高效，