DeepSeek-R1 Kimi1.5及类强推理模型开发解读陈博远北京大学2022级“通班"主要研究方向:大语言模型对齐与可扩展监督https://cby-pku.github.io/https://pair-lab.com/
OutlineDeepSeck-R1开创RL加持下强推理慢思考范式新边界> DeepSeck-RIZero及R1技术剖析> Pipeline总览 DeepSeek-V3 Base \DeepSeek-Rl Zero及RI细节分析>RL算法的创新:GRPO及其技术细节> DeepSeek-R1背后的Insights&Takeaways:RL加持下的长度泛化\推理范式的涌班>DeepSeek-RI社会及经济效益>技术对比探讨>STaR-based Methods vs. RL-based Methods强推理路径对比(DS-R1\Kimi-15lo-series)>蒸馏vs.强化学习驱动:国内外现有各家技术路线对比分析及Takeaways>PRM&MCTS的作用》从文本模态到多模态>其他讨论:Over-Thinking过度思考等》未来方向分析探讨》模态穿透赋能推理边界拓展:Align-DS-V>合成数据及Test-TimeScaling:突破数据再生产陷阱>强推理下的安全:形式化验证Fomal Verification \审计对齐Deliberative Alignment>补充拓展:DeepSeck-V3解读
DeepSeek-R1开创RL加持下强推理慢思考范式新边界>OpenAl ol开启后训练Post-Training时代下的RL新范式:后训练扩展律Post-TrainingScaling Law>DS-RI独立发现了一些通往01路上的核心理念,并且效果还好到受到了OpenAI的认可>如何通过有效的Test-Time Scaling和Train-TimeScaling提升模型的推理能力?>得益于纯大规模强化学习,DeepSeek-R1具备强大推理能力与长文本思考能力,继开源来备受关注> DeepSeckR1-Zero和R1的出现再次证明了强化学习的潜力所在:>RI-Zero从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（SFT);》随着训练步骤增加,模型逐渐展现出长文本推理及长链推理能力随着推理路经增长、模型麦现出自我修复和启发式搜索的能力
DeepSeek-R1开创RL加持下强推理慢思考范式新边界>得益于强大的推理能力与长文本思考能力,DeepScek R1在复杂任务上表现卓越,成为开源领域的又一里程碑，标志着开源社区在与闭源大模型(如OpenAlol系列)的竞争中迈出了关键性一步>DeepoSed-RI在数学代码任务上表现突出> Deepseek R1在AIME2024上获得了79.8%的成绩，略高于OpenAl-o1-1217,在MATTH-500上获得97.3%的惊人成绩，表现与OpenAL-o1-1217相当。Claude-3.5-GPT40Benchmark@MetriclArchitecture》在编码相关的任务中表现出专家水平,在#ActivatedParamsCodeforces上获得了2029Elo评级,在竞赛中表现优于96.3%的人类参与者English> DeepSeek-R1在知识类问答上推动科学探索边界a20nc>MMLU MMLU-Pro GPOA Diamond等STEM-LiveCodeBench@uwt1arelated榜单上取得良好表现Code>R1展现出强推理模型在AI-DrivenResearch的潜力MATH-500CNMO202》在长文本依赖任务如FRAMEs和事实性推断任务CLUEWSCBNChinesSimple-QA上表现突出C-SimpleQA(Cometl55.440.3
回顾:Pre-TrainIng Scaling LawPre-Training Scaling Laws:预训练模型上广泛观察到的现象,协调了计算量C、模型参数量N和数据大小D之间的关系模型性Compute=6*Parameters*DataMotivation:EficientlytrainingLARGEmodelBiaormodeds, morednta->usually batterpertormancaC~6NDro(TLOPISTCIncrease D-> better performanceButwehaveabudgetonC-6NDcdataHowtomaximizemodelpertormancebyalcatingCtoMandDi举个例子：量出一个银空有N-10*号10亿个小款),光益创练款居务户票处0-1012(1万号个1500C-6x1x1*=6x10*FLOPs
回顾:Post-TralningScalingLaw>Post-Training阶段，随着训练时计算量（来自RL的Training阶段)和Test-Time计算量(例好Test-TimeSearch)的增长,模型性能(例如数学推理能力》也会随之提升>Post-Training ScalingLaws下训练时计算量多了一个新的变量:Self-Plav探索时LLMInference的计算量o1AlMEaccurac01AlME accuracyduring trainingat test time100Our large-scale reinforcement learning algorithm teaches the model how to think8080Koeunooej@ssedKDEJnooe1@0ssed60-60constraints on scalling this approach differ substantially from thos...
