极客邦科技双数研究院InfoQ研究中心推理模型综合测评报告2025秦To
01椎理模型发展阶段和发展因素分析目录02推理模型测评体系和结果分析CONTENT03推理模型未来展望
推理模型发展阶段和发展因素分析
推理模型发展的前置因素-推理时计算拓展(Inference-ComputeScalina)根据一些学术论文的研究,在推理过程中增加计算资源，能够有效提高大模型的输出质量。这相当于在现实生活中,人在遇到较难的问题是也需要更多的思考时间或思考量。这一思路逐渐总结为推理时计算拓展，并逐渐演变出3条主要路径。例如,OpenA1发布的o1模型通过动态扩展思维链(Chain-of-Thought》长度,并采用了自我验证机制,生成多个候选答案后通过内部评分筛选最优解。为什么?怎么做?深度思维提示拉长单链思考时间,让模型多想一步难点固定参数泛化能力通过"逐步思考"等提示词的注入，让大模型生成更长的单链推理传统大模型在推理过程中依赖训练阶段形成的静态参数。当遇到没见过的问题多链多数表决—并行多条思路，投票时,大模型需要一种更加动态和灵活的鼓励大模型在回计算策略与自我纠错的系统能力。选其最优答问题时更多地VOTE通过并行解码，在生成的多个思继链中，进行"思考多数表决或者加权投票，选择最优的一条输出难点2探索资源效率更优的路径传统Scaling Law的边际收益递减且成路径搜索—边思考边筛选，保留最佳本激增,人们需要探索一种资源效率利路径用更高的路径方式。通过搜索过往路径，多路径中筛选最优通路备注:InoQ研究中心根据科研论文整合，代表为(ScalingLLMTeMore Effective than Scaling Modbel Parareters》、(Learning to reson with LLMs)吸客邦科授双防研究限InfoQ研究中心
推理模型发展的前置因素2基于可验证奖励的强化学习(RLVF)除了推理时计算拓展。基于可验证奖励的强化学习(RLVF)帮助大模型真正掌握长链推理。DeepSeek, OpenAlCodex, k1.5TULU3等最新一代模型的技术论文都披露了类似范式，并在编程竞赛、数学推导与通用推理benchmark上验证了RLVF的显著收益。为什么?怎么做?4策略更新为什么RLHF不够?训练数据策略模型主观:反馈中包含人工主观偏好:抽样提示品贵:长链推理中人工评分难,对标注员要求高打分奖励生成答案造成招募难度和成本双高3为什么是基于可验证奖励的强化学习?可验证奖励客观抗作弊:编译器/申元测试判分，且沙箱执行，可实时侦测reward-hacking抽样提示:从题库或真实用户问题里随机取样,作为模型输入。低成本:全自动打分，快捷高效低成本学习商效:格式和过程准确性可拆成连续奖励，收2生成答案:策略模型按当前参数进行解题3打分奖励:验证函数进行判分,并生成相应的奖励信号数快0策略更新:将奖励反向传回，更新模型参数备注：nfcQ研究中心机据科研论文整合。代表为(TULU3:Pushing Fage Model Post-Traiing)DeepSeek-Rt: Incentivizing Reasoning Capability in LLMsviaReinforce经客邦科InfoQ研究中心
各家陆续发布推理模型,获取推理模型入场券受[推理时计算拓展]与【可验证奖励强化学习:两大技术范式驱动,全球厂商已进入推理模型密集发布期:从2024年Q4到2025年Q2.OpenAlo1, DeepSeek R1、 Claude 3.7 Sonnet Reasoning、 k1.5、文心X1-Turbo等十余款推理模型相继上线,争夺下一代大模型的"推理入场券"。2024年9月-12月2025年2月2025年4月9月,OpenN发布o1系列模型(01-Anthroplc发布Claude3.7 Sonne智谱发布GLM-Z1正式版prevlew)百度发布文心X1-Turbo1-12月，各家陆击续发布实验性推理模型阿里通义团队发布QwQ-Max-Prevlew字节跳动发布Doubao1.5thinking pro(DeepSeek-R1-LIte-Prevlew, QwQ-腾讯元宝上线Hunyuan-Thinker-1-328-Prevlew, Gemhl 2.0 Fash Thinking.OpenA发布03正式版Prevlew谷歌发布Gemini2.5Flash12月,OpenAI发布o1正式版DeepSeek,Kim同一天发布推理模型R1和k1.5阿里通义团队发布QwQ-32B科大讯飞发布推理模型讯飞星火X1谷歌发布Geminl2.5pro百川智能发布Balchuan-Mil-Prevlew,腾讯发布混元TI正式版谷收发布Geminl2.0FlashThnkingExperlmental2025年1月2025年3月备注:infcQ研究中心根据官网信息、媒体公开报道信息整合吸客...
