中信建投证券CHINASECURITIES证券研究报告金融工程专题报告“逐鹿”Alpha专题报告(二十五）:DeepSeek+RAG行业轮动策略分析师:姚紫薇分析师:王超yaoziwei@csc.com.cnwangchaodcq@csc.com. cnSAC编号:S144052404000SAC编号:S1440522120002发布日期:2025年2月25日本报方过中位建设证务股份有限公司在中行人民共和国《仅为本投应行纳,不应供爸类,请/合对提供在通手选用经法律法现情况下,本报高办可核由中信建设《国账)证券有限公司在版学续供。请务必纯快正女之后约中市各能打成纸
提纲DeepSeekRAG结果分析
核心观点在失前的拐告中,我们曾探过了利用大语言模型(LM)进行市场与行业分析,并取得了令人满意的成果当时所采用的模型为DeepSeek-V2和IOwen-Max,由于当时缺乏专门的推理模型( reasoning model),因此需要人工构建思维链(Chain-of-Thought,CoT)或据示词(BucketPrompts)以辅助分析。随着DeepSeek-B1推理模型的问世,我们得以借助其内置的推理能力,更高效地整合和利用相关信息进行深度分析,从而生成更为精准的预测结果太文供助aSeek-R1点型，对新闻报道研究报告以及技术指标等文本数据进行了系统分析,借助RAG以及自我反省(self-reflection)技术,以此构建了DeepSeek推荐行业策略。回测结果表明,DeepSeek-R1所推荐行业的投资组合展现出显着的超额收益中信建投证券CHINASECURITIES
PART1DeepSeek鑫达霞中信建投证券CHINASECURITIES
DeepSeek-Rl:强大的推理能力#ActivatedContextModel#TotalParamsDownloadParamsLengthDeepSeek-R1-671BF37B128KZeroHuggingFaceDeepSeek-R1671B37B128KHuggingFace美面国MATHGPQALiveCodeBlenchCodeForceGPT40-051332.9Cluule:3.5-Sene.102216.038.5717.0e1-mini63.6QnQ-32844.028.9pfeck-11-Dialf-Qnen:7855元57Geck:R1-Dail-Qreen-14B697O.072.63.450.449.01205.0O.C70.065.257DeepSeek-R1在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAIol正式版。中信建投证券CHINASECURITIES6t中信建设
PretraingMulti-Head Latent Attention (MLA)通过低秩联合压缩技术,显着减少了推理时的键值缓存和训练时的激活内存，同时保持了与标准多头注意力机制相当的性能。MLA的核心在于对键、值和查询矩阵进行低秩压缩，并通过旋转位置编码引入位置信息，从而在高Q000teadLstestAitantienjiLA)效推理的同时捕捉输入序列中的复杂特征MOE (Mixture of Experts.专家混合)旨在诵过多个专家(Experts）模型的协同工作来提高计算效率和模ooO型性能。在MOE结构中,不是所有的专家都参与计算而是通过一个门控机制来选择少数几个专家进行推理或训练ificanty recdaking the KV cacthe for genenation, and DepSekMoE enables tainingsrvong中信建投证券CHINASECURITIES资料未源:DoqpSv&-2:AModkd,中国移学
ColdStartSFT纯强化学习方案（DeenSeek-R1-Zero)存在结果可读性差、语言混合等问题基于DeepSeek-V3-Base,使用少量的标记文本(数千个)进行冷启动SFT(DeenSeek-R1)数据格式:Ispecial_token}<reasoning _process>|special_token|<summary>reasoning_process为CoT推理过程summary为最终推理结果DeepSeek-R1在后续RL训练中引入了语言一致性奖励(V2,V2.5时存在中英混杂的问题)中信建投证券CHINASECURITIES资料未源:Deqp:Sov&-:Learsiiy,中信动心
Reasoning-oriented Reinforcement Learning利用GroupRelative Policy Optimization (GRPO)进行训练。奖励函数:准确性奖励：准确性奖励模型评估响应是否正确。例如,在具有确定结果的数学问题中,模型需要以指定的格式（例如，在框内）提供最终答案,从而能够可靠地通过基于规则的验证来检查正确性。同样,对于LeetCode问题,可以使用编译器根据预定义的测试用例生成反馈。格式奖励:除了准确性奖励模型，还采用了一种格式奖励模型，它强制模型将思老讨程放在<think>和</think>标签之间ion betwen Uer and Assisant.The ser asks a question, and the Asistantsolveslaessant firs bhinks out the ...
