浙江大学EJIANGUNIVERSITY浙江大学人浙江大学DS系列专题DeepSeek技术溯源及前沿探索主讲人：朱强浙江大学计算机科学与技术学院人工智能省部共建协同创新中心(浙江大学)https://person.zju.edu.cn/zhuq
:Outline浙江浙江大学育教学一、语言模型Transformer三、ChatGPT四、DeepSeek教学研究中心允中心五、新一代智能体能教育
:语言模型:终极目标新浙江大学LanguageModeling对于任意的词序列，计算出这个序列是一句话的概率浙江大学人工智我们每天都和语言模型打交道:Isaw a catI saw a cacarI saw a cat on the chair教学研究中心I saw a cat running after a学研究中心二智能教!dogI saw a cat in my dream
语言模型:基本任务福浙江大学浙着编码:让计算机理解人类语言浙江大学人工智She只有一个1,其馀均为0.520空中心myoOne-hotEncoding有什么缺点吗?mom升究中心One-hot Encoding
浙江大学编码:让计算机理解人类语言浙江Word Embedding用一个低维的词向量表示一个词能使距离相近的向量对应的物体有相近的含义浙江大学人工智游泳飞翔鲸鱼0.990.990.050.1浙江大学学研究中心海豚0.990.050.930.09鹦鹉0.020.010.990.98企鹅0.980.020.940.320维的向量用one-hot和word embedding的方法分别可以表示多少单词?
编码:让计算机理解人类语言浙门浙江大学Word EmbeddingAbottleof tezauinois on the table,结合句子语境我们可以猜测:浙江大学人工智tezguino是一种由玉米制作的酒精类饮料Tezgiino makesyoudrunk.We make tezquino out of com.(1)(2)(3)(4)究中心tezgiino(1)Abottleofmotoroilis on the table.(2)Everyone likes两行内容十分相近tortillasmakes youdrunk.0M(4) We make_out of corn.wine两个单词含义相近
语言模型:技术演化浙江大学教学研究基于统计的N-gram(1970 after)Transformer(2017 after)OufputBefore:P(小·P(猫/小)·P(凯(小猫)·P(老|小猫抓·P(鼠小猫抓老)2-gram:P(小·P(猫/小)·P(抓猫)·P(老抓）,P(鼠|老)3-gram:P(小)·P(猫小)·P(抓小猫)·P(老猫抓)P(鼠|抓老)基于神经网络的LSTM/GRU(2000 afterPosltionalEncadngEncodingInputsOutputs(shiftedright)
:Encoder-Decoder浙江大学常见的深度学习模型框架,可用于解决Sea2Sea问题浙江大学人工智I am pretty smart!隐空间EncoderDecoderRepresentation我很聪明!研究中心能老可以根据任务选择不同的编码器和解码器（LSTM/GRU/Transformer
:Outline浙江浙江大学育教学一、语言模型二、Transformer三、ChatGPT早自艺孝四、DeepSeek教学研究中心五、新一代智能体能教育
大型语言模型简史浙江大学201720182018201920192020202120222022202320232024202420242025JUNJuN oCTFEBOCTWAYSEFMARNOVFEBMARMARAPRDECJAN0GPTFLANLLaMALLaMA-3.1405BOpenAl-03BERTGPT-3.5GPT-4OpenAl-01GPT-2InstrutGPTGPT-40DeepSeek-V3TransformerGPT-3ChatGPTDeepSeek-R1Transformer:理论架构创新自注意力机制：支持并行计算／全局上下文的理解能力多头注意力:从多个角度捕捉复杂的语义关系，前懒网络;位置编码/层归一化:解决了传统模型的诸多局限性htps:/ blog csdh. net cf2SudtSBx&F Ov/article/detals/145695146
: Transformer:大模型的技术基座浙江大学OutputDecoder一元一AttentionIsAllYouNeedEncoderNPS2017.引用量15万+d引入全新注意力机制,改变了深度学习模型的处理方式Add&NorrMulti-HeQKTFastionalPositionaAttention(Q,K.V)=softmaxeEncodingEncodingEmbeddingInputsCutputs[shifted right)
Transformer:(自）注意力机制世浙江大学在理解语言任务时,Attention机制本质上是捕捉单词间的关系学人工智浙江中国南北饮食文化存在差异，豆花有南甜北咸之分。南方人一般喜欢吃甜豆花high attentionlow attentionSheiseatingCgreen 'apple.教育教学研究G The animal didnt cross the stet because Itwas too tired/wlde学
Transformer:(自）注意力机制浙江大学在理解图像任务时，Attentlon机制本质上是一种图像特征抽取工大学人工智学研究ImageSk...
