大模型：从单词接龙到行业落地杨洋，浙江大学教学用途声明：本PPT包含部分来源于网络的素材，仅供教学使用，非商业用途，版权归原作者所有人工智能前夜：图灵测试图灵测试会在测试人在与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。问过一些问题后，如果超过30%的答复不能使测试人认出哪个是人、哪个是机器的回答，那么这台机器就通过了测试，并被认为具有人类智能。Alan Turing Banknote ConceptAlan Mathison Turing (1912-1954)2理论计算机科学之父人工智能前夜：图灵测试MIND在提出图灵测试的《计算机器与智能》一文里，图灵描述了想象中未来的智能计算机测试可能的样子（人提出问题，计算机回答）：文学Q:请给我写一首有关福思桥(Forth Bridge)主题的十四行诗。A:这种事情别找我。我从来都不会写诗。数Q:34957+70764等于多少？A:(停顿了约30秒后再给出答案)105621。在国际象棋中，我在K1处有一个王，除此之外没有棋子了。你在K6处有一个王且在R1处有一个车。现在你会怎么走？A:(15秒停顿后)将车移动到R8,然后将死。3大模型与图灵测试文学数学YouYou请始我号一首有关速思桥(Forth Bridge)主题的十四行诗.34957+70764等于多少7ChatGPTChatGPT34957+70764等于105721.逻辑下，展飞YouChatGPTYou我在K1处有一个王，除此之外没有棋子了。你在K6处有一个王且在1处有一个车。现在由你走，你会怎样走？ChatGPT在这种情况下，我可以进行一次长移动，将王移动到儿6处，这是合法的走法，因为在这个位置，你的车无法直接捉住我的王，大语言模型：单词接龙吃0.1杨老师周一晚讲0.6旅0.35大语言模型：单词接龙话0.2杨老师周一晚讲课0.40.4大语言模型：单词接龙模0.8杨老师周一晚讲大→0.1人0.1大语言模型：单词接龙块0.1杨老师周一晚讲大模0.7态0.28大语言模型：单词接龙呀0.1杨老师周一晚讲大模型0.4EOS0.59单词接龙：通过条件概率计算实现给定上下文(Context),计算下一个生成词(Token)的概率根据所计算的条件概率进行采样获得生成词，拼接至上下文末尾，并预测下一个生成词，直至生成一个结束符(End-of-Sequence,,EOS)利用Transformeri计算条件概率P(token_icontext下一个单词上下文（用户提问+已生成的句子)Ashish Vaswani,Noam Shazeer,Niki Pammar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,tukasz Kaiser,and Lllia Polosukhin."Attention is AllYou Need."In NeurlPS,2017.将各类下游任务转化为单词接龙输入：景点（如断桥残雪）输出：该景点所在城市传统机器学习模型断桥残雪在哪？→模型杭州拆分成一连串的单词接龙断桥残雪在哪？LLM杭断桥残雪在哪？杭LLM州断桥残雪在哪？杭州→LLM→[EOS]11为什么单词接龙？针对特定任务的端到端学习断桥残雪在哪？模型训练数据：需要标注，成本高<断桥残雪，杭州>，<长城，北京>，<故官，北京>输入数据标注12预训练-微调：机器学习新范式预训练杭州是中国浙江省的省会城市，是一座历杭州是中国→浙江省史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国陈南沿海的长江三角洲经它位于中国◆东南沿海济区，拥有丰富的自然景观和人文遗产。L杭州以西湖著称，西湖是中国著名的风景杭州以西湖著称名胜，也被列入了世界文化遗产。除了西M湖，杭州还有其他许多著名的景点，如京列入了世界+文化遗产杭大运河、钱塘江、灵隐寺、断桥等。采样很多句子做单词接龙杭州是中国LLM浙江省13如何培育小火龙，成为宝可梦世界冠军？14如何培育小火龙，成为宝可梦世界冠军？1、只会打架2、打不过没见过的宝可梦端到端学习15(应试教育)