大模型:从里词接龙到行业洛地杨洋,浙江大学教学用途声明:本PPT包含部分来源于网络的素材,仅供教学使用,非商业用途,版权归原作者所有
人工智能前夜:图灵测试二图灵测试会在测试人在与被测试者(一个人和一台机器》隔开的情况下,通过一些装置(如键盘)向被测试者随意提问问过一些问题后,如果超过30%的答复不能使测试人认出哪个是人、哪个是机器的回答,那么这台机器就通过了测试,并被认为具有人类智能。AlanTuringBanknoteConceptBamkofEnglandFilyPonnlIMITATIONGaMEAlanMathisonTuring(1912-1954)英国数学家、计算机科学家+理论计算机科学之父
人工智能前夜:图灵测试MINDAGEATEYBNTWANDRBLOSOHI在提出图灵测试的《计算机器与智能》一文里,图灵描述了想象中未来的智能计算机测试可能的样子(人提出问题,计算机回答):Q:请给我写一首有关福思桥(ForthBridae)主题的十四行诗文学这种事情别找我。我从来都不会写诗。A:Q:34957+70764等干名小?数学(停顿了约30秒后再给出答案)105621.Q:在国际象棋中,我在K1处有一个王,除此之外没有棋子了。逻辑你在K6处有一个王且在R1处有一个车。现在你会怎么走?A:(15秒停顿后)将车移动到R8,然后将死。
大模型与图灵测试文学数学YouYou请给我写一首有关福思桥(ForthBridge)主题的十四行诗,34957+70764等于多少7ChatGPTChatGPT在福思桥上横跨天际,34957+70764等于105721。钢铁维伟贯穿云霄。逻辑You苍穹下,展翅飞翔,你会下国际象棋吗?红色隶穆如晚霞寻常人间难得见ChatGPT迎风飘扬铁索声是的,我可以提供国际象棋方面的信息和建议。如果你有任何关于国际象棋的问题,或音律奏响过往年,者想要进行象棋对局的话,我会尽力帮助你。过去百年光阴深,桥上列车穿检间。You时光荏苒如梦幻福思桥,永垂不朽颜。现在由你走,你会怎样走?ChatGPT在这种情况下,我可以进行一次长移动,将王移动到L6处。这是合法的走法,因为在这个位置,你的车无法直接捉住我的王,
大语言模型:单词接龙吃0.1杨老师周一晚讲0.6旅0.3
大语言模型:单词接龙话课0.2杨老师周一晚讲0.4大0.46
大语言模型:单词接龙模0.8话人杨老师周一晚讲大0.10.17
大语言模型:单词接龙块0.1杨老帅周一晚讲大模型0.7态0.2
大语言模型:单词接龙呀0.1杨老帅吉一晚讲大模型0.4EOS0.5
单词接龙:通过条件概率计算实现口给定上下文(Context),计算下一个生成词(Token)的概率口根据所计算的条件概率进行采样获得生成词,拼接至上下文末尾,并预测下一个生成词,直至生成一个结束符(End-of-Sequence, EOS)利用Transformer计算条件概率P(tokencontext下一个单词上下文(用户提问+已生成的句子)Ashish Vaswani, Noam Shazeer, NikiPamar, Jakob Uszkoreit, Llion Jones, Aid an N. Gomez, tukasz Kaiser, and Llia Polosukhin."AttentionisAlYouNeed."In NeurlPS,2017.
将各类下游任务转化为单词接龙输入:景点(如断桥残雪)输出:该景点所在城市传统机器学习模型断桥残雪在哪?模型杭州拆分成一连串的单词接龙断桥残雪在哪?LLM杭断桥残雪在哪?杭LLM州断桥残雪在哪?杭州一LLM-[EOS]11
为什么单词接龙?针对特定任务的端到端学习断桥残雪在哪?模型杭东训练数据:需要标注,成本高断桥残雪,杭州>,<长城,北京>,<故营,北京输入数据标注12
预训练-微调:机器学习新范式预训练杭州是中国浙江省的省会城市,是一座历杭州是中国→浙江省史悠久且富有文化的城市,被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经它位于中国东南沿海济区,拥有丰富的自然景观和人文遗产。杭州以西湖著称,西湖是中国著名的风景杭州以西湖着称名胜,也被列入了世界文化遗产。除了西湖,杭州还有其他许多著名的景点,如京列入了世界一文化遗产杭大运河、钱塘江、灵隐寺、断桥等。米样很多句子做单词接龙杭州是中国LLM浙江省13
如何培育小火龙,成为宝可梦世界冠军?14
如何培育小火龙,成为宝可梦世界冠军?1、只会打架2、打不过没见过的宝可梦端到端学习15(应试教育)
如何培育小火龙,成为宝可梦世界冠军?1、多功能火恐龙2、灵活运用技能预训练16(素质教育)
预训练的优势:从训练的角度预训练数据:网页、书籍、新闻、...