阿里云开发者社区AliResearchALIBABA CLOUD DEVELOPER COMMUNITY阿里研究院思维的边界认知智能从感知智能迈向认知智能我们正处在认知智能起步的阶段，还有很多未知的因素，也不知道未来往哪走，但是有一条，无非是要么从知识，要么图谱、要么融合，但是可以肯定地说前景是无限的。这里有很多的机会，把我们的认知智能，搜索、回答问题、推理这些东西用在工业界的很多场景里，认知智能技术蕴藏着巨大的前景。周明创新工场首席科学家、中国计算机学会副理事主编：苏中演讲嘉宾：周明创新工场首席科学家程璟阿里巴巴集团公共事务副总裁李涓子清华大学长聘教授苏中阿里巴巴研究院数字技术研究部资深总监“科技与人”之认知智能论坛数字技术前赡暨CCF CTO Forum走进阿里研究院第12期2022年新年特刊企业人工智能从技术战略到行业落地论坛3一、从感知智能到认知智能的挑战二、人工智能研究领域最需要哪些突破？三、人工智能在场景应用中的突出表现和挑战8四、关于阿里研究院10基于超大规模预训练模型的小样本和零样本学习12一、人工智能进入三轮同时驱动的时代12二、M6:中文多模态预训练模型15三、M6超大规模预训练模型的应用场景15四、超大规模中文预训练语言模型PLUG16五、大规模预训练模型AliceMind在VQA任务上的突破17六、从弱人工智能(Narrow A)到通用人工智能(Artificial General Intelligence)19面向知识的可解释认知推理20-Complex QA and Explainable Cognitive Reasoning20Knowledge Oriented Programming Language(KoPL)28KQA Pro:A Dataset for Complex KBQA with Reasoning Programs35四、Conclusions42企业人工智能从技术战路到行业落地论坛企业人工智能从技术战略到行业落地论坛【编者按】CCFC3是由中国计算机协会CCF CTO Club发起、面向企业技术专家的热门技术和战略分享会。活动旨在联结企业CTO及高级技术人才和资深学者，每次以一个技术话题为核心，走进一家技术领先企业。认知智能CCF C3-10@Alibaba2021.9.24 Beijing2021年9月24日，CCFC3第十期“认知智能”分享会在北京阿里研究院举行，来自各行业的企业CTO、高级技术人才和资深学者，共同探讨企业人工智能从感知智能向认知智能阶段发展的意义。本次活动由CCF副秘书长、亿邦动力CE0王超主持，CCF副理事长、创新工场首席科学家、澜舟科技创始人周明做了开场致辞，并代表CCF为活动承办方阿里研究院颁发CCFC3活动承办单位感谢牌。分享会上，阿里研究院副院长安筱鹏代表承办方致辞，清华大学长聘教授、清华大学人工智能研究院知识智能中心主任李涓子和CCF人工智能与模式识别专委会常委、阿里巴巴研究院数字技术研究部高级总监苏中在活动中分别作了题为《面向知识的可解释认知推理》和《基于超大规模预训练模型的小样本和零样本学习》的报告。企业人工智能从技术战路到行业落地论坛<活动最后，由苏中主持了名为《企业人工智能，从技术战略到行业落地》的高峰论坛，CCF副理事长周明、阿里巴巴集团公共事务副总裁程璟、清华大学李涓子教授参加了本次论坛。以下为本次论坛的内容干货整理，以飨读者。嘉宾：程璟阿里巴巴集团公共事务副总裁、所行业团队核心创始成员一、从感知智能到认知智能的挑战相比以前的小数据智能，现在的人工智能是一个大数据的智能，因此数据、算法和算力相关作用，形成三轮迭代的过程。但这其中还是需要将知识融合进去，这也是目前对人工智能的桃战。企业人工智能从技术战路到行业落地论坛人工智能三要素算法数据人工智能进入三轮同时驱动的时代图片引自主持人苏中《基于超大规模预训练模型的小样本和零样本学习》人的智能是可以交互的，可以把简单的问题换一个角度重新阐述，但在大数据海量运算中是无法实现的。所以人工智能的发展方向是将知识系统代入三轮中以便更好的推理和训练模型。那么从感知智能到认知智能面临哪些挑战呢？周明CCF副理事长、创新工场首席科学家、澜舟科技创始人企业人工智能从技术战路到行业落地论坛CCF副理事长周明介绍，现阶段我国人工智能的发展水平与美国基本是并驾齐驱的。在感知智能领域，从研究到实践已经做到了世界领先水平，超过了美国。在认知智能方面，由于本身的复杂性，在全世界的发展都还处于摸索阶段。所谓感知智能就像我们看到东西，听到东西，这是第一步，而认知智能就是相当于我们接受到了感知信号之后，用大脑思考、回答问题、做决策的一个过程。我们希望电脑也能学习这个过程。从感知智能跟认知智能在实现机理上的区别来看，感知智能可以理解为一个single-turn(单轮交互)，一个输入和一个输出，基本不涉及知识图谱和常识，不需要推理步骤；相对应的认知智能就是multi-turn(多轮交互)，包含复杂的内容和推理步骤，可能不单是算法、算力和数据能够解决的。现阶段人工智能还只是刚刚起步，我们需要建立知识库，实现推理过程。达到这一目有不同的途径，可以从符号、知识图谱、常识来出发；也可以从数据出发，这两个加起来，就好像人脑的两个思维过程，有人用system1&system2来表示，system1(值觉系统)是用大数据完成输入后直接快速输出答案，end-to-end,无关对错，也没有太多的解释；而system2(逻辑推理系统)就是一步一步推理最后给出答案。未来这两种模式能否交汇？虽然方向还不明确，但无论往哪儿走，无非是从知识出发，要么从数据出发，要么融合来解决问题，这是一个重要的课题和挑战。周明副理事长举了个例子：我们想象一下如果一个人要解释一件事他可能会举例说明，但不会举一万个例子，为什么电脑没有这么聪明呢？就是end-to-end预训练，它是假设大脑一片空白，什么都没有，对任何新任务都要做end-to-end设计。但实际中我们的大脑是有基础技能的，周明称之为foundation skill,比如语言表达和理解能力、计算能力，这些技能是不需要预训练的，只需要将它们连在一起，当有新任务出现的时候，大脑会基于基础技能只需要做一些微调就可以轻松解决。>企业人工智能从技术战路到行业落地论坛但现在的end-to-end预训练忽略了基础技能的存在而永远是从零开始设计，这就导致数据样本量持续不足的现象(Few-shot)。foundation skill可以是数据的也可以是知识的，也可以是融合的，我们需要做的是将每一个基础技能做好，然后设法将它们连成一片，让每一次新任务出现时都可以进行快速调整输出。不同于李飞飞提出的foundation model(基础模型，同一模型可以管很多事，skill(技能)适用于任何model,.而foundation model过于强调model,周明认为是不对的。那么面对众多行业，foundation skills是通用的还是专用的？首先，人作为一个人智能体有一些foundation skills,比如语文数学英语，生活常识，等等这些不分领域的技能是最底层，这就像现在预训练模型，无论你干什么具体任务，都是可以通用的。当深入到某个领域的时候，由于领域的特点，又有一些领域独有的底层foundation skill,.比如电工、交通警察、医生。如果我们把这些知识体系都建立好以后，当有新任务的时候就可以自由的调用不同领域的知识体系来使用，也很容易从一个领域扩展到另一个领域。周明的设想是首先由我们把最基础的技能整理建立一个类似SaàS平台，然后提供一个应用手册给每个领域的专家来建立领域知识库，这样老员工可以通过wkⅰ的形式将自己的知识加入进去，新员工就可以看到这些知识，然后这些知识体能自动的串联起来，把人类的知识传承下去。二、人工智能研究领域最需要哪些突破？李涓子清华大学长聘教授、清华大学人工智能研究院知识智能中心主任企业人工智能从技术战路到行业落地论坛目前人工智能大模型已经非常强大，参数和参数之间的关系、多模态间的关系已经建模的非常好。但李涓子教授认为，这些还只是参数，并没有上升到知识或者认知的层面。因此如果说要攻克或突破的方向，李涓子教授认为有两个思路。一种思路就是在训练大模型的时候把认知的东西交给它，但这种方式很难实现；另一种思路是把知识库放上面，底下是大模型或多模态，上层的知识从大模型中蒸馏出来，用这样一个知识结构结合底下的大模型来进行复杂问题的推理。这也是李涓子教授目前在研究的课题。这两种思路都是希望大模型能够在两种知识架构下发挥最大的效应。现在我们国家也在进行知识图谱的技术架构，按照知识的生命周期分阶段建立。这个整个技术架构下面，它还分了领域。比如电力领域、金融领域、文献领域，在不同领域中建立跟领域相关的知识体系，知识获取和应用的技能，形成领域的基础设施。三、人工智能在场景应用中的突出表现和挑战程璟阿里巴巴集团公共事务副总裁、阿里云市场化及政务、行业团队核心创始成员结合之前在工业实践方面的经历，程璟认为人工智能在提升效率和风控两个方面的推动作用尤为突出。以双十一活动为例，在双十一期间阿里平台网站每秒钟会有上千万的访问量，这时必须使用人工智能来解决问题，“客服”就是一个典型的人工智能应用案例，它向我们展示了在高并发场景中>企业人工智能从技术战路到行业落地论坛如何把大量的简单重复的问题用机器来解决，这大大提升了效率。而在风控领域，比如假冒伪劣商品的筛选，对于有十亿种商品的阿里平台来说，这个工作单凭人工是无法完成的，所以也需要引入人工智能来解决。人工智能的应用场景还有很多，比如优酷在2018年世界杯期间推出了“精彩片段集锦”，使用人工智能技术实时制作赛事精彩片段呈现给球迷们；阿里鹿班智能设计平台，其智能生成、创作助手、智能排版、设计拓展等功能模块，无须专业设计人员操作，可以帮助企业快速、批量、自动化的进行图片设计。再比如庭审的场景，是感知智能的典型应用，法庭记录的时候，这不光是一个语音识别的问题，还包括对法庭上不同角色人物的识别和判断。不同的场景会对人工智能提出不同层次的应用需求，这些需求推动人工智能技术的发展和迭代。程璟认为现阶段人工智能实践中的挑战主要体现在三个方面：1、首先是对准确率的要求。对准确率要求高的场景对人工智能的挑战更大，就比如钢铁厂的例子，钢材的评级会直接影响钢材的价格，如果使用人工智能来识别钢材就要保证很高的准确性。反之对于网店客服的场景，在人工客服应接不暇的时候使用智能客服，可以极大的缓解客户打客服电话打不进的问题，这时对回答问题的准确性就不做过高的要求了。同理在现阶段疫情流调的场景下，先通过人工智能进行第一轮的筛选，就会很大程度节约人力成本。2、第二是鲁棒性。人工智能的鲁棒性较弱，很多在测试阶段表现良好的数据，在实际场景应用中由于加入了一些随机噪音而变得很不稳定。企业人工智能从技术战路到行业落地论坛。103、第三是样本量。程璟认为在规模性的场景，数据量积累比较多的场景，人工智能的实践效果会比较好。比如在偏互联网的场景里面，数据积累成本低、数量大，可供学习的样本量就相对更多，人工智能的应用效果也会更突出。反之对于一些政企场景，由于数据量少而复杂，对人工智能应用的挑战就会更大。程璟认为，如果把云计算比作“电”，人工智能就是“灯泡”。在未来，云计算还是会作为数字时代的基础设施，为越来越多的创业者所用。现在无论是感知智能还是认知智能，都是以人为第一视角看问题，从视觉、听觉、感觉到推理的过程都是以人为本的。在未来是否会有主体的转化，比如从城市的角度去思考，这就超出了人的认知边界，但机器是可以达到的，这可能是未来在工程实践中可以去探索的一个领域。另外，在科学发现领域，人工智能的运用也将会发挥重要作用。四、关于阿里研究院全球智库网络智库高校院所研究机构国际机构国际咨询公司连接全球智库平台，共创数字时代新经济学阿里巴巴集团研究理事会阿里研究院深入一线实践，发掘数字经济议题阿里巴巴数字经济大零售阿里云文娱创新业务金融十亿中国消费者阿里巴巴科技创新云计算人工智能芯片区块链量子计算AloT11>企业人工智能从技术战路到行业落地论坛阿里研究院的前身是2007年成立的阿里研究中心和2012年成立的集团政策研究室，是国内互联网企业中第一家内设研究智库。十多年来，阿里研究院秉承“开放、分享、透明、责任”的互联网精神，依托阿里巴巴不断的科技创新，扎根阿里巴巴数字经济体丰富的商业生态、数据和案例，见证了电子商务、数字经济和云计算的发展，已经成为在国内外数字经济和数字治理研究领域，具有广泛影响力的生态型研究平台。运动运营动运营动运营动运动基于超大规模预训练模型的小样本和零样本学习。基于超大规模预训练模型的小样本和零样本学习演讲嘉宾：苏中内容概要：一、人工智能进入三轮同时驱动的时代二、M6:中文多模态预训练模型三、M6超大规模预训练模型的应用场景四、超大规模中文预训练语言模型PLUG五、大规模预训练模型AliceMind在VQA任务上的突破六、从弱人工智能(Narrow Al)到通用人工智能(Artificial General Intelligence)人工智能学习里有一个很大的难点，如果我们希望让计算机认识苹果，可能要给它1万张甚至10万张苹果的图片，它才可能认得清楚。而人有特殊的能力，如果是小朋友，我们可能只需要给Ta一幅很抽象的画可能就足以让Ta辨识出苹果。如果给Ta一个真实的苹果，Ta甚至可以举一反三，这就是本文想阐述的小样本学习在生活中的例子之一。零样本学习也是人特有的一项能力，我们可以将自己在某个领域里面的经验运用到另外一个领域，比如我原来是在企业的研究院做技术，现在在产业的研究院工作，做的工作跟以前不一样，很多东西就是零样本学习，这项能力是人特有的。一、人工智能进入三轮同时驱动的时代有时候人工智能并没有那么智能，我们会说它是人工痴呆，但只要我们能从过去的海量数据里面总结出经验就好。基于超大规模预训练模型的小样本和零样本学习人工智能三要素算法数据算力人工智能有三个轮子，分别是数据、算力和算法。这些年在自然语言领域里预训练的技术，给我们提供了一个特别好的场景，就是可以给机器无穷无尽的数据，不用做标注。比如，我们可以把全世界历史上所有的诗词歌赋全部交给计算机去读。我们还发明了一些很好的技术，比如基于注意力模式有很多方式可以从语言的内容里找到关联，把人类所有的知识融在深度学习模型里，构建出一个非常庞大的语言模型。基于超大规模预训练模型的小样本和零样本学习142019年：A1大模型参数爆炸增长的元年Sep-Sep-Nov-Mar-Jun-Oct-Nov-FebJun-Jun-Jan-1214151818181819192021我们做了一个简单的统计，在2019年之前，我们的算法模型没有超过10亿参数的。但从2019年以后，从GPT-2开始，出现了10亿以上的模型，接着开始出现千亿、万亿的模型。在万亿的模型里面，机器好像开始融会贯通学到了一些东西。把这些内容放进去以后，尤其是GPT-2那些看起来非常炫酷的Demo,我们就可以跟它做自由交流了。它可能会通过图灵测试，让我们甚至不知道自己是在跟一个机器交流。在这个场景下，我们发现通过算力、海量的数据能解决小数据或零样本学习的问题，取得了一定的突破。基于超大规模预训练模型的小样本和零样本学习二、M6:中文多模态预训练模型(Multi-Modality to Multi-Modality Multitask Mega-transformer)阿里在这方面做了一些工作，比如M6。2021.52021.1万亿参数规模，在多模态GreenAl/文到圈发布世界最大的中文多模态预训练2020.6模型，参数规模百亿（侣的最大的中文多生成/商业化领域并肩世界一流水平base模型完成（参数规模3亿）2021.32020.7进阶到千亿参数规模，KDD20212020.1成功上线手淘信息流推荐系统，项目正式启动大幅度缓解推荐马太效应多横态下游任务表现最优增加了混合精度优化，在效果不下降的条件下，速度提升超过90%只需要32张V100卡即可完成千亿参数练M6项目于2020年起步，从最初几亿的规模到2021年5月份万亿的规模，最近又突破了十万亿的大关，这个过程经历了很多挑战。为了让几百片显卡能够很好地工作，这里面不光涉及到人工智能的算法，也涉及到很多计算机体系架构，海量计算、绿色计算等的能力。有了这样的万亿模型，我们能干什么？三、M6超大规模预训练模型的应用场景和Google的模型不一样，M6项目组做了多模态，把图片和文本放在一起学习。比如大家去淘宝网站上，可以看到任何产品都会有照片，照片旁边会有一段说明。我们可以把信息放到模型里，机器从当中去抽取一些规律，得到的结果令人惊诧。