中国移动研究院ChinaMobileCMRI面问AI大模型的智算中心网络演进白皮书(2023年)中国移动通信研究院
目录前言..........C1.AI业务发展趋势…411.人工智能技术发展趋势…12.人工智能业务发展趋势...13.人工智能政策发展趋势..................2.AI大模型对网络的需求..............2.1超大规模组网需..............................2.2.超高带宽需求..23超低时延及抖动需求....2.4．超高稳定性需求.2.5.网络自动化部署需求心3、当前网络能力与业务需求的差异点.3.1．规模差距分析.123.2．带宽差距分析.3.3稳定性差距分析.3.4.时延、抖动差距分析3.5.自动化能力差距分析GI心4.1.1网络设备硬件本身改进74.1.2端网协同的流控改进922B4.2.超高带宽关键技术4.21网络应用协同设计释放算力.4.3.超高稳定性关键技术4.31基于硬件的快速感知能力…4.32基于硬件的快速收敛能力…4.3.3层次化的网络故障自愈能力44,超低时延关键技术…441集合通讯算法和网络拓扑协同…...4.4.2DPU硬件卸载AA2换太转兮时延优化..4.5自动化关键技术5.总结和展里.....术语定义缩略词表.
前言人工智能是数字经济的核心驱动力，AI大模型是人工智能的新引擎。AI大模型指通过令人瞩目的成果。大模型的发展是大势所趋,未来将会助推数字经济,为智能化升级带来新范式。近年来,随着ChatGPT等生成式人工智能（AIGC）的突飞猛进,全球范围内的经济价值预计将达到数万亿美元。尤其在中国市场,生成式AI的应用规模有望在2025年突破2000亿元。这一巨大的潜力不仅吸引着业内领军企业竞相推出万亿、10万亿参数量级别的大模型,而且对底层GPU支撑规模提出了更高的要求,达到了万卡级别。然而,如何满足如此庞大规模的训练任务,对网络的规模、性能、可靠性和稳定性等方面提出了前所未有的挑战。以GPT3.5为例,其训练过程依赖于微软专门建设的AI超算系统,由1万个V100GPU组能网络已成为人工智能领域的重要研究方向之一本白皮书将从AL业务发展的历程出发,深入研究大模型对网络能力的需求,分析当前网络与业务需求的差距，并探索网络技术发展趋势以弥补这一差距。我们希望，通过本白皮书的研究和分析,为未来面向AI大模型的智能计算中心网络发展提供有益的参考和启示。本白皮书由中国移动研究院牵头编制,联合编制单位:华为技术有限公司、锐捷网络股份有限公司、思博伦通信科技（北京有限公司）、中兴通信股份有限公司、上海云脉芯联科技有限公司、星云智联科技有限公司、中科驭数(北京)科技有限公司、博通公司、是德科技（中国）有限公司、北京大禹智芯科技有限公司
1.AI业务发展趋势1.1.人工智能技术发展趋势人工智能（AI)是一种使计算机和机器能够表现出智能和类似人类思维的能力的技术和方法论。它通常包括学习与推理、语言和语音识别、视觉感知、自动化控制等多个领域。自从20世纪50年代,人工智能的研究开始以来,AI已经走了一个漫长的历程,经历了许多发展与进步,也经历了漫长的寒冬。Transf9.soreif代图1-1人工智能发展时间轴符号主义与专家系统（1956年-1980年）,AI领域的创始人之一约翰·麦卡锡在1956要发展是建立起了人工智能的推理基础。在这个阶段,人们将人类智能中的逻辑进行了形式化,创造了一种称为“推理形式"的数学表示方法联接主义与机器学习（1980年-2012年）,A[开始了一些深度学习和神经网络方面的探索,这两种技术是使用机器学习算法进行自动学习和推理的两种方式。1986年,Rumelhart和McClelland的研究进一步加强了神经网络代表的连接主义观点,这标志着AI进入了"连接主义时代"。深度学习(2012年-2017年),20世纪50年代,人们开始尝试模拟人脑的神经网络以解决一些计算机视觉和语音识别问题。后来的时间,神经网络由于计算复杂度和可解释性等问题，经历了长时间的寒冬。直到2012年,Hinton等人提出了深度学习中一种新的神经网络结构-卷积神经网络,并在ImageNet图像识别竞赛中获得了显着的成果。卷积神经网络具有重大的意义,推动了计算机视觉和深度学习的发展,并开拓了探索神经网络的新领域。2016年基于深度学习的AIohaGo战胜围棋世界冠军,再次点燃人们对深度学习探索的热情
Trnsfomer中,可以使用多头注意力机制来学习输入序列中不同的...
