首都在线 大模型时代下的个人成长会员免费

大模型时代下的个人成长吴锦晟2023.9

吴锦晟资深技术专家首都在线生态副总裁（上海）学员• 近20年的经验；• AI领域的创业，声纹和虹膜识别方向；• 参与部委多个智能算力及政策制定；• 多个城市级智算中心的规划和落地；• 经历数个大模型的训练过程；• 大规模推理应用部署和交付经验；• 2020年加入；

大模型时代的个人成长① 大模型的演进史与未来洞见② 关于大模型，我们应当了解的③ 国内大模型的产业链情况④ 大模型时代的个人成长 —— 以个人为例

大模型的演进史与未来洞见与国产大模型的演进时间轴

大模型的演进史与未来洞见动机：快速推动的发展• 神经网络语言模型发展迅速• 2017-18年，随着的诞生，语言模型规模迅速扩大 • 数据规模：使用数T大小的纯文本训练；模型规模：从1亿参数到1750亿参数 • , -1/2 （成本～$30k）->-3（成本~$12M）->-4（？） • 早在2020年-3 时，人类已开始无法准确识别其生成的新闻“涌现”

大模型的演进史与未来洞见发展：为何受到重视• 大规模模型的摩尔定律：模型算力需求迅速增长- 单模型计算量每年增长10倍• 机器智能的规模效应：量变到质变的能力- 千亿稠密参数（~100B，或 1023 训练量）时模型能力开始出现“涌现”

关于大模型，我们应该了解的 —— 核心能力（1/2）We of , (2022) 1972 “ Is ” by - (, 1972): is in a in in . 涌现是指系统的数量变化导致行为的质量变化。 In , we a of of : An is if it is in is in . 如果一种能力不存在于较小的模型中，但存在于较大的模型中时，就是涌现能力。涌现1. of

关于大模型，我们应该了解的 —— 核心能力（2/2）• 60B • 60B • In- 130B • -of- 130B• 530B • 530B几个最常用的涌现能力

大模型的演进史与未来洞见生成式 AI 从现有的内容中学习，以生成反映训练数据特征的新的、逼真、但并不重复的内容。生成式 AI 可以生成各种新颖的内容，例如图像、视频、音乐、语音、文本、软件代码和产品设计。《太空歌剧院》，该作品在美国科罗拉多州的美术大会上获得了数字艺术部门的第一名，AI绘画自此 走入聚光灯下2022年

关于大模型，我们应该了解的 —— 应用场景（1/3）

关于大模型，我们应该了解的 —— 应用场景（2/3）

关于大模型，我们应该了解的 —— 应用场景（3/3）应用场景广泛，其功能覆盖各个板块，我们将其分成生成应用和布局、搜索和数据分析、程序生成和分析、文本生成、内容创作、一般推理和其他七部分。

大模型的演进史与未来洞见普惠性用的上工程化

国内大模型产业链情况算力数据算法AI云平台基础设施硬件数据平台数据集

国内大模型产业链情况上游中游下游基础设施供应商（数据中心风火水电）硬件设备供应商（芯片/服务器/存储）网络运营商（3C/海外运营商）云服务商（///模型仓库…）中间件服务商（训练框架/向量数据库/隐私计算…）通用大模型服务商（科研机构/商业公司）数据运营商（政企/行业/头部商业公司）服务支撑（数据标注/算力适配/训推平台…）垂直大模型服务商（行业/垂类）应用与行业软件开发商（2B/2C）

国内大模型产业链情况发展挑战• 大模型向多模态发展；• 智能算力拥有更高性能；• 大模型训练效率和性能优化；• 有质量的中文数据集的量级提升；• 模型的服务化（）；• 法律法规的完善，标准的建立；• 人才体系的建设和队伍的完善；• 硬件的卡脖子；• 人才和技术瓶颈；• 商业模式的明确；• 安全和隐私；• 数据的问题；• 合规的考验；

大模型时代的个人成长 —— 以自我为例100%技术60%业务（布局，模式设计，目标执行）L1：研发50%技术L2：技术管理50%管理L3：业务管理L4：行业领袖40%产研60%战略（愿景、地位、样子）40%影响力（产业、市场）

L1：技术成长 —— 以大模型的技术体系为例基础能力专业能力工程能力业务应用能力数学计算机编程深度学习预训练工程核心技...