AI系统而非模型指什么?Gemini三大支柱与评估鸿沟
本文解读:《人工智能系统而非模型》 · 共 16 页 · 原文
这份材料最值得抄下来的一句话是:现在真正在构建的不再是一个模型,而是一个系统。它整理自 Sebastian Bourjou 关于 Gemini 3 的一次分享,共 16 页,讲的是三大支柱、核心架构、规模定律与评估。
报告给的一个判断很反直觉:Gemini 3 的性能提升不是源于一两个重大变革,而是庞大团队无数微小改进的累积。所以它把注意力从模型结构移到了模型周围——基础设施、数据管道、评估体系、团队协作,这四样与网络架构一起才算整体。
看懂前沿 AI 的钥匙不在架构图里,而在架构之外那套让改进能持续发生的机制里。

图源:《人工智能系统而非模型》(第2页)
一、从"造模型"到"造系统",这句话到底改了什么
先看这句话的语境。分享者的原话是:在目前这个阶段,我们其实不再是在构建一个模型了,真正在构建的是一个系统。
把模型和系统分开看,差别在可复现性。一个模型可以被复制,一套系统很难——它包含人、流程、评估口径和基础设施。这也解释了为什么追赶者常遇到同一个困境:架构论文看得懂,训练流程复现不出来,因为缺的是系统而不是结构。
报告因此把系统化思维定义为:把神经网络架构与围绕它的一切视为一个整体,这才是理解前沿进展的关键。第二个判断是持续的进步。日复一日的微小改进累积起来,正是进展没有放缓的核心原因。
这两句话放在一起,其实等于否定了那种等着下一个大突破再上车的路径。

图源:《人工智能系统而非模型》(第3页)
二、三大支柱:品味、人、平台
报告用三根支柱描述这个系统。第一根是理念与品味,指指导大规模研究的无形但至关重要的原则和直觉。第二根是人员与流程,指如何组织和协调数百名顶尖人才,让他们的工作指向同一个目标而不是各做各的。
第三根是平台与整合,指 Google 特有的全栈能力,从底层硬件到顶层研究的垂直整合优势。三根支柱的排列有先后:品味决定做什么,人员流程决定能不能做成,平台决定做起来有多快。
对多数企业来说,第三根最难补,第一根最容易被忽略,第二根最容易被当成管理问题外包掉。
三根支柱不是并列的三件事,而是有先后顺序的三道门,顺序错了就白花钱。
这三根支柱从来不是并列的三件事,它们是有严格先后顺序的三道门。

图源:《人工智能系统而非模型》(第4页)
三、品味的第一条:协同性,与那笔复杂性预算
报告把品味拆成两条可执行的原则。第一条是协同性:你的研究成果必须能与他人的工作良好集成。它给了一个权衡的例子:一个让模型变好 5%、但让其他所有人的使用难度增加 10% 的改进,可能是糟糕的权衡。
这种账在单个团队里算不出来,只有把整个系统当成评价单位才算得出来。第二条原则叫对复杂性过敏。报告的说法是团队有一笔"复杂性预算",花完就没有了。
所以有时为了未来的迭代速度和更多可能性,宁愿选一个性能稍差但更简单的方案。
复杂性预算这个概念,比任何一次架构选择都更能解释一家公司能走多远。
把这两条原则合起来看,所谓品味说白了就是一套可以公开讨论的取舍纪律。

图源:《人工智能系统而非模型》(第5页)
四、200 人的预训练交响乐,靠什么不散
第二根支柱的具体规模是 150 到 200 人,这是预训练团队日常参与的人数,报告用了"交响乐"这个比方。难点不在人多,而在集成:如何把数百人的工作整合成一个有机整体,而不是让少数人单兵突进。
报告把这种协调描述成一种权衡的艺术,有两组张力要持续平衡。第一组是短期修复与长期探索。团队的精力要在关键路径上的紧急修复和可能用于下一代模型的探索性研究之间动态分配。
第二组是周期性变化。模型放大期间探索性研究更多,版本发布前则更侧重执行和排雷。这两组张力没有标准答案,只能靠节奏管理。

图源:《人工智能系统而非模型》(第6页)
五、垂直整合:从自研 TPU 到顶层研究
第三根支柱是平台。报告的原话是:真正的秘密是研究、工程和基础设施的结合。全栈控制指的是从自研的 TPU 硬件,到上层的研究和工程,一家公司拥有完整技术栈。
它给的理由是可靠性与规模:构建超复杂系统时,一个可靠、可扩展的基础设施是研究和工程不被拖慢的关键。另一条是探索性研究的传统。广泛探索产生的成果,即使不在主线产品上,也能持续为主力模型提供新思路。
这两条放在一起看,垂直整合真正省下的其实不是采购成本,而是等待时间。
全栈控制真正的价值不在省下多少钱,而在于研究想法不必排队等别人的排期。
这一条对于所有正在自建算力、自己写训练框架的公司来说都最值得参考。

图源:《人工智能系统而非模型》(第7页)
六、架构:混合专家加原生多模态
讲完系统,报告才进入模型本身。Gemini 3 的基础是 Transformer 架构,采用混合专家模型(MoE)。MoE 的关键机制是路由:并非所有参数都用于处理每一个输入,而是由门控网络把输入分发给部分专家,从而提升计算效率。
另一个关键特征是原生多模态。它不是把多个单模态模型拼接起来,而是同一个神经网络从头就能统一处理文本、图像、音频。
报告承认这增加了研究复杂性,但认为带来的能力提升远超成本,这也呼应了前文那笔复杂性预算。把架构放回系统里看,MoE 和多模态都不是孤立选择,它们决定了数据管道和评估体系要跟着怎么改。
这份报告的完整版、原始图表和数据附录,都放在运营动脉(www.yydm.cn)上,搜标题就能直接打开。
同类赛道的其他报告那里也都收了,顺着行业目录往下翻,比一份份到处找省事得多。
架构选型的本质不是挑一个更强的性能,而是给后面几年提前定好约束条件。

图源:《人工智能系统而非模型》(第8页)
七、规模定律没死,它变成了复合演进
报告给了一个公式式的表达:最终性能等于规模、架构创新与数据创新的函数。三者角色不同。规模依然极其重要,它的优势是"可预测性"——投入更多算力能带来多大提升,大致算得出来。
架构与数据创新带来的是非线性增长,报告甚至认为这两者如今的重要性可能超过纯粹的规模扩张。所以结论不是"规模不重要",而是"只靠规模不够"。有时原始扩张是最佳答案,有时架构或数据上的创新收益更大。
这个判断对预算分配有直接影响:算力是可以买到的确定性,创新是买不到的不确定性,两者要按比例配。
规模买得到可预测的进步,买不到跳跃式的进步,预算要按这个差别来切。
把这条公式记在心里,比记住任何一代模型公布的具体参数量都有用得多。

图源:《人工智能系统而非模型》(第9页)
八、数据从"无限"到"有限",研究重心整个挪了位置
报告用一页讲范式转变:过去假设高质量训练数据可以随心所欲地扩展,现在意识到全球高质量数据是有限的。研究重点因此从"如何用更多数据喂养更大的模型",转向"如何更有效地利用有限的数据"。
第一个影响是效率为王。数据效率和算法本身的性能同时变得关键,两者不再是替代关系。第二个影响是历史的回归。许多在数据有限环境下发展起来的技术和思想,比如早期 ImageNet 时代的方法,可能重新变得有价值。
这一条对做行业大模型的团队尤其重要,因为行业数据天然就是有限的。
数据红利结束之后,比的不是谁手里的数据更多,而是谁把有限数据用得细。
数据红利结束之后,比的已经不是谁手里的数据更多,而是谁把数据用得更细。

图源:《人工智能系统而非模型》(第10页)
九、合成数据的双刃剑,与两处被低估的短板
合成数据的核心观点很克制:它很强大,但必须非常谨慎地使用,因为它很容易被用错。报告给了一个具体的验证难题:用一个强大的模型 A 生成合成数据,再拿去训练小模型 B,问题是能不能训出比 A 更强的 B。
它提到一个更高级的用法是与推理踪迹结合——训练模型"展示其工作过程",并利用这些踪迹再训练。第二处短板是评估。报告认为评估的进展是驱动模型进步的关键,但其难度常被低估,尤其是预训练阶段。
难在两处鸿沟:规模鸿沟要求小模型结果能预测大模型性能,后训练鸿沟要求预训练结果能预测最终表现。还有一个现实问题:公开基准很快会被污染。报告给的解法是构建并维护严格保密的内部评估集,避免自己欺骗自己。
最后一页列了三个前沿:AI 赋能 AI、长上下文、检索的回归。评估做不好,前面所有改进都无法确认。
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。




