Token时代推理怎么省钱：联通白皮书给出四层优化账本

本文解读：《2026Token驱动的大模型推理效能优化技术白皮书-中国联通研究院等》 · 共 32 页 · 原文

推理正在从技术环节变成AI生意能否成立的经济变量。中国联通研究院这份32页白皮书给出的判断很直接： Token既是模型处理信息的基本单位，也已经是衡量负载、核算成本、评估产出的统一标尺。

它的参照系给得很硬。全球活跃智能体数量预计从2025年的2860万增长到2030年的22.16亿，年复合增速 139%；我国日均AI Token调用量在2026年3月已突破140万亿，比2024年初扩大约1400倍。

报告没有停在趋势上，而是拆开了一条从芯片到账单的链路：算力调度、单轮推理、多轮智能体、商业化 运营四层，每一层都配了具体的工程办法。

两项自主技术是重点，AMPD负责多轮智能体的交错式调度，EAAS把MoE专家层池化成无状态微服务。

只靠堆显卡和粗粒度调参的优化思路，已经接不住每天百万亿级的Token。

图源：《2026Token驱动的大模型推理效能优化技》（第1页）

一、智能体把Token用量拉高一个数量级

报告先区分了两种应用形态。传统对话应用是按次问答，智能体则是自主拆解任务、连续调用工具的复杂 推理，二者对算力的消耗完全不在一个量级。

单用户日均Token消耗在传统对话里是十万到百万量级，智能体范式下会达到千万到亿级，整体抬升一个 数量级。这个差异来自五方面特征：任务自主拆解、工具链式调用、交互多轮化、上下文长序化和强化学习 式迭代。

从平台侧数据也能看出负载结构的漂移。OpenRouter公开的数据显示，周度Token处理量达25万亿，半年 增长4倍；工具调用类请求占比重12个月内从不足5%升到25%以上，思维链推理Token已占输出Token的50%。

国内数字更有冲击力。截至2026年3月，日均AI Token调用量突破140万亿，较2024年初扩大约1400倍。 报告由此下判断：传统的硬件扩容加粗粒度模型优化，已经无法适配海量推理诉求。

Token需求不是线性的，是一条被工具调用反复撬动的指数曲线。

图源：《2026Token驱动的大模型推理效能优化技》（第2页）

二、PD分离成了默认架构，也带来了新麻烦

大模型推理分两段：预填充一次性处理全部输入并建KV缓存，计算量大，属于计算密集型；解码逐Token 生成输出，单步计算小但显存访问频繁，属于访存密集型。

混部部署时两类任务抢资源，首Token时延、生成流畅度和集群利用率没法同时保障。预填充与解码分离 架构因此成为主流，它的系统性论证由北京大学与加州大学圣地亚哥分校团队在DistServe中完成，成果 发表于OSDI 2024。

PD分离带来三件事：资源解耦，两段按负载配不同硬件；性能隔离，互不抢算力和显存；弹性灵活，两个 资源池可以各自扩缩容。vLLM已在V1架构原生适配，英伟达TensorRT-LLM和AWS SageMaker也把它纳入了 官方部署标准方案。

问题在于，PD分离是为单轮推理设计的。智能体场景里请求是“生成、调用工具、拿反馈、继续生成”的 多轮循环，每次都产生密集的增量预填充，变成交错式负载。

这时调度陷入两难。把增量预填充全推到远程节点，要频繁回传不断膨胀的历史KV缓存，通信开销直接 恶化首字时延；留在本地解码节点就地执行，又会打断连续批处理，造成单Token时延尖刺抖动。

单轮时代的优秀架构，到了多轮时代成了新的瓶颈来源。

图源：《2026Token驱动的大模型推理效能优化技》（第3页）

三、五个维度，重新定义推理服务好不好用

报告构建了一套评测体系，覆盖时延、吞吐、上下文与KV缓存资源、成本、稳定性五个维度，用来避免 单一指标带来的误判。

时延类里最关键的是首Token时延TTFT和单Token生成时延TPOT，前者直接影响交互体验，是长上下文与 多轮场景的核心优化目标；后者决定文本生成的流畅度。

只报平均时延是不够的。长上下文场景负载波动大，报告要求同时看P50和P99：P50反映集群常态水平， P99代表长尾时延，企业级的体验差往往出在长尾里。

吞吐类除每分钟请求数和每分钟Token数，报告更看重有效吞吐Goodput，也就是在统计窗口内既成功完成、 又同时满足TTFT与TPOT服务等级目标的请求数。

成本类给了三个口径：单Token推理成本、每百万Token成本，以及模型算力利用率MFU。报告指出每百万 Token成本才是定价基础，便于跨模型、跨厂商横向对比。

不看SLO的有效吞吐没有意义，跑得快但超时，等于没跑。

图源：《2026Token驱动的大模型推理效能优化技》（第4页）

四、四类瓶颈，卡点都不在模型本身

报告按Token全生命周期拆出四层瓶颈。第一层是算力调度与模型部署，问题出在负载感知和编排上。 平均Token长度难以反映长短请求的分布和上下文复用，容量配置因此容易和真实需求错位。

调度还面临多目标权衡。集中分发利于前缀复用却增加局部排队，分散请求利于均衡却增加重复计算； 单侧扩容还可能把瓶颈转移，解码侧KV容量受限时，加预填充资源反而会拉低整体服务容量。

第二层是单轮执行。长上下文抬高预填充计算量，KV缓存持续占用显存与模型权重竞争，跨阶段搬运还会 抵消解耦收益。报告特别提到，缺少高速GPU互联时，KV传输会显著增加首Token时延。

第三层是多轮智能体。传统批调度要整批完成才开下一轮，短任务只能等长任务，产生大量算力气泡； 工具调用等待期间KV缓存占着显存却无产出，造成中期缓存抖动。

第四层是多租户运营。传统计量粒度粗放，不支持Token类型细分和用量归因，事后结算又缺少实时预警， 异常调用容易造成成本突增。简单问答与链式调用算力开销相差百倍，统一计费会把优质业务成本摊薄。

真正拖慢推理的，多半是调度、缓存和计费，不是模型权重。

图源：《2026Token驱动的大模型推理效能优化技》（第5页）

五、AMPD：多轮场景的调度达成率提升明显

AMPD是一套专门针对多轮交错负载设计的自适应协同调度体系，由离线规划与在线调度两部分协同构成。

离线部分把Prefill与Decode的资源配比、各实例的张量并行度与数据并行度联合建模为带容量约束的 混合整数线性规划问题，目标是最小化最坏情况下瓶颈节点的P95延迟。求解器能在分钟级内给出全局 最优的部署拓扑。

在线部分引入会话绑定，请求首次接入时绑定一个解码实例，由它统一累积增量KV缓存。调度器实时读取 各预填充节点的TTFT松弛度和本地解码节点的ITL松弛度，据此决定走远程还是就地执行。

第三招是队列重排序。预填充队列头部设置不超过5个任务的前瞻窗口，结合预估完成时间重排次序，让 更多请求在截止期限内达标；同时用推迟计数器限制单个任务被插队的次数，避免长序列任务饥饿。

实测数据给得比较明确。在GAIA、ToolBench等智能体评测集上，AMPD相比传统PD分离系统和共享部署 基线，服务等级协议达成率平均提升67.29%~339.74%。

交错负载的解法不是选边站，而是让两段随时切换着干。

图源：《2026Token驱动的大模型推理效能优化技》（第6页）

六、EAAS：把MoE专家池化，单卡粒度扩缩容

DeepSeek-V3/R1、Kimi-K2这类超大MoE模型已是工业界主流，671B参数、每Token激活37B的规格并不罕见。 主流系统仍采用单体部署，把注意力层和所有专家层绑在同一个静态进程组里。

这种紧耦合带来三个系统级缺陷。扩展粒度粗，DeepSeek-V3推荐的基础扩展单元高达320张80GB GPU， 业务只要小幅增量也得按整组倍数扩容；容错差，任一张卡出现内存错误或网卡抖动，整个通信组就挂死。

第三个缺陷是负载倾斜。专家激活分布呈幂律长尾，热点专家的宿主卡被击穿成瓶颈，冷门专家的卡却 闲置，整个系统吞吐被最慢那一张卡卡住。

EAAS的思路是把两类计算拆开。注意力层要维持会话记忆，是有状态计算；MoE专家层只做前馈矩阵变换， 不保存跨Token历史，天然无状态。于是专家被池化成独立的微服务集群，注意力层只负责会话管理和路由。

解耦后的收益是实打实的数字：可以按单卡粒度增减专家服务，实测节省高达37.5%算力成本； 用双批次重叠流水把跨机往返时延藏在本地计算里，单边RDMA往返通信时延下降34.7%~49.6%。

故障转移也变得轻。节点掉线时客户端只需在本地路由表屏蔽该节点、把请求重传到持有同一专家副本的 其他服务，故障恢复期集群吞吐降幅小于2%，不需要停机重构通信拓扑。

从三百卡刚性组到单卡弹性，省的是算力，换的是可用性。

图源：《2026Token驱动的大模型推理效能优化技》（第7页）

七、国产算力实测：时延降了，瓶颈换成了传输

工程验证覆盖沐曦、华为昇腾、平头哥PPU和海光BW1100四类平台，部署遵循预填充侧重计算、解码侧重 访存的适配原则，并按模型规模做分层。

沐曦MXC600与H20组成的异构集群，用国产卡承担长文本编码，用高带宽卡承接解码。单PD副本可稳定 支撑50并发、150人规模的常态化业务。

昇腾910B聚焦信创场景。调整最大并发序列数、上下文窗口和单批次Token上限三类批调度参数后，长 图文场景的P99首Token时延改善约32%；开启EAGLE投机解码后，30B模型平均TPOT降低约33%。 这一策略用首包等待换取后续生成更流畅，需要按实时交互要求取舍。

这类报告的原文件，运营动脉（www.yydm.cn）收得比较全，按行业分好了类，翻起来不费劲。

想核一个具体数字，或者补一张原图，直接搜报告名就能定位到相应的那一页。

平头哥PPU 810E支持机内PD分离，单节点16卡的布局把跨节点组网开销直接消掉。海光BW1100则验证 超节点架构，报告称同等负载下整体推理性能比常规分布式集群稳定提升20%以上。

实测也暴露了共性瓶颈。国产卡上跨节点KV缓存传输是影响端到端性能的核心问题，高并发下容易出现 任务排队、传输开销激增和请求处理不完整。优化KV传输策略、平衡两段算力配比，是落地绕不开的活。

优化到头，算力的上限常常由一根互联线决定。

图源：《2026Token驱动的大模型推理效能优化技》（第8页）

八、Token要能计费归因，优化才算闭环

报告把商业化运营单独列为第四层，理由是技术效能如果不能在账单上体现，规模化就无从谈起。计量上要求做细：区分输入Token、增量预填充Token和解码输出Token，还要区分前缀命中的缓存态与 未命中重算态，让每一笔消耗都能追踪和分级核算。

风控上要有租户级配额池与API Key权限树，能配吞吐上限、优先级队列和分级动态预算；针对智能体 自主循环可能引发的死循环，报告建议引入运行时熔断器和预算硬截断，做到秒级止损。

最有价值的是闭环设计。运营层沉淀的租户优先级、实时消费速率和剩余预算权重，会通过控制平面回灌 到算力调度层的准入控制和负载路由，高负载时优先保障高价值业务。

这套设计同时适配公有云的MaaS计费和企业私有化多部门的精细化核算。换句话说，算力调度决定边界， 单轮优化提效率，多轮编排做调度，运营再把结果喂回去。

报告的完整架构图、31页技术细节和四类国产平台的实测表格，都在运营动脉 （www.yydm.cn）上，搜报告名即可打开。