迈向Token服务新范式-从评测到调度的全链路优化供给.pdf会员免费

迈向 Token 服务新范式——从评测到调度的全链路优化供给演讲人：冷静文上海交通大学 计算机学院副院长

Token 调用量高速增长全球日均 Token 调用量统计中国官方统计 Token 日均调用量2024年初 至 2026年3月中国Token调用量增长约 1,400 倍2024年初 至 2026年3月全球日均Token调用量增长约 300 倍来源：基于openai/google/openrouter等平台披露估计来源：国家数据局 / 国新办公开披露；2026.03月 >140 万亿2024初 估算0.5-260-130180-380300-60001503004506002025.06 估算2025底 估算2026.03估算2024初0.130100>140050100150万亿 / 日2025.062025底2026.03万亿 / 日

Token 调用量增长分析Token 增长主要来自 AI 工作流的自我消耗Agent 化、编程智能体、多步骤执行、中国模型供给扩张，共同把 Token 从交互用量推向生产用量来源：Token 使用增长分析报告，OpenRouter Apps / Rankings，Anthropic 成本预估变化及国家数据局公开讲话结构性变化从回答问题转向规划、调用工具、执行任务第一驱动典型场景任务形态供给扩张Top 10 应用中占 87.1%占 Agent Token 的 41.4%上下文、多模态和多 Agent 协作中国厂商贡献约 68% 周 Token 量 OpenRouter单 Agent 平均为非 Agent 的 4.5 倍代码读取、修改、测试持续放大调用量性价比优势推动全球接入把一次任务拆成多轮工具调用

Token 服务形式的优势成本低，门槛低训练和部署大模型的成本动辄几十万、几百万甚至更多；Token 按调用计费，几乎不需要硬件投资通过 API 即可使用，开发者只需几行代码Token 服务形式的优势安全，合规可控Token 供应商通常会做多层安全防护、数据隔离、输出内容合规审查对开发者而言，避免了自己部署模型可能带来的安全风险快速迭代，即开即用模型升级、优化全由服务方完成，用户可直接享受最新能力无需关注复杂的模型部署和性能优化问题可扩展性强模型升级、优化全由服务方完成，用户可直接享受最新能力无需关注复杂的模型部署和性能优化问题用户专注业务，而非技术细节开发者把精力放在业务逻辑、产品设计和数据处理上而不是底层模型推理实现通过云平台将大模型封装为 Token 调用服务，是人工智能目前的主要服务模式

中国是Token服务发展的沃土—政策支持“培育人工智能应用服务商，发展‘模型即服务’、‘智能体即服务’等，打造人工智能应用服务链”国务院发文《关于深入实施“人工智能+”行动的意见》，指出2026年4月：工信部“模数共振”行动2026年3月 十五五规划纲要

中国是Token服务发展的沃土-市场环境中国拥有世界上最繁荣的开源模型生态智算中心、智算集群建设加速推进中国 AI 算力近年来持续增长供给侧需求侧通过 Token 调用使用 AI 大模型用户日益增多企业开发者个人开发者科研人员普通消费者

中国Token服务现状「 从一个异常发现说起 」

便宜模型的账单悖论引发警觉开发者很喜爱的claude code，调用便宜模型，实际费用异常偏高，打破了"单价低则成本低"的直觉认知按某用户当天计费日志做样本（该模型当天 148 次请求）0.20.40.60.81.00反常现象：便宜约4倍的模型，单次花费却和旗舰打平单次成本0.90元单次成本0.92元≈同为当天真实请求 ｜ 柱高=单次平均成本｜ 柱内配色=输入侧缓存构成输入侧构成缓存未命中（全价）缓存命中（打折）写缓存一眼看懂两根柱几乎一样高 = 单次花费打平。但便宜模型76%是红色全价、旗舰98%是绿色打折——单价本该便宜4倍，全被「未命中缓存」抹平了。76%22%98%便宜模型原始单价≈旗舰的1/4旗舰模型原始单价（基准）单次成本

为什么会存在这样的情况？• 进一步排查发现：同一个会话的多轮请求，缓存命中率极低 -提示词中有计费内容块，其中包含一个每轮都在变化的cch值，导致缓存无法命中（Claude Code，自版本 2.1.36 起）为了计费归因，会在请求的提示词最前面注入一段计费内容块会处理的服务商•处理前自动剥离该计费内容块•结果：即使 cch 每轮变，服务商看到的缓存前缀仍然稳定 → 命中正常。不处理的第三方服务商•把含变化的cch的完整前缀当成缓存 key •...