大模型词元服务怎么选?43页报告拆解TPS、时延与价格
本文解读:《大模型词元服务性能监测报告》 · 共 43 页 · 原文
同一款开源模型,换个平台跑,吞吐能差将近一倍。这是报告里最值得记住的一句话。《大模型词元服务性能监测报告(2026年)》由中国信通院人工智能研究所、工信部重点实验室和中国人工智能产业发展联盟联合发布,共43页。
它的背景是量级的突变:2026年6月国内词元日均消耗量约500万亿,是2025年12月的近4倍。需求涨得这么快,用户却几乎没有判断依据。哪家平台快、哪家稳、贵在哪里,过去只能靠感觉。
这份报告做的事,是把“模型服务好不好用”拆成七个可以实测的数字。

图源:《大模型词元服务性能监测报告》(第1页)

图源:《大模型词元服务性能监测报告》(第4页)
一、词元成了水电,选型就成了刚需
报告把词元服务定义为从技术走向应用的关键点。这个判断背后是一条完整的产业链已经成形。越来越多的MaaS平台厂商通过公有云API供给大模型词元服务,用户按调用量付费,不再自己部署。
监测对象因此分成两类:一类是国内外原厂模型的官方接口,国外选取GPT、Claude、Gemini三个系列;另一类是DeepSeek、Qwen、GLM、Kimi四款开源模型在不同MaaS平台上的服务。
两类对象对应两个问题:模型本身好不好,以及平台工程化能力强不强。报告用同一套指标把它们放在一张表上比。
监测分两种方法。每日监测法在不同国家和地区的云节点上,每天选5个整点连续发请求,算TTFT和TPS;人工监测法负责统计各平台公开的价格与上下文。

图源:《大模型词元服务性能监测报告》(第5页)
二、七个指标,每个都有明确的算法
报告定义的七个指标是:调用成功率、每秒输出词元数、首词时延、服务稳定指数、开源模型上线率、服务价格、模型上下文。
TPS指模型每秒输出的词元数量,单位是个每秒。它的算法是输出词元总数除以总时延减去首词时延,把排队和首字等待排除在速度之外。
TTFT指从请求开始到返回首个词元之间的时延,单位是秒。这个指标直接决定用户感觉“卡不卡”。服务稳定指数取值0到100,由TPS和TTFT的变异系数加权算出来,两项等权。越接近100,说明波动越小。
价格做了归一化处理:输入价乘3加输出价,再除以4,折算成每百万词元的价格,方便横向比较。开源模型上线率则是一个覆盖率指标,统计某款模型在22个主流MaaS平台上架的比例,用来衡量生态扩散速度。

图源:《大模型词元服务性能监测报告》(第6页)
三、成功率99%以上,但要看清采样频率
8月国内原厂模型的调用成功率平均值是99.18%,中位数99.75%,全月均值都高于99%。报告同时提醒了一个陷阱:5月起监测采样频率从每天15次提升到每5分钟1次,偶发失败被捕捉到的概率大幅上升。
所以8月成功率达到100%的模型占比只有44.4%,比前5个月明显降低。这不是服务变差,是尺子变细了。报告还给了一个分布数字:8月国内被监测原厂模型的成功率中位数是99.75%,说明半数以上模型几乎不掉线,问题集中在少数平台的个别时段。
这条对采购方有直接意义。拿平台自己报的成功率做对比时,要先问清采样口径,否则容易得出反向结论。
指标下降有时候不是服务质量的问题,是监测密度上来了。

图源:《大模型词元服务性能监测报告》(第7页)
四、吞吐翻倍了,仍只有国外的七成
8月国内各模型平均TPS达到78.23个每秒,2025年均值是38.25个每秒,一年翻了一倍。但平均值被一款模型拉高了。Ling2.6-1T的TPS达到357.81,中位数其实只有62.36。
国外三款模型8月TPS均值112.82,是国内均值的1.4倍;它们自己在2025年12月是51.35,同样翻了一倍多。报告还给了参数量与速度的关系:500B以下模型TPS中位数72.59,500B到1T是63.12,1T以上是57.12。参数越大越慢。
进度条也值得记一笔:4月有模型突破100,5月突破200,8月突破300,Flash版本最高已超过500个每秒。
吞吐在涨,但涨的主要是头部模型,中位数还没跟上。

图源:《大模型词元服务性能监测报告》(第8页)
五、首词时延变长了,但不是性能退化
国内平均TTFT从2025年的0.78秒涨到8月的1.26秒,最低0.69秒,最高2.36秒,只有33.3%的模型低于1秒。国外更明显,8月均值2.08秒,而4月还是1.04秒。6月以来国外模型的TTFT平均值都高于2秒。
报告对这个现象的解释很关键:TTFT上升不是单纯的性能退化,而是模型参数量增加、上下文长度增加、调用量增加同时发生的结果。
换句话说,你多拿到的是能力和上下文,付出的是首字等待。这笔交易值不值,取决于场景。对交互式应用,1.2秒已经接近体验红线;对批处理任务,反而更该看TPS。

图源:《大模型词元服务性能监测报告》(第9页)
六、稳定性:5月之后国内掉了一档
8月国内原厂稳定指数平均值79.02,最高91.15,约38.9%的模型达到80分以上。国外同期均值86.33。报告点出了下滑的时间点和原因:1至4月国内稳定指数都在80分以上,5月开始降低,原因是部分热门模型发布新版本后,每天不同时段TPS和TTFT变化剧烈。
国外则持续上升,7月平均达到最高86.99分。Gemini-3.1-pro-preview达到92分,GPT-5.6为82.3分。这条数据对企业选型最有用。能力再强,如果白天晚上的速度差一倍,排产和成本核算就没法做。

图源:《大模型词元服务性能监测报告》(第10页)
七、价格涨了98%,上下文涨到百万级
价格是最反直觉的一条。经历两年价格战后,2026年国内每百万词元归一化均价从2025年下半年的6.8元涨到13.46元,涨幅98%。国外仍是国内的数倍,2026年以来新发布版本均价约117.8元。报告把这个趋势称为向“能力跃迁”演进。
上下文则在反向狂奔。8月47.8%的模型上下文达到1M,200K及以上合计95.7%,比2025年底提高超76个百分点,128K及以下只剩4.3%。上下文扩到1M的意义不只是能塞更多文档。国内新发布模型多数已到1M,Qwen3.7、DeepSeek-V4-Pro在列;国外OpenAI、Anthropic、Google最新系列同样达到1M。
费用对比更直观:国外模型推理消耗的词元更少,但因为价格贵,单任务花费更高,Claude和GPT是最贵的两款;国内模型词元消耗多,总花费反而低。
八、开源模型在第三方平台反而更快
报告统计了22个国内外MaaS平台的模型上线率。DeepSeek、Qwen、GLM三家达到100%,Kimi 95%,MiniMax 86%。国外开源模型明显落后:GPT-OSS和Llama都只有41%,报告的说法是更新速度较慢,上线率还在下降。
更值得看的是同模型跨平台的差距。Qwen在硅基流动和百度云千帆的8月TPS已超过100,高于阿里云百炼官方平台。Kimi的对比更极端:阿里云百炼8月TPS均值73.06,月之暗面官方只有44.87。GLM则是官方时延偏高,8月最高1.69秒,而平台均值是1.05秒。
DeepSeek相对均衡,8月各平台TPS均值58.91,官方平台超过60,TTFT官方最低0.56秒。
同一张权重,平台侧的推理加速和调度策略,决定了一半的体验。
九、三条可以直接用的判断
报告总结给的判断是螺旋上升:参数量和上下文在涨,时延在涨,但吞吐的提升缓解了性能压力。第一条可用判断是别只看官方榜。同一模型跨平台TPS差距最大接近一倍,选型必须按平台实测,不能按模型名拍板。
第二条是分开看两个场景。交互式应用盯TTFT,批处理和离线任务盯TPS和稳定指数,两者会给出完全不同的最优解。第三条是留意口径。成功率要看采样频率,价格要看归一化公式,上下文要看官方公布值,三项都容易被话术修饰。
报告也留了余地:数据基于公开接口实测,受测试时间、网络环境和并发策略影响,不构成对任何产品的推荐或背书。
这份报告的完整版、原始图表和数据附录,都放在运营动脉(www.yydm.cn)上,搜标题就能直接打开。
同类赛道的其他报告那里也都收了,顺着行业目录往下翻,比一份份到处找省事得多。
十、这份报告哪里测不到
附录把方法讲得比较透,这一节值得单独读,因为它决定了数据能用到什么程度。监测用的是基准测试集里的固定题库,每次请求输入约50到200个词元,属于短文本场景。长文档理解、代码生成这类重负载,报告并不覆盖。
所有请求统一采用流式输出、默认思考深度、不指定历史上下文,每次都是独立会话。多轮对话的真实表现,也不在这份监测范围内。
调用方式是公有云非独占调用,服务处于正常负载状态,因此不同时间段的数字会受平台实时负载影响。
成功率还留了一条排除规则:速率限制、服务下线、账户欠费导致的失败不计入统计。换句话说,平台限流造成的问题被挡在指标之外。
拿这份报告做选型,要把它当横向基准,而不是当成某家平台的性能承诺。
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。




