"肖彬"的相关文档 - 文档中心

肖彬：大模型推理框架升级之路

百川智能BAICHUANAI大模型推理框架升级之路肖彬DataFunSummit #2024DataFun. 百川智能BAICHUANAI我们将从四个优化专项介绍如何优化大模型推理框架性能量化投机采样TTFT与TPOT的优化通信优化DataFun. 百川智能BAICHUANAI01量化作为大模型最重要的性能优化手段,能有效降低显存占用,降低访存量,充分利用计算资源以下是大模型计算流程:量化sD

                  2026-08-18发布
                  843 浏览
                  27 页
                  33 次下载
                  5.79 MB                

肖彬：大模型推理框架升级之路VIP

文档阅读TOP10

肖彬：大模型推理框架升级之路