DeepSeek模型优势:算力、成本角度解读浙江大学计算机学院浙江大学人工智能协同创新中心王则可2025年2月
DeepSeek优势浙江大学ZHEJIANGUNIVERSITQwre2.5-728-lostLiama-3.1-405B-1mstGPF-4o-0513Claude-3.5-Sonnet-1022DeepSeek的优势:系统感知的算法创新（量化基因算法：霸榜，有创新(MLA、特定MoE)系统:低成本、高性能
算力的基本概念浙江大学ZHEJIANGUNIVERSIT算力ComputingPower什么算力?"对信息数据进行计算。实现目标结果的能力传统算力:信息计算力现代算力:信息计算力、数据存储力、网络运载力
算力的发展浙江大学ZHEJIANGUNIVERSITY大脑草绳、石子算盘、算果计算器，计算机原生算力:大脑(可处理复杂逻辑,但不能高速处理简单运算外部算力工具:草绳、石子算盘计算机:算力提供者(可高速简单运算、不能处理复杂逻辑
计算机算力的发展浙浙江大学ZHEJIANGUNIVERSITY"I think there is a world market for maybe fivecomputers.《我想全世界只需要五台电脑）--ThomasWatson.IBM创始人,1943大型机时代1940-1980大型机时代:数字化未开始，算力求港力未发北
计算机算力的发展浙江大学ZHEJIANGUNIVERSITY大型机时代PC时代云计算时代人工智能时代1940-1980-2000-2020-198020002020大型机时代:数字化未开始，算力需求潜力未发掘PC时代:一个应用只需一台电脑，算力够云计算时代:应用需要超过一台机器的算力，算力基本的人工智能时代:算力开始不足,需大量高性能A加速器
人工智能大模型算力估计浙江大学ZHEJIANGUNIVERSIT人工智能大模型算力估计1,数据量D>15*模型参数量万亿模型(N)11000*109=1012数据量(D)15*1012=1.5*10132、计算次数C~6*N*万亿模型计算次数C～6*N*D=15*102号OpenAl."ScalingLawsforNeuralLanguageModels":2020
人工智能计算平台成本估计浙江大学ZHEJIANGUNIVERSIT算力存力运力算力（每秒)显存运力生态政策风险成本华为910B320T=3.2*101432GB240GB/s较好无12万英伟达H8001000T=101580GB900GB/s好有25万万亿大模型预训练系统成本估计条件:计算量C=6*N*D=15*105最低时间、成本估计单H800(25万):1.5*100秒(174000天)1000张H800(2.5亿):1.5*107秒(174天)
大模型指导法则ScalingLaw:富则火力复盖浙江大学算力数据集模型参数量L=(D/5.4.10*3)-0.005L=(N/8.8·1013)-0.0763.9sSO71s81心3.64.03.33.0L=(Cml/2.3.10*)-0.0507010-10-510-310-1010%10%ComputeDatasetSizeParametersPF-days, non-embeddingnon-embeddingtokens大模型扩展规律(资本非常喜欢确定性故事算力:算力越大(轴）,模型效果越好(TestLoss小)数据集:数据集越大(X轴),模型效果越好模型参数:参数越多(X轴),模型效果越好
国际人工智能企业OpenAI的商业模式浙江大学ZHEJIANGUNIVERSITYOpenAI商业模式(循环以下四步)1,华尔街融资OpenAI例子:2019-21年融资20亿美元2,购买最新GPU例子:购买2.5万A100GPU(英伟达挣钱)3、用最新GPU训练性能领先的大模型例子:2023年出ChatGPT、垄断市场(290亿美元估值)4、用训练的GPU给客户提供高质量模型服务例子,营收小整体亏钱2025年特朗善的"星际之门”为OpenA第5000亿美元A基础设施
国内人工智能的发展模式、可行性分析浙江大学ZHEJIANGUNIVERSIT国内人工智能商业模式(循环以下四步)1,国内融资(亿美金)可行性分析:资金没问题,尤其优质生产力领域2,购买最新GPU可行性分析:美国可以发禁令3、用GPU训练性能领先的大模型可行性分析:国内A人才没问题4,用训练的GPU给客户提供高质量模型服务可行性分析:国内做工业化低成本有绝对优势
美国限制中国AI发展的策略浙江大学ZHEJIANGUNIVERSIT国内人工智能商业模式(循环以下四步1、国内融资（亿美金)可行性分析:资金没问题、尤其优质生产力领域2、购买最新GPU可行性分析:美国可以发禁令3，用GPU训练性能领先的大模型可行性分析:国内A人才没问题4、用训练的GPU给客户提供高质量模型服务可行性分析:国内做工业化低成本有绝对优势
时代背景:算力卡脖子浙浙江大学ZHEJIANGUNIVERSITYNvidia,AMDChipExportRestrictionstoChina美国政府对我国的禁令现成成熟算力:2023年禁止出口高端A1芯片A100, HOO,H800,A800等数据中,SGPU运力:2022...
