SSuperCLUE中文大模型综合性测评基准中文大模型基准测评2025年3月报告-2025中文大模型阶段性进展3月评估SuperCLUE团队2025.03.18
SuperCLUE中文大模型综合性测评基准独立第三方AGI测评机构精准量化通用人工智能(AGI)进展,定义人类迈向AGI的路线图Accurately quantifying the proaress of AGldefining the roadmap for humanity'sjourney towards AGl
报告目录2025年度关键进展及趋势二、年度通用测评介绍2025年大模型关键进展SuperCLUE基准介绍2025年值得美注的中文大模型全景图SuperCLUE大模型综合测评体系2025年国内外大模型差距SuperCLUE通用测评基准数据集及评价方式各维度测评说明及示例测评模型列表三、总体测评结果与分析四、DeepSeek系列模型深度分析SuperCLUE通用能力测评总榜DeepSeek-R1及其蒸馏模型对比SuperCLUE模型象限DeepSeek-R1和国内外头部推理模型对比SuperCLUE推理模型总榜DeepSeek-R1第三方平台联网搜索能力测试SuperCLUE推理任务总榜(网页端)SuperCLUE基础模型总榜DeepSeek-R1第三方平台稳定性测试(网页端、App端、API端)综合效能区间分布国内大模型成熟度-SC成熟度指数评测与人类一致性验证开源模型榜单10B级别小模型榜单端侧5B级别小模型榜单
SuperCLUE报告摘要(一)中文大模型综合性测评基准SuperCLUE模型象限(2025)o3-mlthigh;激屋第一,拉理能力全国领先实用主义者卓越领导者o3-mini(hiah)在SuperCLUE-3月评测中表现点越以76.01分和84.51分稳居总榜和推推理模型块各移发型优势明星、凡屋内较淘外头部抢理城型路有领先国内模型推理DeepSeek-R1在总榜上领先Claude 3.7 Sonnet近2.32分,QwQ-32B在推理LENE40TaboHK任务榜单上领先Geminl-2.0-Flash-Thinking-Exp-01-21近7.65分。大楼型在地理迪度和性价比的两级分化资资机!国内推理模型DeepSeek-R1和QwQ-32B虽然推理任务上表现出色,但推理时间也随之变长;在性价比方面,DeepSeek,Qwen系列模型具有极高的性价比优势,但小参敷桃表多款开源小参数置模型展现出惊人潜力。尤其是DeepSeek-R1-Distim系列,其中7B和强力探象者技术领阳者14日版本在数学推理任务上分别取得了7723分和79.46分的高分,超越了众多闭源大模型。推理能力·来:NeperC1UN,885年3月18日:款接时相户:接银方含:受检理,附受费理,代码:应用账方包括:文本理解与圆门:指宁逻得3
SuperCLUE报告摘要二中文大模型综合性测评基准DeepSeek-R1和国内外推理模型能力对比大模型性价比分布DeepSeek-R1和国内外头部推理模型对比-2g86.7379.1581.84104068.16推观榜单总分分为推理任务总分:数学推理SuperCLUE,2025年3月18日。PI,价格信息均来自售
第1部分2025年度关键进展及趋势1.2025年大模型关键进展2.2025年值得关注的中文大模型全景图3.2025年国内外大模型差距5
SuperCLUE2025年大模型关键进展中立大概整综合性测评基准自2022年11月30日ChatGPT发布以来,AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内外A1机构在过去2年有了实质性的突破。具体可分为:准备期、跃进期、繁荣期和深化期SuperCLUE:Al大模型2025年关键进展关键进展化期女兼荣期OpenA量事o8-minl,OPT-4.5,曾有推地点本效丝抽理,后有观出OpanA发布Bore,每大柜满了AI在核高的管感智售。人跃进期礼集领域的单单力。Geminl2.0FlashThinking,LJem2开票,很大吻力全球大摘QPT-40、Glaude3.5.Cleude-8.7-Bonnet,Groks2主准备期开发有生斋。Qemin11.5、Llems3发布,海外港入"一多强"的竞争格局。大幅食舞升,OPT-4Turbo,Gomini等海外大横北布,最前员升棋副性的,在哪分餐国内脑明供盟持俱限进。A1、QwQ-02B.Kim!k1.6、讯飞GPT4发布,进一步镇起大锅国研发国内闭重大机重快速发展,五包、螺机解、vidu、PlxVerse零棋国阶火X1等排暖美盟助棋发布,湖前突热潮。元、商量3.0、自8.0体发布,并在海外取每使大皇两进展BlueLM、黑火3.0号始闸北布。内快速从进大啊内开调生态持顺引领机服骨惠化国内开禁生态爆发。Balohuan、Qwen2.61.0、义平间、请飞火、800钟awen,InternLM,OhatQLMB,、ChatGLM等首批具重相触发布。助行业技术管事化进赛4D事系列棋引领开票热室精偿更新。20...