Tencent腾讯|腾讯云婚讯大模型发展与应中
Tencent腾讯白腾讯云目录一、混元大模型整体能力概述二、混元大模型的实践与应用三、混元大模型生态及社会价值探索
Tencent腾讯腾讯云一、混元大模型能力概衣
混元围绕需求持续迭代,实现了能力全面突破、应用厂泛落地Tencent腾讯2腾讯云2024.12混元开源Hunyuan-Video2024.92024.05模型混元新一代旗舰大业内最大最强大的开源视混元开源业界首个语言模型turbo模型2023.09中文DIT文生图模型频模型,弥补社区空白混元大模型对外发布2024.05.30发布2023.02混元全面加特的原生效率大幅提升，成2020-2022混元一站式面向业务本大幅下降混元生成式大大模型产品腾讯元宝推出百亿/千亿广全面开放模型启动研发发布告推荐大模型2024.11混元开源Hunyuan-large模型2023.05业界参数规模最大、效果最好2021-20222024.1发布万亿混元广告、会议、混元升级高性能MOE的开源MoE大语言模型2024.6文档等头部模型混元多模态MOE混元开源Hunyuan-3D模型NLP大模型模型发布业界生成最快效果最好的开源登顶各大权威榜业务接入混突破规模和性能的天元初代大语花板,应对资源紧张●3D生成模型。单,始终处于模型算法探索的最言模型成本高企等挑战前沿
Tencent腾讯2腾讯云全链路自研惊艳的模型效果,离不开底层算法和平台的支持自主研发模型你OpenAIOOMeta腾讯混元算法GPT-4Liama3.1自主研发框架PyTorchAngelDeepSpeed平台质讯Angel机器学习平台MA自主研发算力@NVIDIA星脉高性能计算网络MellanoxAstral Network集群
构建自主可控的国产大模型全栈技术Tencent腾讯2腾讯云低端卡+自研高速网络互联2024年将达到单集群10万卡规模低端卡边能训练万亿参数大模型自研AI框架高效利用低端卡1024GPUX:1024.GPU针对低端卡算力低、显存小的不足自研训练/推理框架，高效利用数万张低端卡Angel机器学习框架4D并行万卡线性加速并行推理模型量化研发moE大模型基础结构单模型升级为MToE混合专家模型统一的文本和多模态大模型结构单个模型MOE混合专家模型
Tencent腾讯公腾讯云突破一:自研硬件、路由算法，构建星脉高速网络大规模算力需要高速互联互通,InfiniBand网络设备价格昂贵,是自研的3倍以上,且有被禁风险星脉RDMA网络3层网络架构51.2T400G400G400G可支持单集群12.8万卡自研交换机自研硅光模块自研算力网卡交换机、光模块、网卡单节点327带宽，通信性能成本比国外IB网络全链路自研提升30%下降70%
Tencent腾讯2腾讯云突破二:自研Angel大模型训练和推理平台，高效调度异构卡集群针对低端卡算力低、显存小的不足，自研训练/推理框架,高效利用万张低端卡集群模型训练2.6倍个Pod:64KGPU拓扑感知降低通信占比,多机多卡线性加速显存＋主存统一编址,增加单机容量性能比微软开源Deep5peed提升2.6倍Block:1024GPUBLock1024GPU大模型压馆70%小量化模型推理剪枝混合精度、模型量化和压缩算法异构硬件适配批处理优化计算和显存效率GPU国产刚芯片万亿大模型的推理成本比开源下降70%
Tencent腾讯2腾讯云混元大模型的能力建设(感知能力）(思考能力)【创造能力】混元多横套理解模郑元文生文模型晨元文生、模证晨元文生视频模型混元文生30模型图像编码器特征投影器文生图基模
Tencent腾讯2腾讯云混元的感知能力—混元多模态理解构视觉编码：目前支持单圈、最大7K分辨率基础理解分析推理图表分析·支持多图6视频生文:一个棋型处理文本、单图、多Q:这种情况下我可以步行Q:请把围片美为文本表圈、烟视频和长视频生文任务Q:这是什么商品支持更大分辨率LLn语言标型:目前MoE架构·山T基直支持更大参撒量、更先进舰构更高的推理效字、更任成本这件格子外室，Adapter:目前自适应分辨享·更大规模图文对、视频对·更丰富的长定比、任意分辨率
Tencent腾讯腾讯云混元的思老能力—混元文生文模型混元Pro混元Turbo混元Turbo的核心能力同构MoE异构MoE0[长窗口]无损256K~百万级长窗口输入;较大激活V.S.更多专家、更小激活【长文理解&记忆】上下文理解和长文记忆,流畅支持多轮对话较多专家、1[意图识别]准确识别用户意图、进行理解、分析的逻辑推理的超万亿参数万亿参数力，内嵌安全识别能力，更精准判断是否存在潜在...
