2025中国汽车流通行业CADCC新春启航大会暨促消费大会大模型时代的新能源汽车自动驾驶发展趋势演讲人:邓志东教授/博士生导师北京信息科学与技术国家研究中心清华大学计算机科学与技术系启航20证清华大学人工智能研究院视党智能研究中心2025.2.22
提纲OuTLines一、范式变革:基于多模态大模型的自动驾驶技术m、世界模型驱动的一段式端到端解决方案可望获得突破三、发展趋势:从感知智能到认知智能启航20清华大学人工智能研究院视觉VisualIntelligence ResearchCenter(VIRG), Institute for Artificil Intelligence, Tsinghua University
提纲OuTLines范式变革:基于多模态大模型的自动驾驶技术世界神型收动的一段式端到端解决万案印望获得突发三、发展趋势:从感知智修到认知智能启航清华大学人工智能研究院视觉VisualIntelligence ResearchCenter(VIRG), Institute for ArtifialIntelligence, Tsinghua University
一、范式变革:基于多模态大模型的自动驾驶技术·VLM:视觉-语言(文本)模型1、多模态大模型推动具身智能体发展·VLA:视觉·语言·动作模型VLA融合了感知空间与动作空间，给出了两个空间与三大任务:两大空间:从感知或观察空间到动作空间，还是从动作空间到感知空间两个空间之间的单段式或单模型一体化相互作用三个下游微调模型,即三大任务:具身理解、具身推理与具身动作生成大模型。基干上述三大微调模型,可优化训练更多的下游微调模型感知空间决策推理或策略动作空间本质上将VLM面向数字空间的理解与生成推向了面向物理世界的理解与生成!2025中国汽车流通行业新春启航大会暨促消费大会
一、范式变革:基于多模态大模型的自动驾驶技术VLM:视觉-语言(文本)模型1、多模态大模型推动具身智能体发展VLA:视觉·语言-动作模型性能增强的VLA:可望提升图像、视频、3D点云与语义地图等多模态数据的语义对齐水平,从而获得更好的交叉理解;2025中国汽车流通行业新春启航大会暨促消费大会
一、范式变革:基于多模态大模型的自动驾驶技术VLM:视觉-语言(文本)模型1、多模态大模型推动具身智能体发展·VLA:视觉-语言-动作模型性能增强的VLA:也可望改善开放场景下的实例分割与目标检测准确率,实现更好的视觉"分词":如谷歌Waymo达到99.3%2025中国汽车流通行业新春启航大会暨促消费大会
一、范式变革:基于多模态大模型的自动驾驶技术·VLM:视觉·语言(文本)模型1、多模态大模型推动具身智能体发展·VLA:视觉-语言-动作模型性能增强的VLA:对时空动态场景的预测,或将有效嵌入直实世界的物理学规律,从而获得更好的避碰能力;外得快跑
一、范式变革:基于多模态大模型的自动驾驶技术VLM:视觉-语言(文本)模型1、多模态大模型推动具身智能体发展VLA:视觉-语言-动作模型性能增强的VLA:通过进一步引入小脑模型,可望获得更加精准、鲁棒与细滑的行为与动作生成,机级运动季庆热自运地区整林感觉联合区通防皮置身蹭感置皮视觉联合区视觉食品经交语售区2025中国汽车流通行业新春启航大会暨促消费大会
一、范式变革:基于多模态大模型的自动驾驶技术2、决策与规划：推动构建世界模型驱动的一段式端到端智能体VLA的决策推理势必面临更大的挑战,但却更有研发意义与落地应用价值,包括:、安全、效率、舒适度与低碳等多指标评估体系及其动态优化算法]利用推理大模型DeepSeek等的应用潜力,如完成百万量级合成场景训练下的决策鲁棒性验证实验（将接管率推进到每10万公里1-3次),将轨迹规划的实时响应时间从传统的150ms缩短至50ms左右。感知空间决策推理或策略动作空间推理型大模型DeepSeek-R1及其蒸馏版系列2025中国汽车流通行业新春启航大会暨促消费大会
提纲OuTLines户方变革：基干多模态大模型的自动驾驶技术二、世界模型驱动的一段式端到端解决万案可望获得突破三、发展趋势:从感知智修到认知智能启航0清华大学人工智能研究院视觉VisualIntelligence ResearchCenter(VIRG), Institute for ArtifialIntelligence, Tsinghua University
二、世界模型驱动的一段式端到端解决方案可望获得突破1、世界模拟器引擎：时空场景合成数据的巨量生成·实现工业化合成数据，包括利用世界模型与世界模拟器...
