Embedded OS in China国产嵌入式操作系统产业论坛大算刀异构心斤赋能具身智能一从实时控制到空间计算隋伟博士地瓜机器人技术副总裁
源自智能驾驶。通往通用智能计算架构地平线地瓜机器人开发平台赋能智能驾驶智能算法加速机器智能进化让人类生活更安全、更美好促进人机和谐伴生产业生态共通的三大计算任务环境感知人机交互决策控制
具身智能:堪比“计算机诞生”级的颠复式创新具身智能2022智能汽车2015智能手机2007个人电脑19800000000000电
趋势一:大模型驱动具身机器人向AGI跃讯当前阶段海量数据G2G3G4G5长程数据数据驱动基础模型基础自动化通用原子技能端到端操作端到端操作AGI技能大模型Locomotion:盲眼运动较为成熟遥操:通过动捕设备、性能成本:快速进步、成本降低平衡性较好，环境实时反馈需要提升灵活性通用性持续提升或者同构机械强化学习发展臂进行数据采集顶层任务拆解任务运动规划训练效果好,泛化性较差执行器械9.9w3.9w无法处理高自由度本体仿真:通过仿真器获取训练需要的数据高算力芯片:满足具身大模型s100Tops博力喜和日交互对话:较为成熟,效率实时性需要提包地瓜机器人nVIDIA缺点:不可解释性,强依赖数据功能成熟度底层模型数据采集硬件本体
趋势一:大模型驱动具身机器人向AGI跃讯多仟冬的通用性的方向发展短期:情绪价值场景中期:刚需场景长期:通用场景手臂操作精度要求低本体标准化且起量交互体验要求高智能化低，适合刚需、容错率场景数据飞轮效应凸显,具备通用性2025-2030年2030-年硬件成熟硬件标准化模型能力提成本降低商场/租车/导览/导购/巡检危险场景家庭服务桌面陪玩/教育劳动力短缺场景
趋势二:以Transformer为核心的基础模型正在重塑机器人技术栈环境感知操作移动人机交互视觉基础模型VFM\Grounding端到端模型VLA通用场景VLN视觉语言导航VLM+ASR+TTS模型容量增大:几B到几+B数据量增加多模态大模型对Transformer模型的支持至关重要
趋势三:模型架构趋干统一,满足具身机器人场景各种需求共通的三大计算任务环境感知人机交互决策控制分层决策(>100Tops)一体化WBC(>500Tops)传感器传感器System2("认知"慢系统]VLA（视觉-语言-动作模型）System1("直觉"快系统)执行器执行器
具身机器人大小脑需要更适合的计算平台大脑小脑具身机器人大小脑System2System1“认知"慢系统"直觉"快系统任务规划运动策略视觉推理功能需求实时控制语言理解状态跟踪高算力高实时高能效计算需求高可靠CPU、GPU/NPUGPU/NPU、MCU
S100算控一体化计算平台大小脑协同，大小模型协作驱动具身机器人大小脑协同进化6核A78AECPU全新BPUNash4核R52+MCU逻辑核心算力核心运控核心RDKS100PRDKS100PRDKS100/S100P137KDMIPS128TOPS6K+DMIPSD-Robotics品RDKS100RDKS100100KDMIPS80TOPS
全新BPUNash架构支持算法高速坛行FPS104.880/128TOPS灵活选择，能效密度优化,满足不同场景需求91.17新增多线程VPU(VectorProcess Unit)单元,68.1463.8支持FP16和FP32浮点计算,提升Lavernorm、Softmax等敏感算子的精度和性能支持超过160+ONNX标准算子,复盖CNN和Transformer等主流算法,100%硬件加速改讲的三级缓存和高带宽DDR,突破内存瓶颈BEVCenterPointYOLO12mYOLO12|多任务模型3D感知模型检测检测
BPU·持续迭代,构建县身机器人的大小脑引壁实现效率最大化、具备高灵活性及高可编程性Transformer在特征融合中扮演关键角色BPU*Nash·环境时序预测、复杂环境交互式规PETR、UniAn·VPU、DataTransformer Engine、紧耦合异构计算优化强大的机器视觉处理能力是具身智能的基石Transformer在统一网络框架下具有极大的潜力CNN是当前最成熟且广泛应用的算法
大量端侧可百接部署的智能算法语音、检测、追踪、OCR、雷达检测等>110种FoundationStereoPaddleOCRASRVGGTTSGraundingDinoCNN&Transformen尽在RDKModelZoo大语言模型、多模态模型Qwen21.58InternVL2BayesNash贝叶斯架构纳什架构机械臂、四足人形等控制算法
超强异构系统，构建具身机器人核心驱动力高频传感输入低频具身机器人大小脑大脑小脑System2低频System1高频“认知”慢系统"直觉"快系统机器人任务规划视觉推理语言理解运动策略实时控制低频状态...
