迈向元宇宙时代的三维建模技术-友闻会员免费

迈向元宇宙的三维建模技术友闻（贾荣⻜） 阿⾥巴巴淘系技术部

背景介绍

元宇宙应⽤特点虚拟世界沉浸感反馈性创造性万物3D化，场景虚拟化，⼈物动态化

什么是三维模型物体在三维空间中的表示，能够⽀持三维应⽤三维表示• 形状• 纹理• 材质三维应⽤• 布局• 渲染• 仿真• 设计

元宇宙建模要求物体建模还原度应⽤⽀持成本便利性

⽬前的⾃动建模技术多视图⼏何建模图像相机位姿点云重建mesh重建纹理贴图材质贴图拍摄图点云Mesh模型拍摄环境相机位姿问题：1、拍摄环境 2、弱纹理 3、点云噪声 4、⾃动材质

⽬前的⾃动建模技术深度学习建模图像模型问题：1、多图对⻬2、训练数据3、⾃动材质DeepSDF重建效果点云体素MeshSDF

NeRF神经渲染技术神经⽹络表达形状、纹理、材质，端到端训练优点：还原度⾼，PSNR25缺点：渲染&训练慢，效果不稳定，⽀持应⽤少

Object Drawer 业内⾸个神经渲染建模产品

Object Drawer

Object Drawer效果

Object Drawer与传统建模对⽐PhotogrammetryObject Drawer

推理速度&模型⼤⼩对⽐分辨率1920*1080推理速度（V100）推理速度（iPhone 12）存储NeRF0.02FPSN/A~15MDONeRF5FPSN/A~15MFastNeRF70FPSN/A> 1GBPlenOctree50~102FPSN/A0.3~1.9GObject Drawer�GPU (V100): ～200FPS�⼿机 (iPhone 12): ~ 30FPS�存储: ～20M 10000倍推理速度提升

训练时间分辨率1920*1080训练时间（V100）NeRF~2 daysMip-NeRF~2 daysObject Drawer4 hour10倍训练速度提升

视⻆鲁棒性对⽐NeRF Object Drawer

还原度对⽐Object DrawerNeRF Mip-NeRFGT

更多案例

Object Drawer指标渲染分辨率：1920*1080建模时间：4⼩时推理速度：单卡V100 200FPS ⼿机30FPS重建质量：细节⼀⽐⼀还原，PSNR约30模型⼤⼩：20M类⽬：⽀持鞋、包、⼿办、积⽊、瓷壶、帽⼦、沙发、茶⼏、柜⼦拍摄要求：⼀般场景，⼿机拍摄，⽆需特殊设备⽀持应⽤：⽀持三维场景搭建、展示，渲染2D/视频试⽤接⼝：12⽉开放https://tech.taobao.org/objectdrawer

Object Drawer 建模解决⽅案

Object Drawer建模流程拍摄相机位姿前景分割神经渲染重建模型扭正Mesh提取

推理速度问题光栅化渲染⽹络剪枝

视⻆鲁棒性问题Training viewsTest views

视⻆鲁棒性解法

视⻆鲁棒性评测

更多的效果对⽐

Object Drawer 应⽤解决⽅案

神经渲染应⽤问题三维场景Object Drawer模型渲染结果

Object Drawer应⽤流程场景搭建场景渲染神经渲染光照迁移

Object Drawer 模型表示给隐式表达配对显式的粗糙mesh

光照迁移问题问题1：场景光与拍摄光不同问题2：物体对环境的光照影响问题3：环境对物体的光照影响

物体对环境影响

光照变化及环境对物体影响

与其他⽅法对⽐

更多的案例渲染对⽐多个物体在场景内实际应⽤效果

总结与展望

Object Drawer指标渲染分辨率：1920*1080建模时间：4⼩时推理速度：单卡V100 200FPS ⼿机30FPS重建质量：细节⼀⽐⼀还原，PSNR约30模型⼤⼩：20M类⽬：⽀持鞋、包、⼿办、积⽊、瓷壶、帽⼦、沙发、茶⼏、柜⼦拍摄要求：⼀般场景，⼿机拍摄，⽆需特殊设备⽀持应⽤：⽀持三维场景搭建、展示，渲染2D/视频

建模流程对⽐拍摄相机位姿前景分割神经渲染重建模型扭正mesh提取拍摄相机位姿点云重建mesh重建纹理贴图材质贴图

渲染流程对⽐场景搭建光照设定渲染出图场景搭建光照设定渲染出图神经渲染光照融合

Object Drawer的未来1、模型可编辑2、模型可变形

元宇宙建模的未来：万物3D化建模数量100倍以上建模时间10分钟随时随地可建模各种应⽤可⽀持建模像拍照⼀样简单

运营动脉关于我们ABOUT US WWW.YYDM.CN运营动脉是一个精心管理了4年的运营资料库，目前拥有超过40000+份运营资料，1000+运营渠道合作资源。当你在日常工作中，可以用它快速搜方案、看案例、读报告、做课件、找模板、下素材、用工具、学课程等。90%常见的运营需求都可找到模板和案例，工作中即可拿来直接套用，提高我们的工作效率，资料库持续更新ing…运营动脉官方服务号运营资料铺官方公众号运营动脉官方网站运营动脉APP下载业务联系站长微信