迈向元宇宙时代的三维建模技术

迈向元宇宙的三维建模技术 友闻（贾荣⻜）阿⾥巴巴淘系技术部 背景介绍 元宇宙应⽤特点 沉浸感 创造性 虚拟 世界 反馈性 万物3D化，场景虚拟化，⼈物动态化 什么是三维模型 物⽤体在三维空间中的表示，能够⽀持三维应 三维表示 •形状 •纹理 •材质 三维应⽤ •布局 •渲染 •仿真 •设计 元宇宙建模要求 还原度 便利性 物体 建模 应⽤ ⽀持 成本 ⽬前的⾃动建模技术 多视图⼏何建模 图像 相机位姿 点云重建 mesh重建 纹理贴图 材质贴图 问题：1、拍摄环境2、弱纹理3、点云噪声4、⾃动材质 拍摄环境相机位姿 拍摄图点云Mesh模型 ⽬前的⾃动建模技术 深度学习建模 图像 模型 问题： 1、多图对⻬ 2、训练数据 3、⾃动材质 DeepSDF重建效果 体素Mesh 点云SDF NeRF神经渲染技术 神经⽹络表达形状、纹理、材质，端到端训练优点：还原度⾼，PSNR25 缺点：渲染&训练慢，效果不稳定，⽀持应⽤少 ObjectDrawer 业内⾸个神经渲染建模产品 ObjectDrawer ObjectDrawer效果 ObjectDrawer与传统建模对⽐ Photogrammetry ObjectDrawer 推理速度&模型⼤⼩对⽐ ObjectDrawer GPU(V100):～200FPS ⼿机(iPhone12):~30FPS 存储:～20M 10000倍推理速度提升 分辨率1920*1080 推理速度 （V100） 推理速度 （iPhone12） 存储 NeRF 0.02FPS N/A ~15M DONeRF 5FPS N/A ~15M FastNeRF 70FPS N/A >1GB PlenOctree 50~102FPS N/A 0.3~1.9G 训练时间 ObjectDrawer4hour 10倍训练速度提升 分辨率1920*1080 训练时间 （V100） NeRF ~2days Mip-NeRF ~2days 视⻆鲁棒性对⽐ NeRFObjectDrawer 还原度对⽐ GT ObjectDrawer NeRF Mip-NeRF 更多案例 ObjectDrawer指标 渲染分辨率：1920*1080建模时间：4⼩时 推理速度：单卡V100200FPS⼿机30FPS 重建质量：细节⼀⽐⼀还原，PSNR约30模型⼤⼩：20M 类⽬：⽀持鞋、包、⼿办、积⽊、瓷壶、帽⼦、沙发、茶⼏、柜⼦ 拍摄要求：⼀般场景，⼿机拍摄，⽆需特殊设备⽀持应⽤：⽀持三维场景搭建、展示，渲染2D/视频 试⽤接⼝：12⽉开放 https://tech.taobao.org/objectdrawer ObjectDrawer建模解决⽅案 ObjectDrawer建模流程 Mesh提取 拍摄 相机位姿 前景分割 神经渲染重建 模型扭正 推理速度问题 光栅化渲染 ⽹络剪枝 视⻆鲁棒性问题 Trainingviews Testviews 视⻆鲁棒性解法 视⻆鲁棒性评测 更多的效果对⽐ ObjectDrawer应⽤解决⽅案 渲染结果 神经渲染应⽤问题 三维场景ObjectDrawer模型 ObjectDrawer应⽤流程 场景搭建 场景渲染 神经渲染 光照迁移 ObjectDrawer模型表示 给隐式表达配对显式的粗糙mesh 光照迁移问题 问题1：场景光与拍摄光不同问题2：物体对环境的光照影响问题3：环境对物体的光照影响 物体对环境影响 光照变化及环境对物体影响 与其他⽅法对⽐ 更多的案例 渲染对⽐ 多个物体在场景内 实际应⽤效果 总结与展望 ObjectDrawer指标 渲染分辨率：1920*1080建模时间：4⼩时 推理速度：单卡V100200FPS⼿机30FPS 重建质量：细节⼀⽐⼀还原，PSNR约30模型⼤⼩：20M 类⽬：⽀持鞋、包、⼿办、积⽊、瓷壶、帽⼦、沙发、茶⼏、柜⼦ 拍摄要求：⼀般场景，⼿机拍摄，⽆需特殊设备⽀持应⽤：⽀持三维场景搭建、展示，渲染2D/视频 建模流程对⽐ 拍摄 相机位姿 点云重建 mesh重建 纹理贴图 材质贴图 mesh提取 拍摄 相机位姿 前景分割 神经渲染重建 模型扭正 渲染流程对⽐ 场景搭建 光照设定 渲染出图 场景搭建 光照设定 渲染出图 神经渲染 光照融合 ObjectDrawer的未来 1、模型可编辑 2、模型可变形 元宇宙建模的未来：万物3D化 建模数量100倍以上建模时间10分钟 随时随地可建模 各种应⽤可⽀持 建模像拍照⼀样简单