7-4 在高保真孪生数字人技术中的自动化流程探索_张启煊 影眸科技

高保真孪生数字人技术中的自动化流程探索

扫描部分

• 2016年：动态DOME（体积摄影）
• 2017年：Sparse Photometric 3D Face Reconstruction
• 2019年：单图像合成真实脸部细节
• 2020年：彩色光度立体三维面部重建
• 2021年：实时视频肖像重新光照
• 2022年：毛孔精度PBR材质，规则拓扑，编辑性强

重拓扑

• 问题：需要完成高模重建，产生边角和UV不规整，表情不到位，表情贴图抖动
• 挑战：大量新增人工环节，仍然需要高模

驱动部分

• 绑定：
  • 基于通用骨骼蒙皮和BlendShape的绑定方案
  • 肌肉模拟仿真完成面部驱动（工作量大，对艺术家要求高）
• 动态贴图：具备完备PBR材质，可编辑性强，能够表演新片段

关键技术

• PlenopticStage技术：亚洲唯一，世界唯二，亚微米级皮肤材质扫描，超高精度表情扫描
• 毛发处理：正在进行中

数据集

• 首个产品级人脸资产数据库（PFA）：个性化肌肉毛孔级细节完备，PBR材质动态贴图独立资产

摄影流程对比

• 传统流程：3-5周
• PlenopticStage流程：3-5天

结语

感谢您的关注。