4-3 人脸高效率 3D 数字化技术研究 - 暴林超_腾讯

人脸3D数字化技术研究

1. 高保真3D数字人“小志”

• 制作管线：包括光场扫描、高模重建、高模制作、低模重拓扑、表情扫描、控制器绑定、挂件/材质/渲染、语音/文本驱动等。
• 腾讯AI Lab数字人制作方案分级：
  • S级：光场影棚扫描，质量最高，较多人工美术加工，AI技术加速和成本优化，追求真实感和高品质，适用于定制3D写实虚拟人形象。
  • A级：相机阵列扫描，质量较高，AI算法生成为主，加轻量人工参与，兼顾高品质和高效率，适用于高效定制行业3D写实虚拟人形象。
  • B级：RGB-D（视频），质量中等，全自动AI算法生成，兼顾高效率和低成本，适用于消费级设备快速创建3D虚拟人形象。
  • C级：RGB照片（多张/单张），质量一般，全自动AI算法生成，易触达，适用于C端用户快速创建3D虚拟人形象。

2. RGBD自拍人脸数字化

• 主要步骤：
  • 自动选帧
  • 模型初始拟合（包括初始形状、初始颜色贴图、关键点拟合、提取脸部区域、Unwrap、融合参数化拟合）
  • 基于可微渲染的优化
  • 纹理/法线贴图合成
  • 补头/挂件挂载/渲染
  • AutoRigging
  • 文本/语音驱动

3. 如何评估3D人脸重建

• 传统评估方法：刚性对齐和最近邻点计算误差。
• REALY新评估方法：
  • 包含100对【2D图片-3D扫描模型】，每个扫描模型包含语义信息一致的人脸关键点及区域Mask。
  • 按Mask局部对齐并只计算局部误差。
  • 引入逆向非刚性变形更新对应点关系。
• 高质量3DMM基底公开：HIFI3D++，适用于数字人建模，来自亚洲、欧洲人种的2000个人头模型。

4. Q&A

• 感谢观看。