4-1 数字人技术革命：动捕、重建、生成与智能 -刘烨斌

研报总结

数字人技术概述

• 核心技术：动捕、重建、生成与智能。
• 应用领域：全息交互、AR/VR/元宇宙。

动捕技术

• 关键技术：无标记运动捕捉。
• 创新点：
  • 4D多视时空聚类解耦模型：解决了单视角划分错误导致的质量问题，首次应用于实时多人体骨架捕捉（CVPR 2020）。
  • 双表面三维重建：利用内层表面的完整性和语义性，实现实时非线性映射（TPAMI 2021）。
  • 双表面的深度学习三维重建：支持宽松服饰、人-物交互等场景（CVPR 2021）。
  • 基于注意力机制的多视点融合：实现高质量实时重建（ICCV 2021）。
  • 扩散生成方法：提高三维表面重建精度（ECCV 2022）。
  • 表面流模型：实现高质量自由视点绘制（SIGGRAPH Asia 2022）。

动态三维重建

• 关键技术：双表面重建。
• 创新点：
  • 双表面三维重建：利用外层高精度和内层低精度表面，实现高精度动态三维重建（TPAMI 2021）。
  • 基于模板驱动的隐表面重建：实现高质量三维重建（ICCV 2019, IEEE TPAMI 2021）。
  • 隐模板：从隐表面中自动建立模板，实现类别物体的统一结构表示（CVPR 2021）。
  • FaceVerse：实现十万数据级别的中国人脸三维表征（CVPR 2022）。

高真实感化身生成

• 关键技术：基于StyleGAN的头部化身生成。
• 创新点：
  • StyleAvatar：基于视频驱动的实时生成高清人脸图像（TPAMI 2022）。
  • 基于神经辐射场：实现高真实感头部3D化身生成（CVPR 2022）。

未来展望

• 战略意义：数字经济新战场、科学研究新范式、数字生命新形态、人类文明新世界。
• 应用前景：情感陪伴、元宇宙智能体、多模态AI数字人。