3-5 可视化数字人技术在 Soul 的应用 - 甘启

虚拟人技术与Soul的结合

背景介绍

• Soul的社交元宇宙：Soul提出了一个社交元宇宙的概念，要求虚拟人物在视觉上要“好看”，内容要“有趣”，并且具有较强的互动性。此外，还对计算能力和资源管理提出了轻量级的要求。
• N⋀W⋀架构：Soul采用了N⋀W⋀架构来支持其虚拟人技术。

关键技术

• 引擎架构：包括识别和驱动能力、渲染能力以及设计资源。
• 识别&驱动能力
  • 头部：脸部检测、位置追踪、人脸重建、精细化表情识别等。
  • 半身：手部识别、手部关键点检测、IK系统等。
  • 全身：2D姿态估计、3D姿态估计、FABRIK算法等。
• 渲染效果：包括镭射半透明皮革、阴影轮廓光、动态骨骼等。

场景应用

• 捏脸&换装：用户可以通过捏脸功能自定义虚拟人物的形象，并进行换装。
• 沉浸场景：支持开放式元宇宙场景，允许用户切换不同的虚拟世界进行互动。

总结与展望

• 技术路线：从头部到半身再到全身，逐步提升技术难度。
• 开发方式：采用图像、图形和设计协同的方式进行开发。
• 未来展望：希望实现图像、语音和文字的综合驱动；促进虚拟形象和资产的格式互通；探索虚实结合的应用场景，如基于手机或AR/VR硬件的交互体验。