腾讯ARC 算法实践的沃土——深度学习在内容素材上复原、二次创作的研究应用_PCG ARC Lab wangxintao

腾讯PCG：内容生态与深度学习应用

内容生态

腾讯PCG（平台与内容事业群）是中国最丰富的内容布局平台，具备强大的IP创造能力。其内容生态覆盖多个领域，包括：

• 长视频：如电视剧、电影
• 短视频：如抖音短视频
• 影业：电影制作与发行
• 资讯：新闻资讯
• 体育：体育赛事直播
• 动漫：动画制作与发布

深度学习应用

腾讯PCG在内容素材的复原、二次创作等方面广泛应用深度学习技术，主要体现在以下几个方面：

1. 多模态理解与推理

   • BridgeFormer：一种基于多项选择题的预训练任务，实现了高效的视频-文本检索，能够进行细粒度的视频-文本信息交互。
   • VideoFormer：通过“名词”和“动词”的选择任务，实现了视频和文本之间的精准匹配。

2. 跨模态检索

   • 跨模态视频检索：如“真值”和“查询”示例，展示了如何从视频中提取关键信息并进行有效检索。
   • 视频打标签：实现开放集条件下的视频内容标签。

3. 模型兼容性

   • 基于兼容模型的检索系统热刷新升级：提高了模型迭代效率，提升了检索系统的准确性和实时性。

4. 图像复原与增强

   • GFPGAN：用于人脸复原，显著提升低清人脸的图像质量。
   • VQFR：基于向量量化和双解码器的人脸复原方法，进一步提高图像的细节和逼真度。
   • Real-ESRGAN：适用于实际场景的图像超分辨率复原，提高图像质量和细节。

5. 三维视觉及图形学

   • ArcNeRF：一种基于隐式表达和神经渲染的实时场景几何重建技术，适用于360全景单目深度估计。

这些技术的应用不仅提升了内容的质量和用户体验，还推动了内容生产的智能化和个性化发展。