南方新媒体-面向直播和录播场景的AIGC技术与应用研究

广东南方新媒体股份有限公司针对直播和录播场景的AIGC（人工智能生成内容）技术与应用研究，旨在拓展AIGC技术的适用范围和场景，解决复杂场景下AI算法面临的挑战，以降低节目录制和现场直播的人力物力成本。该研究包含以下几个主要方向：

应用研究实践

沉浸式可交互全空间自由视点直播技术集成应用

• 研究内容：集成应用沉浸式可交互全空间自由视点直播技术，包括虚拟视点生成系统、单视点视频编码器的改进，以及U-Net卷积核参数和掩码矩阵在中间视点图像重建上的应用。
• 完成情况：基本功能已实现，两路物理视点能够生成五路虚拟视点，支持并行计算，转换过程自动化，生成的虚拟视点无伪影和空洞。

其他AIGC相关尝试

• 视频内容自动剪辑：利用AIGC技术自动分析和筛选视频内容，选取精彩片段制作成短片，提高剪辑效率和观众体验。
• 基于声纹识别的个性化推荐：通过声纹识别技术分析用户语言，提供个性化节目推荐和用户反馈分析。

下阶段推进思路

技术与应用研究实践

• 集成播控平台升级：利用新媒股份的全媒体融合云平台，构建AIGC统一网关，集成第三方AIGC能力，实现从信号源接入到内容审核、播出控制的全流程服务。
• 应用试验：与华中科技大学、科大讯飞等合作，在IPTV及OTT业务场景下进行全景交互式视频、AI修复、虚实结合虚拟人直播等AIGC应用试验。
• 技术规范与监管：研究人工智能生成内容的鉴别方法、监管机制，提出规范化应用和管理建议。
• 中长期项目参与：深入参与国家广电总局的中长期项目计划，深化AIGC技术的研究和应用。

联合创新实验室建设

• 与科大讯飞共建联合创新实验室，共同探索AIGC技术在数字虚拟人、基于讯飞星火大模型的AIGC技术应用等领域的创新。

此研究和推进计划旨在充分利用公司技术和业务优势，结合高校和企业的科研力量，推动AIGC技术在直播和录播场景中的深入应用，提升视听内容的生成、传输和用户体验。