音质AIGC的应用与实践(公开版)

音质AIGC的应用与实践 •分享人：何礼 •部门：腾讯音乐天琴实验室 •时间：2023年11月 01.音乐分离 •BSRNN基本原理 •音乐分离技术体系 •音乐分离业务应用 02.音乐超分 03.臻品母带 •什么是母带 •母带模型 •母带应用 2 QQ音乐 AppleMusic 音质 Master 192kHz/24bit臻品母带2.0 192kHz/24bit高解析度无损 SQ 最高48kHz/24bit 最高48kHz/24bit HQ 320kbpsogg 256kbpsaac 音效 立体声 臻品音质2.0 立体声空间音频 全景声 臻品全景声&杜比全景声 杜比全景声 QQ音乐音质音效体系QQ音乐vsAppleMusic 音乐流媒体平台的3个核心问题 QQ音乐这些年的音质优化之路 音质AIGC 1.有歌听。（版权、曲库） 2.能找到歌。（搜索、推荐） 3.听得舒心。（音质） 格式 品鉴 检测 标准 算法 播放 音乐分离音乐超分臻品母带 01音乐分离 5 Conv-TasNet 时域 Spleeter 频域 ResUNetDecouple+ 频域 HybridDemucs 时域+频域 BSRNN 频域 2023 2018202020212022 核心思想 •对频域切分不同子带 •时域帧间序列建模 •频域子带间序列建模 臻品全景声 •基于音乐6轨分离制作全景声 •SVIP核心权益 立体声制作全景声流程 TME聚星&TMEStudio&启明星 •面向用户提供音乐分离服务，包含声伴分离、6轨分离 全民K歌临境音效 •乐器5轨分离，diy音效 •VIP核心权益 全民K歌五维打分 •干声分离，打分模板制作 全民K歌伴奏库 •伴奏分离，补充K歌伴奏库 临境音效五维打分 懒人听书长音频消伴 •干声分离，消除长音频背景噪声、音乐 AIGC-X •干声分离，判断歌曲人声是否AI生成 启明星音色试唱 •声伴分离，干声SVC，MIX生成demo 懒人听书长音频消伴 低频公益 •6轨分离，针对听损人士的歌曲增强与补偿 ToB—光子工作室 •干声分离，商务合作 低频公益系统方案 歌声合成 •无混响无和声干声分离，用于歌声合成 原曲 保留混响和声干声分离无混响无和声干声分离 保留混响和声听感好 无混响和声，听感好 竞品(UVR5) 保留混响去除和声， 吞音严重，听感差 BSRNN基本原理 •频域切分子带，时域、频域序列建模 音乐分离技术体系 •声伴分离、6轨分离、无混响和声干声分离 音乐分离业务应用 •子模块：臻品全景声、全民K歌临境音效、全民K歌五维打分、AIGC-X、启明星音色试唱、低频公益、歌声合成 •ToC：TME聚星、TMEStudio、启明星、懒人听书长音频消伴、全民K歌伴奏库 •ToB：光子工作室 02音乐超分 16 基本原理 业务应用 原理&应用 •升级到96kHz/24bitHi-Res音质•臻品音质2.0 •实时处理 “Phase-awaremusicsuper-resolutionusinggenerativeadversarialnetworks” 03臻品母带 18 歌曲制作流程 作曲 编曲 录制 混音 母带 歌曲不同品质 •Master：192kHz/24bit •SQ：最高48kHz/24bit，与母带差异在于高频 •有损编码：320kmp3等，与母带差异在于高低频 不同品质频响曲线 臻品母带1.0 •从0到1 •分别进行低频修复&高频还原 臻品母带2.0 •统一优化目标：同时进行低频修复&高频还原 •减小推理耗时 臻品母带1.0生成流程 臻品母带2.0生成流程 频谱分析 •高频更加饱满自然 频谱对比 频响分析 •频响曲线更加平滑 频响对比 上线效果 •相比1.0，2.0上线后，PV、UV、人均时长均显著增长 •超会驱动、提升口碑 什么是母带？ •歌曲制作完后的最初版本，192kHz/24bit 母带模型 •相比1.0，2.0采用统一模型进行低频修复&高频还原 •2.0主客观指标、推理耗时优于1.0 业务应用 •相比1.0，2.0上线后PV、UV、人均时长显著增长 •超会驱动、提升口碑