李正兴-腾讯游戏知几语音合成大模型推理实践

推理加速方案

背景介绍

• 产品展示：
  • 和平第五人的『AI语音助手』
  • 王者荣耀小妲己“游戏知识问答”
  • 天涯明月刀『绝智阿暖』智能NPC
• 技术特点：TTS更自然、韵律丰富、实时性强，采用自研知音语音大模型，10秒音频完成声音复刻，加速优化实时率达0.085。

模型结构选型与分析

• 语音合成大模型结构：
  • 传统方案
  • 基于语言模型的新方案
• 面临的挑战：
  • 高并发场景
  • 实时率问题

模型推理加速方案

• 推理加速方案借鉴：
  • 借鉴NLP领域LLM推理加速方法，如kvcache、flash decode、prefix kvcache、flash attention、投机采样、Int4/int8量化、page attention等
• 具体方案：
  • kvcache：
    • LLM中kvcache原理：通过缓存已计算的key和value，避免重复计算，适用于attention mask满足特定条件的场景
    • 效果：显著减少计算量，提升效率
  • GQA（Generalized Query Attention）：
    • 适用于prefill阶段（计算受限）和decode阶段（访存受限）
    • 相比int8/fp8量化，GQA压缩率更可控，可在保证效果的前提下减少headnum
  • BPE（Byte Pair Encoding）：
    • 借鉴NLP中的BPE分词算法，将audiotoken映射到唯一unicode，一次decode出一个BPE code对应多个audiotoken
    • 效果：将10秒音频的token数从500个减少到约170个
  • 批处理：
    • 方案一：训练使用，text和audio特征处理简单，但推理时padding attention mask复杂
    • 方案二：推理使用，无缝使用LLM推理框架，但text和audio特征处理复杂
  • 连续性批处理：
    • 结合腾讯Trpc微服务框架实践，优化批处理效率

推理加速方案-效果

• 实时率优化：无压力实时率从2.09优化到0.11，吞吐达1秒2500token

未来规划

• 将投机采样应用到语音合成大模型
• 将NAR模型改造成流式输出结构
• 尝试更多非transformer的网络架构