多模态LLM在云音乐推荐场景的落地应用_潘一飞

研报正文总结

01 背景介绍

• 大语言模型（LLM）进展：作为AI前沿技术，LLM在语言生成与推理能力上取得显著进展，广泛应用于客服、教育、娱乐等领域。多模态大模型（处理文本、图像、音频、视频）凭借强大的内容理解与个性化生成能力引领行业变革。
• 音乐场景应用：音乐场景中的歌词文本、专辑图片、音频天然适合应用大模型，包括UGC歌单、每日推荐、私人FM等场景。当前推荐系统面临马太效应（头部内容倾斜）和新内容冷启动（新歌分发效率低）的挑战。
• 大模型解决方案：基于大模型的多模态音乐表征可全方位理解音乐内容，缓解马太效应，提升长尾歌曲分发效率，改善推荐生态。

02 整体架构设计

• 系统框架：包含基于大模型的多模态表征抽取、特征融合、推荐模型对齐等模块。
• 多模态表征抽取：结合文本、图片、音频等多模态信息，通过LLM生成音乐内容表征。
• 模型架构：探索LLM开放世界知识空间与推荐领域的端到端对齐方式。

03 技术方案

• Prompt构造：通过构造包含歌曲基础属性、乐评、歌词、乐器、音频等信息的文本prompt，结合图片和音频特征进行多模态表征抽取。
• 特征抽取：采用多worker并行处理加速推理速度。
• 离线验证：百川语言大模型与传统NLP模型对比，LLM能捕捉更广泛的关联性（如情绪、民俗理解），而传统模型更偏向字符匹配。视觉大模型能实现更精准的相似推荐。
• 大模型与推荐域空间对齐：探索多模态融合精排对齐建模路线图。

04 LLM助力音乐推荐业务

• 歌曲推荐：
  • 应用：利用多模态特征（封面、基础信息、乐评、歌词、音频）提升歌曲多样性分发和新歌推荐效率，增强精排个性化服务水平。
  • 效果：人均播放时长+3%，首页UCTR+2%，新歌分发效率+3%，新歌内容分发多样性显著提升。
• 歌单推荐：
  • 应用：基于UGC歌单的文本和封面信息实现多模态特征融合，挖掘用户情感与审美偏好。
• 长音频推荐：
  • 应用：针对音乐播客、有声书等长音频内容，融合音频特征进行推荐。
  • 效果：长音频曝光人均时长+4%。

05 未来展望

• 空间对齐方式探索：引入对比学习实现user-user、item-item对齐，结合精排端到端进一步探索。
• 二阶段建模：预训练多模态对齐模型解决训练不充分问题，优化多模态表征融合与筛选。
• 更多多模态大模型应用：探索语言+图片的多模态大模型（如LLaVA）在音乐推荐中的应用。