背景
信息过载时代，推荐系统通过为用户推荐感兴趣的内容、帮助广告主精准投放、提升平台生态收益等方式发挥重要作用。传统推荐模型主要利用用户-物品协同信号，但缺乏语义信息和深度意图推理；而大模型时代下的推荐系统则引入外部开放世界知识，具备跨域推荐能力，但计算复杂度高，难以处理海量样本。
LLM for Feature
大语言模型（LLM）作为世界知识的压缩器，可以辅助推荐系统提升性能。通用框架KAR通过知识推理和生成、知识利用、知识适配等技术方案，将LLM生成的知识增强向量作为额外特征输入传统推荐模型，显著提升AUC。实验表明，在华为音乐和华为应用市场场景中，该方法使歌曲播放次数、播放设备数和播放时长均显著提升。
进一步探索
- 用户和物品规模大：利用协同信息对用户/物品聚类，进行LLM推理，线上A/B测试显示播放歌曲次数、设备数和时长均有显著提升。
- 用户兴趣变迁快：采用流式知识提取，感知用户兴趣变迁，学习增量兴趣，离线AUC显著提升。
- embedding表征精细化使用：对原始embedding表征进行离散化，离线AUC显著提升。
面向LLM推荐知识生成的解码加速方法
为解决LLM在推荐知识生成任务中的高资源消耗问题，提出基于检索的投机解码和解码加速发现技术方案，在多个LLM知识生成框架和LLM中取得显著加速效果，并在华为广告场景落地，解码加速3.45x。
LLM for Ranking
针对LLM在长序列理解方面的不足，提出以下方法：
- LLM直接排序的长序列理解方法：利用语义相似度检索用户长序列中最相关的行为，弥补LLM长序列理解问题。实验表明，该方法可以显著提升推荐性能，并展现出极强的样本高效性。
- LLM个性化参数微调方法：通过引入传统RS模型作为透镜，权衡效率和效果，并实现个性化LLM，取得更好的预测效率和模型效果。
- 语义增强的推荐方法：通过跨模态知识对齐和自监督微调，将语义知识注入传统RS中，显著提升AUC，并减少推理时延。
总结与展望
- 大模型对于推荐系统的信息增益：LLM拥有关于Item的世界知识，有助于增强通用知识；LLM具备较强的逻辑推理能力，可以更好地理解用户兴趣和意图。
- 突破传统定位，重塑推荐流程：LLM在推荐系统中扮演的角色逐渐突破传统定位，在用户交互、推荐流程控制等方面发挥重要作用。
- 语义协同兼顾，空间融合：通过微调LLM或引入传统推荐模型，为语言模型注入推荐的域内知识。
- 缓解稀疏场景：通用语义知识有助于提升跨域推荐性能；LLM的zero-shot和few-shot能力可以用于解决冷启动和长尾问题。
挑战与展望：
- ID特征的索引和建模：探索更适合语言模型的ID索引和建模策略。
- 推荐领域的长文本建模：通过检索、重构等方式，提供简短有效的文本输入。
- 训练效率：设计高效训练方案，提升模型训练效率和更新频率。
- 推理时延：通过蒸馏、剪枝降低推理模型规模；结合硬件优化提升推理速度。
