语义模型在小红书社区搜索的应用

小红书搜索问题及语义模型应用

小红书搜索问题

• 多模态数据：涉及文本、图像、视频等多种数据类型。
• 异构数据：包含图文笔记、长/短视频、商品、用户评论等。
• 个性化需求：搜索结果需满足个性化需求。

语义模型在搜索中的应用

• 应用概述：语义模型在搜索中用于提升查询理解、召回和排序效果。
• 查询处理（QP）：
  • 基础分析：分词、命名实体识别、词权重、紧密度分析。
  • Taxonomy：类目和意图预测。
  • 改写：纠错、同义改写、省略改写、查询扩展。
• 召回阶段：
  • 倒排召回：基于查询语法匹配结果。
  • 向量召回：通过语义向量匹配召回相关结果。
  • 召回聚合：整合多种召回策略。
• 排序阶段：
  • 相关性评估：结合语义模型输出进行相关性排序。

语义模型的训练与评估

• 文本BERT模型训练：
  • Stage 1: PreTrain：任务为Masked Language Model（MLM），使用多层Transformer模型，基于文本数据进行无监督训练。
  • Stage 2: PostPreTrain：任务为Next Sentence Prediction（BCE），使用多层Transformer模型，基于用户数据进行监督训练。
  • Stage 3: FineTune：任务为回归（MSE），使用多层Transformer模型，基于标注数据进行监督训练。
• 在线推理：
  • 蒸馏：采用soft-label蒸馏技术。
  • 摘要：生成query-dependent extractive summary，选取head-n重要句子，长度从256压缩至160。
  • 量化：使用fp16量化，保留embedding和layer-norm的fp32精度。
• 训练与推理：
  • 训练：使用Megatron-LM + TensorFlow，支持多机多卡和3D-Parallel（data/tensor/pipeline parallel）。
  • 推理：使用TF serving + FasterTransformer。
• 多模相关性：
  • 模型组合：使用Bert + ViT，图文部分仅用右侧塔单独训练（image+query）。