语义模型在小红书社区搜索的应用

语义模型在小红书搜索的应用 分享人：甘道夫（李生）/gandalf@xiaohongshu.com •小红书搜索的问题是什么 •语义模型在搜索的应用 •训练与评估 •多模：文本、图像、视频 •异构：图文笔记、长/短视频、商品、用户、评论、etc. •个性化 •小红书搜索的问题是什么 •语义模型在搜索的应用 •语义模型的训练与评估 召回 AGG ANN 倒排近线 粗排 LTR 相关性个性化 其他 相关性个性化 其他 LTR 精排 Query处理 召回 排序 艾尔登法环好玩吗 相关性 内容理解 •基础分析模块 •分词、命名实体识别、词权重、紧密度 •Taxonomy: •类目和意图预测 •改写: •纠错、同义改写、省略改写、查询扩展 •倒排召回 •向量召回 •召回聚合 •倒排召回 关键词 笔记列表 艾尔登 笔记1，笔记2，笔记3 法环 笔记1，笔记3，笔记4 … … 查询语法：“艾尔登”and“法环”返回结果：笔记1，笔记3 •查询表达式 艾尔登法环 老头环 老头环 or 艾尔登 法环 同义改写 ( 艾尔登 and 法环 )or 老头环 分词 查询串生成 LSE •向量召回 cos(a,b)=(a,b) 余弦相似度： a�⋅b� ab 神经网络神经网络 Query特征 用户特征 文本、图片、视频、笔记特征 •向量召回 onlineinference 神经网络 a ANN引擎： ⋮ Query特征用户特征 •召回聚合 排序结果 多样性、业务规则（PostRank） 融合分数（LTR） 个性化 相关性 查询词理解 内容质量 时效性 相关性打分 融合模型 文本相关性 图片相关性 视频相关性 匹配类特征 •小红书搜索的问题是什么 •语义模型在搜索的应用 •语义模型的训练与评估 푇′ m E′ m MLM 푐ls푇1⋯푇n 푇sep 푇′ 1 MLM ⋯ BERT E푐ls E1 ⋯En Esep E′ 1 ⋯ 푐ls푇ok1⋯푇oknsep푇okn⋯푇okm s1s2 stage1:preTrain •task:MLM •model:n-layertransformer •data:文本数据 •training:unsupervised 푇′ m E′ m MLM 푐ls푇1⋯푇n 푇sep 푇′ 1 MLM ⋯ BERT E푐ls E1 ⋯En Esep E′ 1 ⋯ 푐ls푇ok1⋯푇oknsep푇okn⋯푇okm BCE s1s2 stage1:preTrain •task:MLM •model:n-layertransformer •data:文本数据 •training:unsupervised s1s2 푇′ m E′ m 푐ls푇1⋯푇n 푇sep1 푇′ ⋯ BERT E푐ls E1 ⋯En Esep1 E′ ⋯ 푐ls푇ok1⋯푇oknsep푇okn⋯푇okm stage2:postPreTrain •task:BCE(nsp) •model:n-layertransformer •data:用户数据 •training:supervised 푇′ m E′ m MLM 푐ls푇1⋯푇n 푇sep MLM ⋯ BERT E푐ls E1 ⋯En Esep ⋯ 푐ls푇ok1⋯푇oknsep푇okn⋯푇okm 1 E′ 1 푇′ BCEregression s1s2 stage1:preTrain •task:MLM •model:n-layertransformer •data:文本数据 •training:unsupervised s1s2 푇′ m E′ m 푐ls푇1⋯푇n 푇sep ⋯ BERT E푐ls E1 ⋯En Esep ⋯ 푐ls푇ok1⋯푇oknsep푇okn⋯푇okm 1 E′ 1 푇′ stage2:postPreTrain •task:BCE(nsp) •model:n-layertransformer •data:用户数据 •training:supervised s1s2 푇′ m E′ m 1 E′ 1 푇′ 푐ls푇1⋯푇n 푇sep ⋯ BERT E푐ls E1 ⋯En Esep ⋯ 푐ls푇ok1⋯푇oknsep푇okn⋯푇okm stage3:fineTune •task:regression(MSE) •model:n-layertransformer •data:标注数据 •training:supervised •蒸馏：soft-label •摘要 •query-dependentextractivesummary •head-nimportantsentences •maxlength256->160 •量化 •fp16 •embedding&layer-norm保留fp32 •训练 •Megatraon-LM+Tensorflow •多机多卡；3D-Parallel(data/tensor/pipelineparallel) •推理 •TFserving+FasterTransformer •Bert+ViT •图文部分仅用右侧塔单独训练 （image+query） THANKYOU 欢迎加入！ 更多请联系：gandalf@xiaohongshu.com