电商大模型及搜索应用实践
电商大模型及搜索应用实践 演讲人：翟周伟 京东/技术总监 01电商行业的发展和技术演进 02 大模型在电商场景下的问题 CONT目E录NTS 03 电商大模型关键技术 04 电商搜索大模型应用实践 05 下一代AI电商搜索 电商行业的发展和技术演进 •电商行业发展 •电商场景问题分析 •关键问题和技术挑战 •技术演进洞察 电商行业发展 过去10年实物商品网上零售额高速增长，电商模式也从货架电商为主发展为和内容电商并存的局面 货架电商(阿里,京东,拼多多等)内容电商（抖音,快手,小红书等） 本质上都是通过技术驱动大幅降低了商品流通成本，显著提升了零售效率，而电商模 式的发展变化背后也是技术演进的结果 电商场景分析 从电商用户的消费决策链�发，用户从需求的产生到最终决策下单可拆解为购前，购中，购后，这三个阶段： 购前购中购后 购物需求搜索 搜索 用户 非购物需求 内容平台搜索推荐 购物 求 即兴 需 需求激发 电商平台 物流售后 内容平台：以抖音，快手，小红书等渗透为主的内容分发平台，也是当前的新 兴内容电商平台，处于消费链路上游发展 电商平台：以阿里，京东，拼多多为主的商品分发平台，也是当前的货架电商平台，处于消费链路中下游 在消费决策链路中用户购买需求产生后搜索是决策的关键环节，而电商搜索的核心就是基于用户需求的商品分发，电商搜索技术就是主要解决商品分发效率的问题，优化的目标就是GMV和UCVR，和一般的信息搜索（如百度）有很大的区别。 关键问题和技术挑战 产品形态：京东主站三大搜索产品形态 京东app京东小程序京东PC 宏观目标：更低的成本，更高的效率，更好的体验关键问题：GMV：UV*UCVR*客单价 关键问题和技术挑战 优化目标：GMV=UV*UCVR*客单价，多目标优化难题，还要坚持宏观目标：更低的成本，更高的效率，更好的体验，从技术角度拆解存在以下技术挑战： 交互引流 意图理解 商品召回 相关性 1.提升交互效率同时考虑激发用户需求 2.时效性问题 3.丰富性问题 1.复杂用户需求理解 2.数千数万商品属性和类目精准识别 3.用户画像等复杂上下文 1.多维度召回和融合 2.商品和库存等动态变化 3.个性化和多样性问题 1.文本+图像多模态匹配 2.动态价格,促销,物流等 3.权衡UCVR和长期GMV 4.宏观流量调控和反作弊 电商搜索技术演进洞察 技术演进本质上还是通过技术创新去实现更低的成本，更高的效率，更好的体验 机器学习阶段 文本检索阶段 1.规则引擎的应用 2.基础文本检索技术 3.关键词的人货匹配 1.统计NLP为核心的用户 意图理解和商品理解2.基于ML的CTR/CVR建模 3.LTR排序模型 4.用户反馈数据学习 深度学习阶段 1.基于DNN的意图/商品精 准理解提升分发准确率2.以文本+语音+图像的新搜索交互, 3.ANN语义召回,多模态召回和DNN匹配技术 3.个性化搜索，千人千面 大模型阶段 AGI导购助手 1.完全AGI技术驱动 2.完全多模态交互 2.AIAgent式购物服务 3.人格化数字虚拟助理 1.交互上单向引导到对话 式交互导购 2.基于大模型的用户理解和商品理解解决长尾 3.大模型生成式检索技术 大模型电商场景下的问题 •大模型的技术优势 •电商场景下的应用问题 •电商大模型解决方案 大模型的技术优势 1 强大的语 言理解和 生成能力 2 广泛的知 识总结和 归纳能力 3 显著迁移 学习和多任务能力 4 逻辑推理 和分析能力 5 多语言多 模态建模 算法 多模态，MOE 算力 GPU,NPU 数据 WebData,专有知识数据 电商场景下的应用问题 •通用大模型商品知识专业性不足：商品类目,品牌,属性等 •通用知识和商品的对齐问题 •图像商品理解差 电商知识理解 •直接应用没绝对效果优势 •理解购物历史，偏好，评论，商品细节等个性化挑战 效果和个性化 •大模型本身更新很慢，知识陈旧 •新商品，促销，价格等更新时效性很高 时效性 •训练和推理成本大，ROI低，很难大规模商用 •在线推理速度很难满足实时性 成本和速度 •用户敏感数据泄露风险 •生成商品相关内容的安全合规 安全性 电商大模型 RAG 应用：Prompt+SFT/DPO/PPO等+Distillation 电商知识图谱 Web 搜索 用户画像 电商大模型解决方案 京东App 京东PC 京东小程序 AlignmentLearningModelExpansion+多阶段ContinuePretraining 文本大模型底座(Dense+MOE) 多模态大模型底座 NPU平台 GPU平台 电商大模型关键技术 •数据和预训练 •通用对齐和领域对齐 •安全性 •评估体系 数据和预训练-DataPipline •核心：站外和站内商品相关数据去噪音，提升专有数据的电商知识密度 数据 通用 征过滤 用户行 数据 站内 类类目过滤 基于聚类和分 重分析 数据去 评分器 困惑度 擎过滤 文法引 数据 站外 拒绝采样 配比均衡策略 安全性过滤 质量评分器 数据和预训练-ContinuePretraining 人类学习模式 祖先/前辈 知识积累 教育系统 个体学习 新知 识 知识继承 历史经验和智慧 书本,文化,科技 教师,家庭,社会 获取知识 研究和创新等 下一代继承 基于知识继承的增量学习框架 •基于对知识学习的认知，成本和效率的考量 平台和框架 •基于NPU集群 •高效训练框架 基座大模型 •100B •MOE 参数扩展 •DepthUp-Scaling •MOE 长上下文扩展 •增加长上下文数据配比 •分块缓存工程架构优化 持续预训练 •CosineLearningRateScheduler •退火学习 •数据配比 通用对齐和领域对齐学习 目标：通用指令遵循优化，同时在电商领域增强对齐 •通用指令:一级数十， DPO•RewardModel: 二级数百类，数十万级 •电商指令:数十级，规模数万级 SFT •通用指令：数万级 •电商指令：数十万级 •电商反馈数据数百万千万级 PPO 安全性 从潜在安全事件发生前后可以划分为被动安全和主动安全 •被动安全：安全检测服务，从检测方向，对用户输入的prompt和大模型生成的内容进行安全检测 •主动安全：大模型生成安全性，从生成方向，对于任何输入保证大模型生成的回复内容是安全可控的，包括 user 1 annotator 数据标注 平台 prompt安全检 检测测服务 电商大模型 2 SFT+RLHF 生成内容 检测 安全攻击挖掘 安全日志记录 幻觉，毒性，偏见等，主要通过SFT和RLHF技术实现 一级 涉政 恐暴 色情 赌博 违禁品 欺诈 违法 有害意识形态 供应链漏洞 安全性-被动安全 目标：对用户输入的prompt和大模型生成的内容进行安全检测，输�安全分类标签，执行Action策略，除公司统一的安全审核服务外，同时构建了增强的被动安全审核。 大模型安全检测 分类模型 拦截Action策略 融合策略 文法规则引擎 安全干预平台 •安全干预平台:目标是快速干预实现紧急安全问题 •文法规则引擎:以句法分析模板+词典进行识别，侧重关键词特征明显的文本识别 •分类模型：以NN为核心的小模型，例如基于bert的分类，保证一定泛化，同时满足实时要求 •大模型安全检测：通过SFT等技术通过大模型来检测，为了满足低时延往往低于13B参数实现 两种思路 •融合路线：通用对齐+电商对齐+安全对齐在SFT和DPO阶段数据融合，PPO阶段模型融合 •两阶段对齐：最后单独进行二阶段的安全对齐 安全性-主动安全 •一级9类，二级100+类安全指令类型 DPO•:安全RW：基于被动安 全检测审核数据训练一 •数据规模：数十万+ SFT •多个大模型辅助生成+ 人工编辑校验 •数据规模：数万级 个安全性打分模型 •融合：和通用RW非线性融合 PPO 评估体系 通用Benchmark •使用主流Benchmark： •MMLU,CMMLU,C-Eval,GSM8K，GAOKAO，SuperCLUE等 电商Benchmark •和电商应用任务对齐构建了电商Benchmark •自动评估+人工评估 安全性Score •CValues，Safety-Prompts，自建安全评估集 •Score=安全回复数量/总回复数量或总prompt数量 •FRR：错误拒答率 电商搜索场景下大模型应用实践 •搜索交互 •电商用户意图理解 •文案创意生成 •电商搜索相关性 搜索交互 通过query引导，更好的获取满意结果，同时降低交互成本，提升搜索交互效率，通过引导有效提升转化，如下示意图： 交互引导 用户query 商品 检索 结果展现 skuList SKU 候选 方向 功能 Sug 基于前缀的补全提示 纠错 在用户提交了错误的查询词后进行纠正 搜索发现 基于搜索query和用户画像推荐相关query 我猜你搜等 基于个性化的query推荐，激发购物需求 难点和挑战 •传统方法核心是基于召回+排序思路，SMT,NMT，优化链路长，噪音大 •歧义，多义，个性化等理解挑战 •准确性，泛化效果很难进一步提升 搜索交互-以纠错/Sug等为例 大模型应用核心点 •基于电商知识增强的电商大模型进一步结合业务任务对齐 •搜索交互日志利用+对齐优化目标需考虑对搜索效果的增益 循环迭代 小流量应用 RLHF阶段 •小流量验证，观察UCTR等 •收集反馈数据 •基于小流量用户SKU点击构建偏序数据 •RW基于商品检索系统收益指导 •MultiInstructionLearning 电商大模 型 SFT对齐阶段 •Rejectionsampling •MultiTask 电商意图理解 电商意图理解目标：解决用户需求表达和商品的语义对齐问题，提升商品召回的相关性和多样性，最终提升用户转化UCVR 方向： •query理解：分词，实体识别，类目预测，品牌识别，改写，需求识别等 •商品理解：商品SKU理解，商品图像理解，sku-to-query等 用户 需求 query理解 商品检索 商品理解 商品 空间 问题和挑战： •query理解:传统基于规则+基于bert的二分类或多分类,序列标注等算法,优化成本高,长尾难解决 •商品理解：商品理解泛化差，商品图像基于OCR准确率不高 电商意图理解 核心技术： •Instructionlearning •搜索用户反馈用于DPO/PPO •RAG：知识图谱-RAG，用户画像-RAG 搜索反 馈 prompt应用 RAG RLHF：基于搜索反馈+CTR/CVR的RW InstructionSFT 电商大模型 电商知识图谱 用户画 像 实体识别类目预测......意图预测商品理解. 卖点生 成等 •SKU商详->卖点 •SKU商详+卖点->卖点文案 多模态大模型 文案创意生成 商品标 题生成 •SKU描述->标题 •SKU描述+SKU图像->标题 商品文 案生成 •SKU描述+场景->营销文案 •SKU描述+SKU图像->图文文案 图文对比 学习 图像编码器 文本编码器 图像输入 文本输入 图文匹配 学习 融合编码器 图像输入 文本输入 目标：利用大模型的生成能力，降低商品素材的成本，提升营销转化效率典型场景 关键技术 •图文语义对齐学习 •商品图文数据构建 电商搜索相关性 •核心问题：用户需求和商品的匹配问题，最终会被转化为sim(query,sku)的相关性,同时优化考虑CRT和CVR为目标 •主流模型：主流的基于NN的语义相关性模型分为两大类：孪生网络和交互式匹配 孪生网络也称双塔模型，特点：
