1-2 个性化强化学习技术在京东新品流量分发系统中的实践与应用

个性化强化学习技术在京东新品系统中的实践与思考

一、电商搜索概述

• 业务场景：京东搜索涉及多种业务场景，如主搜、店铺内搜索、列表页、券搜、图搜等。
• 技术栈：涵盖NLP、CV、检索、推荐、强化学习等多种技术。
• 站点类型：主站、国际站、下沉市场、工业品、京东健康等。

二、电商新品问题

• 特点：新品具有较短的上架周期和较高的商业价值。
• 应对策略：通过分层流量扶持、新品探测等手段促进新品成长。
• 成长条件：需要足够的曝光机会、合理的运营投入和准确的系统认知。

三、强化学习问题建模

• 搜索结果展示：通过强化学习优化商品排序，提升点击率、转化率和GMV。
• 问题抽象：
  • 商品集合达到特定的GMV目标。
  • 平台关注整个页面的GMV，而非单品的销量。
  • 商品展示位置的调整需满足效率约束。
• 奖励函数：
  • 当累积完成值 ( C ) 小于目标值 ( C_0 ) 时，奖励最大化 ( C )。
  • 当 ( C ) 超过目标值时，奖励为惩罚项。
  • 参数 ( b ) 设计为略大于1，确保目标完成率接近100%。

四、新品流量分发系统

• 流量确定性层：保证晋升流量增量。
• 效率竞争层：追求流量分发效率。
• 离线流量分配：兼顾品效和目标完成率。
• 在线流量调控：精准完成目标的同时最大化保证调控效率。
• 熔断止损：基于实时反馈，禁止品效过低的商品参与流量调控。

关键技术

• DQN模型：用于确定性流量调控，提升商品集合的点击率和GMV。
• CEM模型：用于非确定性流量探测，提升单品的转化率。
• PID模型：用于确定性流量调控，提升商品集合的PV和点击率。
• 多目标强化学习：实现曝光、点击转化、订单转化等多业务目标。

效果与应用

• 用户行为：通过个性化强化学习提升新品CTR和曝光CVR。
• 搜索效率：UCVR和UV价值提升。
• 业务收益：新品曝光占比和GMV占比显著提升，搜索大盘新品GMV增加。

感谢您的时间。