OPPO Roy-大规模在线学习在OPPO商业算法那的设计与实践

OPPO商业算法设计与实践总结

1. 广告业务与模型

• 广告类型：依赖CTR/CVR模型进行预估，主要包括oCPX类广告（以OCPC为主）、CPC广告以及外部DSP投放CPM/CPC广告。
• 主要消耗产品：Ranker作为核心服务，接入流量并调用CTR/CVR模型。

2. 商业化广告系统架构

• 架构特点：由多个MR任务组成，任务维护难度大；样本产出时间受资源和流量大小影响；对实时特征响应较慢，难以充分利用attention类模型结构；离线和在线完成两次特征抽取，导致线上特征不一致。

3. 模型架构问题

• 设计目标：模型训练和serving两个阶段严格使用同一份特征，避免重复计算。
• 关键问题：负例事件到达时是否为正例需要等待窗口才能确定。

4. 流式样本设计方案

• 设计目标：事件发生的时间点即为样本产出的时间点。
• 关键问题：负例样本需要等待窗口才能确定，采用流式设计目标解决。

5. Delay Feedback问题及其解决方案

• 关键问题：实际样本假设以α概率进行负采样，真实正例数量为P，负例数量为N，实际得到的样本正例P'=P，N'=α(P+N)。
• 解决方案：
  • Importance Sampling：假设p(x) = f(x)，用模型代替真实观测结果。
  • Fake Negative Calibration：模型建模实际样本正负例，推导出真实正负例。

6. 建筑方案

• 目标：自研GPU同步训练，支持T级别的模型及推理；秒级流式更新，模型更新延时少于30S，p99增加量小于15ms。
• 架构框图：未提供具体图片，但强调了实时性和高效性。

7. 工程问题与解决方法

• 问题：开发和设计目标不一致，性能指标不达标，工期严重超时。
• 解决方法：设计原理分享，理解后再开发；架构修改，换组件，读写分离等；后续制定方案时留更多冗余犯错空间。

8. 样本排查

• 事件和特征的join率排查
• 正负例样本数量与对齐率AUC差距排查
• Reload收益：天级/流式各自收益
• Shuffle收益：天级/流式样本各自shuffle后训练差距
• 不同纠偏方式带来的AUC收益

9. 训练超参数

• 学习率调小
• 去掉momenta

10. AUC评估

• 天级全天评估改batch内/间隔时间内评估
• 天级/流式样本有diff，选定相同测试样本评估
• 离线评估实时性收益

11. 重点方向

• 流式模型常驻，模型稳定更新
• Inference时，emb更新策略
• 预估监控与报警
• 模型回滚策略
• 错误样本过滤，模型重训
• 方案设计与代码实现差距很大，见招拆招
• 流式样本对齐天级样本
• 流式模型AUC对齐与评估
• 在线实验与模型上线

12. Q&A

以上是对该研报主要内容和关键数据的总结。