因果推断方法在微视激励和供需场景的应用与前沿方法探索 (2)

研报总结

背景介绍与Debias综述

• 因果推断与机器学习：介绍了因果推断的基本概念及其在机器学习中的局限性。强调了相关性与因果性的区别，以及独立同分布假设（I.I.D）在OOD情况下的不足。
• 推荐系统中的Bias：分析了选择偏差、曝光偏差、一致性偏差、位置偏差和流行偏差等常见偏差类型及其产生原因。
• Debias方法分类：主要包括启发式方法、IPS类方法、无偏数据增强方法及理论工具类方法。

自采样纠偏样本层面纠偏框架（SSTE）

• 问题与解决方案：现有方法依赖特定数据、结构或训练方法，过度纠偏可能导致效果下降。SSTE通过自采样、自训练和自评估模块平衡模型的无偏性和预测精度。
• 形式化定义：原始训练集和验证集的定义，以及tIPS方法的使用。
• 离线设置：使用Yahoo! R3公开数据集和业务真实数据集，评估指标包括AUC、nDCG、Precision、Recall。
• 线上验证：为期一个月的A/B实验显示，SSTE在核心指标上取得了显著提升。

代理表征解耦纠偏框架

• 主要问题：推荐系统中的混杂因素复杂，模型自动推断困难。
• 解决方案：通过偏置代理P将特征表征解耦为有偏和无偏两部分。
• 优化思路：
  • 正则约束：通过正则约束引导特征表征与偏置代理表征向不同方向发展。
  • 表征投影：特征投影思路，消除混淆代理C间接影响。
  • 互信息求解：约束偏置代理表征C和特征表征Z的互信息趋近于0。
• 离线设置：使用Yahoo! R3公开数据集和业务真实数据集，评估指标包括AUC、NLL。
• 线上验证：为期三周的A/B实验显示，代理表征纠偏框架在核心指标上取得了显著提升，并进行了T-SNE可视化分析。

总结与思考

• 总结：SSTE和代理表征纠偏框架分别从样本层面和特征层面解决了Debias问题，提供了模型无关的解决方案。
• 未来研究方向：
  • 建模：在样本、特征、表征、模型结构、损失函数等层面上寻求更多解决方案。
  • 评估：设计针对偏置的评估度量，结合偏置度量全面评估方法的性能。
  • 应用：深入考虑实际工业应用的特点，结合多任务等复杂场景。