7-3 多任务学习在风控场景的应用探索

风控场景中的问题及挑战

• 算法瓶颈：目前风控领域主要依赖树模型，而深度学习方法在提升风控效果方面仍有提升空间。

• 样本选择偏差：实际训练样本与线上预测样本存在显著差异，导致模型效果容易受到客户群体波动的影响。

解决方案

• 传统方法：通过拒绝推断（Reject Inference）获取拒绝样本的逾期标签，包括硬截断法、模糊展开法等。

新视角：多任务学习

• 定义：多任务学习是一种基于参数共享的机器学习方法，可以同时解决多个相关的任务。

• 优势：

  • 一次解决多个任务。
  • 提高模型泛化能力。
  • 借助其他任务的知识，提高主任务的效果。
  • 解决冷启动和主任务训练困难等问题。

• 常规方法：

  • 对共享层的改进：MOE/MMOE（共享的专家模块单门和多门控制权重）。
  • 对输出层的改进：ESMM（解决样本选择偏差，将CTR作为隐式中间任务）。

应用案例

• 多任务捞回模型：通过标签继承主模型效果，向外扩散式下探捞回。
• transformer多任务模型：基于文本数据，10个标签共同训练，AUC提高约0.02。

多任务场景分析

• 风险阶段作为主要任务，申请和动支作为辅助任务。

• 网络结构：

  • 共享底部分支：学习任务间的共性。
  • 塔分支：学习任务间的差异。
  • 信息桥：阶段间顺序依赖，信息传递。

• 分层注意力机制：

  • 阶段内注意力：聚合多标签信息。
  • 阶段间注意力：增加有向连接，信息传递。

效果验证

• 半监督损失函数：增加交叉熵正则，最终的损失函数。
• 效果增益：通过多个数据集重复实验，与主流方法相比，AUC增益约2%。
• 消融实验：验证各部分贡献。
• 参数敏感性实验：评估参数变化对效果的影响。

总结

• 解决样本选择偏差的方法：
  • 以样本偏差小的相关任务辅助逾期任务训练。
  • 设计网络结构，实现多阶段多标签任务的共同训练。
  • 设计信息连廊，通过分层注意力机制实现信息聚合和有向传递。