9-2 预训练技术助力风控对抗能力升级

研报总结

背景介绍

• 京东零售风控：维护平台交易生态，识别刷单、恶意刷券、使用外挂软件获取权益、违规骚扰等行为。
• 挑战：模型效果易失效、新场景标签稀缺、建模效率低、效果差。

NLP预训练

• 数据采集：超过10亿条内外部文本数据，引入电商高频字、生僻字等。
• 模型微调：采用多任务学习、持续学习、顺序多任务等方法。
• 训练加速：使用ZeRO和A100显卡，减少训练时间。
• 推理加速：应用知识蒸馏，模型参数压缩90%，推理速度提升3倍。
• 效果：模型在CLUE基准数据集和内部数据集上的表现大幅提升。

用户行为预训练

• 背景：行为模型深度决定风控能力上限，但存在效率低、效果差等问题。
• 模型：融合多模态特征，引入对比学习、NSP、MLM等多种训练方法。
• 框架：统一强大的行为风险模型输出，支持定制化自动微调。
• 效果：建模周期降低8.2倍，召回提升108%，标注样本需求减少11倍。

预训练平台化

• RiskNLP：Python工具包，支持EA可视化空间训练、PB格式模型部署。
• RiskCDA：数据生成工具包，支持多种扩充策略和深度学习方法。
• RiskBehavior：用户行为预训练模型工具包，支持多类型分类头和模型转换。

展望

• 更深层次特征：挖掘多模态数据知识。
• 更强模型：探索更大参数和更强结构模型。
• 更强大易用性：更加快速便捷地应用于业务。
• 开源：框架和脱敏模型的开源计划。