1-4 度小满风控实验平台的架构与实践

风控实验业务背景

• 主要关注点：策略新增/变更、策略上线效果观察、策略迭代过程中的小流量实验、测试场景覆盖、策略效果小范围评估、影响可控。
• 实验方式：涵盖贷前、贷中、贷后系统，通过线上实验、小流量实验、历史实验、构造实验等方式进行。

风控实验平台架构设计实践

• 风控系统架构：分为业务层、平台层、数据层三层结构。
  • 业务层：执行整体流程的服务。
  • 平台层：提供公共能力的独立系统。
  • 数据层：作为数据驱动系统的支撑，依赖于数据。
• 实验平台功能：
  • 实验样本：包含风控线上决策的所有输入变量和输出结果。
  • 镜像实验：线上决策结果产生后立即完成样本采集，用于实时对比分析。
  • 历史实验：归档线上决策样本，用于历史数据分析。
  • 构造实验：支持构造样本数据进行实验，验证规则有效性。
• 实验结果分析：
  • 小流量实验：通过VINTAGE分析，生成报表持续观测策略表现。
  • 线下实验：通过SWAPIN&SWAPOUT分析，生成报表展示新策略相对于基准策略的变化情况。

风控实验平台架构演进挑战

• 挑战一：小流量实验通过实验结果指标分析，如何判断实验达到了预期效果。解决方案引入TTEST方法进行定性与定量分析。
• 挑战二：策略迭代涉及变量迭代，历史样本不包含这类数据，导致结果不准确。解决方案通过变量回溯，引入历史样本进行补全。
• 挑战三：小流量实验对风控在线决策性能的影响。解决方案通过实验平台后端服务进行分流，确保同一人持续采用相同策略，减少实验分流开销。
• 挑战四：线下实验样本数较大，实验耗时较长。解决方案通过离线环境弹性资源进行实验，利用闲时运行，加快实验结果获取速度。

如何设计一个风控实验

1. 实验诉求：已有信用类数据新增变量A加工，目标替换变量B，预期逾期率降低0.2%。
2. 步骤：
   • 新增变量A准备完成样本准备。
   • 线下实验配置：选取已回溯的样本数据。
   • 小流量实验配置：设置观测指标，首月逾期率置信度0.95。
   • 累积样本，产出实验结果。
   • 小流量实验结果分析：样本数量确认具有显著差异，确认实验是否成功。
   • 转全流量：编辑规则，增加新规则变量A<500拒绝，减少旧规则变量B<500拒绝。