李杰 - eBay 风控实时指明台建设和应用例

eBay风险实时功能商店 JieLi高级经理eBay支付与风险 块 什么都不做补救措施 风险检查 Risk规则 AI模型(树+DNN) 同步/异步 AI模型培训 AI模型Simulation 风险规则Simulation AI模型实时 推理 AI模型批处理 推理 风险规则实时 推理 eBay风险实时 Feature 商店 在线 脱机 AI模型的要求 来自风险规则的要求 议程 技术亮点 新特征的时间点值生成(脱机) AI模型的要求 低延迟功能更新和批量提取(在线) 联机脱机奇偶校验 新特征的时间点值生成(脱机) T1 2024-01-01 11:01:01 T2 2024-02-02 功能3 功能2 功能1 12:02:02 T1T2T3…T10,000,000 eBay风险实时 Feature T3 2024-03-03 13:03:03 今天 PiT Feature1 Feature2 Feature3 T1 值11 值21 Value31 T2 值12 值22 Value32 T3 值13 价值23 Value33 … … … … 特征1、2、3 AI模型培训 商店脱机Simulation AI模型Simulation AI模型实时 推理 低延迟和数据准确性 在线KV存储 低延迟功能更新和批量提取(在线) Events eBay风险实时 Feature 商店 在线 低延迟的功能批量提取 联机脱机奇偶校验 AI模型实时 推理 AI模型批处理 推理 在线特征值 在线 脱机 eBay风险实时 Feature 商店 Events 奇偶校验 训练集 AI模型培训 AI模型Simulation 要求来自 风险规则 自助服务 脱机到联机自动回填 在线 脱机 训练集 Events eBay风险实时 Feature商店 在线特征值 自助服务 New功能 在线 脱机 Events GMV_by_sellerId在__last_90day 在线特征值 自动回填 训练集 eBay风险实时 Feature商店 脱机到联机自动回填 技术亮点 Overview 数据存储模型和DSL 基于Flink的在线流处理管道基于Spark的离线仿真管道脱机到联机自动回填 联机脱机匹配率报告 将联机快照保持为脱机 在线管道 KV 存储 在线 脱机 Long 积累 Time SnapShot 培训 Set 两种可能的解决方案 将脱机复制到联机 WhatData 来源? 在线 脱机 SQL? Python? Java? Config? KV 存储 Data仓库 SQL 培训 Set Feature值 轮班? 模型培训 Overview RawEvents eBay风险实时功能商店 丰富在线查询在线 Event富集 相同的数据源 Events Stream处理 在线脱机 Event快照 KV 存储服务 FeatureDSL 脱机Simulation 管道 决定 Same计算逻辑 培训 Set 存储数据模型和DSL RawEvents eBay风险实时功能商店 丰富在线查询在线 Event富集 Events Stream处理 在线脱机 Event快照 KV 存储服务 FeatureDSL 脱机Simulation 管道 决定 培训 Set 存储数据模型和DSL-滑动窗口 存储数据模型 丰富的事件 订单 [ 卖方buyerIditemId金额buyerIP evtCrtTime :1001, :2001, :123, :23.00, :12.23.34.45, :16850500 ] ] ] , @evt.卖方@evt.金额 ) @evt.evtCrtTime, @swDelta( [ 订单 过程 defvarGMV_by_seller_s[w 写入DSL 返回sw.aggregate(枚举。SUM,timeWindow); ] defvartotal_GMV_by_seller(keysellerId,StringtimeWindow)作为double[ localsw=@swLoad(sellerId, “GMV_by_seller_”s)w; 读取DSL Key:GMV_by_seller_sw:1001 值: 水桶 水桶 水桶 计数 SQUARED_SUM上次MDF时间 丰富 Events 在线Stream 处理 KV 存储 查询服务 … … … SUM MAX MIN Daily 每小时分钟 存储数据模型和DSL-LastK "ltm":@evt。loginTimeM item=map[ defvar signin_by_usr_device_[lk 过程 defvar年龄_of_first_signin (keyuserId,keydeviceId)只要[ 本地lastK=@lastKLoad(userId, deviceId, "signin_by_usr_device”_lk ); 丰富的事件 写入DSL 存储数据模型 读取DSL SignIn[ Key:signin_by_user_device_lk 用户IDdeviceIdloginTimeMevtCrtTime … ] 丰富 Events :1001, :8001, :16847200, :… SignIn[ ] @lastKDelta(@evt.evtCrtTime,@evt.用户ID, @evt.deviceId、记录)； ] 在线Stream 处理 值: 0 1 2 K-1 :1001:8001 PiT:16848200,ltm:16847200 PiT:16849700,ltm:16849100 返回::lastK.ageOf(枚举. FIRST); PiT:16850500,ltm:16850000 ] … PiT:16899300,ltm:16899100 KV查询 存储服务 基于Flink的在线流处理管道 RawEvents eBay风险实时功能商店 丰富在线查询在线 Event富集 Events Stream处理 在线脱机 Event快照 KV 存储服务 FeatureDSL 脱机Simulation 管道 决定 培训 Set 至少Flink一次语义(低延迟 ) 存储kafka偏移在特征值中 模型实现 幂等更新 (最多一次 ) 基于Flink的在线流处理管道 Flink检查点 至少一次 2.唯一的DeltaID列表(Dedup) 1.卡夫卡偏移( 低延迟和数据准确性 从失败中恢复 ) 3.未申请的DeltaList( ) 丰富 订单(X) EventId:abc SellerId:123 金额：$5 订单(X) EventId:abc SellerId:123 金额：$5 Events 卡夫卡 Delta2 ID:abc-1 SellerId:123 金额：$5 Delta1 ID:abc-1 SellerId:123 金额：$5 Delta发电机 在线流处理 卡夫卡 Flink管道 KV 存储 Total_gmv_by_seller T0:P0:0 $100 123 T0:P0:0 $105 123 基于Spark的离线仿真管道 RawEvents eBay风险实时功能商店 丰富在线查询在线 Event富集 Events Stream处理 在线脱机 Event快照 KV 存储服务 FeatureDSL 脱机Simulation 管道 决定 培训 Set 依赖项 •读取DSL(total_gmv_by_seller)•写入DSL(gmv_by_seller_sw)•事件(订单)•字段(evtCrtTime,sellerId,amount) 基于Spark的离线仿真管道 Spark作业 1，功能集(数百个) total_gmv_by_seller_last60D(f1)total_gmv_by_seller_last24H(f2)total _gmv_by_seller_last5Min(f3) 时间范围和密钥 •加载时间范围>PiT3-60D和<PiT1的事件快照数据•查询键(SellerId1、SellerId2、SellerId3) 2，驱动程序集(百万) PiT12024040104:04:04 卖方Id1 PiT22024030103:03:03 卖方Id2 PiT32024020102:02:02 SellerId3 Event快照 PiT Key f1 f2 f3 PiT1 卖方Id1 值11 值12 值13 PiT2 卖方Id2 值21 值22 价值23 PiT3 SellerId3 值31 值32 值33 3、事件快照 脱机到联机自动回填管道 实时 在线 StreamKV 丰富处理存储查询 RawEvents Events历史服务 Threhdhold时间 KV 存储 Event在线 回填：90 Days 实时 GMV_by_sellerId在__last_90day 富集脱机 Event回填 快照管道 联机脱机匹配率报告 交通后视镜 在线 StreamKV 处理存储 查询Feature 服务值列表 在线Feature 脱机Set Event快照 脱机Simulation 管道 驱动程序Set 培训 Set 匹配Rate 报告 实时图形功能 More 功能自动生成和推荐 基于RAG的特征工程 谢谢你