网易严选智能风险水位监测

实践者沙⻰ 网易严选智能风险水位监测 C端新消订单⻛险 !"#-$%&'( 2021)3*1+ CONTENTS 1严选⻛控业务体系介绍 2智能⻛险⽔位监控 3模型开发与应⽤详解 严选⻛控业务体系介绍1 登录搜索浏览加购 取消订单 领券下单秒杀 修改收货信息 …… 当你在使⽤严选时,⻛控后台在⼯作 APP客户端小程序 以最常见的交易风控场景为例： PC网页端 严选⻛控业务体系说明 两级防护模型--护城河+城墙 识别：使⽤基础信誉模型、业务标签、图指标进⾏⻛险识别 处置：在发⽣资损的各业务场景环节进⾏差异化⻛险拦截 如何持续地进⾏⻛险防控？ 但⽆法感知不在预设场景内或策略未覆盖的⻛险情况，即⽆法衡量有多少⻛险⽤户成功下单、如何成功下单 召回率 现有⻛控策略基于各精细化业务场景，使⽤域内各维度 标签进⾏⻛险拦截，准确率⾼、可解释性强 准确率 拦截⽤户数资⾦挽回误拦率 ⼈⼯全量检查 1234 ⼈⼯抽样检查统计监控报表智能⽔位监控 Recall Cost 100%- 100%- RecallCost 20%-- 40%-- Recall Cost 50%- 20%- Recall Cost 80%- 40%- !ƒ#$%&'($%!)*$% 智能⻛险⽔位监控2 ⽬标：全链路监控整体业务⻛险 对象：C端新消订单 独⽴于策略指标，构建⽔位模型来监控整体订单业务的⻛险情况，提升对未知、新增⻛险的响应时效 ⻛险类型 刷单 聚集性 ⻛险表现 设备 空间⽀付id 时间IP 售前 ⾏为售中 售后 效果：严选⻛险⽔位概览 挖掘近10种新风险点 上线10+个风险管控策略 累积增益100+万元 风险水位(7日均值) 123 ①水位上升，挖掘新增风险点③活动力度增大，水位上升 订单数风险水位 ②针对性策略上线，水位下降 功能1：当前风险水位概览功能2：风险水位变化监控功能3：新风险挖掘与提示 模型开发与应⽤详解3 模型开发流程概览 1 确定模型方案 可使用的数据源、标签适用的算法模型 2 选择样本、特征 可泛化能力 3 数值化表征 稳定性一致性 4 效果评估 选择损失/目标函数还原正负比例 5 上线应用 阈值选择线上预测 定义问题数据分析数据处理模型训练模型部署 1、定义问题 行为序列的风险识别 ⾼召回：尽可能囊括所有未知的⾏为⻛险 前端埋点数据 特 征后端⽇志变 量⻛控事件 终端类型：移动端、web端、wap端… 动作类型：点击、搜索、访问… 所属⻚⾯：订单⻚、个⼈⻚、商详⻚…登录、⽣成订单、⽀付成功… 签到、组单、修改地址… 模型 ⽅案 订单事实商品、福利、礼品卡… 变 ⿊设备登录 ⻛险⼿机 特定团伙 特⼤团伙 ⽬标 恶意刷单 接⼝请求 垃圾邮箱 量 *为保证可泛化能⼒（模型稳定性），不使⽤已有⻛控标签、特定⽤户作为变量数据 2、数据分析与数据处理 埋点数据 稀疏： 将单个⾏为定义为：动作_⻚⾯，如：click_detail为点击详情 ⾏为 ⾏为序列 ⻓尾： one-hot作为baseline ⻓尾：上限截断 时间差序列 *不包括⽤户⾮主动埋点数据（弹框、展示） 3、数据分析与数据处理 ⾏为数值化 CBOWFastText •后端⽇志与前端埋点可共享特征空间 •OOV使⽤动作_⻚⾯中的动作作为其Embedding •统计类特征避免使⽤id-specific的变量 4、模型训练与评估 LSTM 说明 •好坏样本1:1抽样•特征可解释性•阈值选择P-R曲线•跨时区验证（还原⽐例） 回顾 算法选型 数据分析 数据处理 效果评估 定义问题定义核⼼指标 数据分布均匀or⻓尾异常值 泛化能⼒稳定性相关性 可解释性⽐例还原分布监控 THANKYOU