02 以元为数和配置 动的 eBay 交易风控 AI 模型管理和部署实践 — — 王兵

模型Spec驱动AI模型管理&部署在eBayPaymentsRisk 易趣王冰付款与风险 议程 eBay支付风险AI模型生命周期和 1型号规格 2UnifiedContextforModelTraining&Model服务 3ModelIntegration&DeploymentbyModel Spec 4模型服务可观测性和监测 eBayPayments RiskAI模型模型Spec 生命周期and 支付风险AI模型生命周期 模型刷新(重新调整) Feature Engineering 模型培训 模型部署 性能 Validation Business用法 脱机 在线 AI模型生命周期中的元数据 模型刷新(重新调整) Feature模型 模型性能 Business Engineering培训部署 脱机 Validation用法 在线 原始功能元数据 培训数据集元数据,管道 元数据、模型对象元数据、... 模型服务API元数据，功能获取元数据， 功能预处理元数据，模型预测元数据,模型输出后处理元数据 AI模型生命周期中的元数据 模型刷新(重新调整) Feature模型 模型性能 Business Engineering培训部署 脱机 Validation用法 在线 原始特征模型服务API元数据， 元数据 培训数据集元数据,管道 ModeFleaSturpeseFectching元数据， (型号规格)功能预处理元数据， 模型预测元数据,模型元数据,模型对象元数据,... 输出后处理元数据 元数据组-模型规范 模型 Spec(型号 规格) 基本模型信息：业主， 模型类型、场景、刷新频率,... 功能提取: 特征名称,数据源，值类型， 默认值,... 模型对象:模型类型、框架和版本、参数、 目标SLA,... 推理预处理和后处理-处理:依赖的原始 特征,特征预处理表达式,模型输出映射 逻辑,... 多模型推理:管道定义,模型路由定义 监视和日志记录:架构定义、度量、事件/表 资料,... 统一上下文 for模型培训服务 &模型 模型部署 培训代码 模型文件 （pkl，txt，json 部署 模型应用 代码 模型文件 （pkl，txt，json 翻译 培训输出 模型训练 管道 ，bin) copy ，bin) 模型服务 模型部署 培训代码 模型文件 （pkl，txt，json 部署 模型应用 代码 模型文件 （pkl，txt，json 翻译 培训输出 模型训练 管道 ，bin) copy ，bin) 模型服务 •大量手动工作•模型训练和推理之间容易出现差异 模型Integration 部署 请求功能 提取 翻译 模型API调用 业务领域 服务 特性和推理结果 Monitoring 推理请求 模型服务 模型Integration 部署 请求功能 提取 翻译 模型API调用 业务领域 服务 特性和推理结果 Monitoring • • 推理请求 大量的手动努力容易出现差异训练和推理 模型服务 between模型 不同上下文 培训 模型 （数据科学家) 自己的上下文 自己的上下文 模型集成 (领域工程师) 自己的上下文 模型部署 （数据工程师) 统一上下文-模型规范 培训 模型 （数据科学家) 模型集成 (领域工程师) 模型Spec 模型部署 （数据工程师) 模型Integration &部署 by模型 Spec 特征预处理 传统的特征预处理逻辑从模型训练迁移至推理的方式是通过pickle进行对象的序列化和反序列化。 *.pkl 对象 对象 问题I：在不同环境中强制依赖库 倾倒& 保存 加载和解析 LogicsRepresentation LogicsRepresentation 模型规范中的解决方案：通过逻辑表示再现预处理 特征预处理 批处理 单例处理 问题二：单例推理的数据处理性能不是最优的 多线程 多处理 模型规范中的优化：通过多处理并发，std::thread 特征预处理 特征预处理 通过模型规范将特征预处理逻辑从模型训练移动到推理 模型规范中表示形式的代码 逻辑表示 倾倒解析 逻辑表示 Feature提取 模型 Feature预处理 模型 对象 模型 输出 后处理 模型 推理 路由选择 从模型规范快照配置 模型规格商店 功能获取配置 功能预处理配置 快照 版本控制 模型对象配置 模型输出后预处理 配置 …… 业务域服务中的配置部署 配置 Sync 配置 Validation 特征提取器对象 建筑 金丝雀的变化 Event掉落 模型服务中的配置部署 配置 Sync 配置 Validation 模型推断会话建设 金丝雀的变化 Event掉落 配置部署 配置部署 配置配置 业务域服务中的配置部署 特征提取器对象 金丝雀的变化 Event Sync Validation 元数据and 建筑 配置驱动,需要更改 掉落 FewCode 配置 Sync 配置 Validation 模型服务中的配置部署 模型推断会话建设 金丝雀的变化 Event掉落 按模型规范进行模型集成和部署 模型培训管道 型号规格库 模型规格商店 读取/更新型号规格 读取/更新型号规格 域服务 型号规格库 模型推理请求 模型服务 型号规格库 读取/更新型号规格 请求 4 模型服务可观察性 &Monitoring ML系统监控 ML测试得分：一种用于机器学习生产就绪度和技术债务减少的标准评估框架埃里克·布雷克，蔡山清，埃里克·尼尔森，迈克尔·萨利布，D·斯库利IEEE大数据会议proceedingsofIEEEBigData(2017) ML系统可观测性和监控 模型输出监控: -默认结果率 -分数分布 … 模型功能监控： -空/空率 -价值分布 … 模型系统监控: -延迟 -错误率 … ApacheFlink AggregatedEvents 事件消费者&处理器 NRT Metrics Monitoring元数据 Monitoring元数据 模型规格商店 监控元数据 LogEvents 脱机Metrics 模型输出和特征可观测性和监测 LogEvents Kafka集群 Hadoop HaHdDooFpS ThankYou