机构建商会级 AI 平台的架构策略和实践 - 李欣欣

Strategies机器Learning平台建设&PracticesineBay eBayAIP首席架构师，CCOE增值税主席/李小龙 议程 1 AI/MLusecaseanalysis AI平台视觉,设计原则和 核心能力 2 3 统一的数据策略 AI用例 数据源 Structur -在线数据服务-OTFFE -流事件-NRTFE DedataSemi/UnstructeDdata (图像/视频/text/3D/...) -脱机批处理/ETL数据集-批处理FE -内容生成/采集NRT管道 存储统一的在线/离线内容存储统一的在线/离线功能存储 数据PiT奇偶校验 反馈回路 CPU/GPU 在线/离线PiT数据策略 -供应商/手动/自动标签 -长：离线PiT特征模拟 -CPU训练和推理通常-GPU训练和推理通常 不需要PiT数据奇偶校验 Common 驱动程序集&训练集生成&管理、目录、数据沿袭等。 构建企业ML平台的挑战 倾向于在解决方案上投入更多资金，而不是平台 解决方案和平台之间缺乏明确的界限 ML平台建设缺乏统一的数据策略和自助服务支持 传统上更多地关注培训，在数据/功能和推理方面缺乏足够的平台支持 缺乏跨功能、培训和推理的E2E无缝集成策略 ML开发生命周期 AIPlatormvision，designprinciples andcore capabilities 1 AI/ML用例分析 2 3 统一数据策略 议程 我们的愿景 使eBayAI从业者能够build,火车并部署机器学习模型全面管理、高效and自助服务平台规模。 ML平台Core能力Map ML平台架构原则 启用自助服务基于集中式配置和元数据驱动设计，具有 生命周期管理和治理在地方 启用统一的元数据和定义跨在线和离线，具有足够的灵活性和可扩展性，以支持域级别的自定义 提供一组管理API和服务MLP托管生命周期，并基于API实现E2E无缝集成 提供统一目录（包括数据，存储变量，功能，模型，解决方案等)，以促进发现，重用和更好的治理 提供E2E数据沿袭对于AI平台域实体Apply统一监控跨越整个ML平台 ML平台在线集成体系结构 ML平台中的实体建模 依赖关系DAG和执行计划 统一✁CPU/GPU推理平台 模型和特征监控 议程 AI平台视觉,设计原则和 核心能力 1 AI/ML用例分析 2 Unifi ddatastra 3 e tegies 为什么数据策略对AI/ML如此重要 图片来源：Cognilytica，来自https://www.ayadata.ai/blog-posts/manual-vs-automated-data-labeling 批处理功能 DSL功能 NRT汇总抽象 NRT功能工程 NRT功能 Schema 派生计算 事件处理 即时功能 比较of不同功能类型 蝙蝠cFheatureNRTFeature On-thef-lyFeature Yes Yes No Yes Yes No 1Day+ P99<5sec 实时 ETL/批处理 数据/快照数据集 丰富✁事件 请求上下文/在线数据服务 MLP管理最终用户自助服务 (DS) 数据新鲜度✁延迟 数据源 快照 在线/离线PiT策略PiT仿真/特征 PiT仿真/特征快照 仅功能快照 可重用性 易于重复使用易于重复使用按解决方案支持列出✁解决方案 上市时间 Fast 快速，除了新✁丰富事件采集 Slow 拥抱NRT战略 综合数据策略 FeaturePlatform培训计划InfencingPlatform 统一功能存储 训练集生成 特征/模型快照 特征生命周期Mngt。 驾驶员/培训设置。 统一型号规格 特征PiT仿真 高吞吐量数据访问 API规范自动生成