2-4 汇量科技智能决策基座 - mindalpha 高性能分布式机器学习平台

汇量科技智能决策基座MINDALPHA高性能分布式机器学习平台

背景-广告业务现状

• 广告技术现状：涉及出价召回、排序、隐私计算、反作弊智能决策等技术。
• 广告算法建模特点：数据规模大（百GB级），请求量高（亿级），样本条数多（亿级），训练时间需分钟级，请求时延需毫秒级，模型大小为百GB。

智能决策基座-MindAlpha

• 训练平台需求：关注成本（算法人力、资源占用、服务器成本）、效率（训练速度、算法迭代开发周期、模型部署周期）和效果（模型训练与落地效果差异、专家经验依赖）。
• MindAlpha-ps简介：PS架构包含coordinator（协调器）、server（模型装载与参数分发）、worker（计算节点），通过kkt条件控制参数更新。
• MindAlpha-ma on spark：利用Spark实现通用、易用、可扩展的解决方案。
• MindAlpha-模型拆分：采用dense（稠密网络）和sparse（稀疏网络）处理不同类型数据，连续型特征通过分桶处理。
• MindAlpha-ma API支持：支持数据读写（kudu、csv、orc、txt），模型源语（load/save、fit/transform、export等），优化器（Adam、Ftrl、Lamb、embeddingsum、Contact、lookUp、sumRange等）。
• MindAlpha-几个重点topic：
  • 同步&异步计算：涉及串行&并行（数据并行、模型并行），异步计算可能导致模型参数不一致，但类比非凸优化问题，效果未必变差。
  • CPU&GPU：CPU适合I/O密集型、内存随机访问作业（调度、管理），GPU适合计算密集型、多核、浮点运算快、并行能力强。

MLOps建设

• IDE建设：使用Jupyter轻松完成代码调试。
• 云原生&CI建设：采用yarn(pyenv)、k8s image(x86,arm)、Git Tag+等技术。
• 汇量计算平台架构：具体架构图示未提供。

机器学习平台发展之路

• 模型裁剪：优化模型大小和效率。
• AutoML：自动化机器学习，提升开发效率。
• 关于我们：未提供具体内容。