1、背景简介
云音乐大数据治理面临生产侧治理难点,如数据质量、监控效率等问题。
2、方案介绍
2.1 智能监控选型
采用统计算法(绝对值、相对值、周期检测、假设检验)、分类模型(K-means、SVM)和预测模型(LSTM、Prophet)进行大数据异动感知;通过贝叶斯算法(GBDT)进行异动归因。
2.2 智能监控方案落地
构建大数据智能监控平台,实现旁路验证(预测准确但依赖标签数据)和异动归因(基于贝叶斯公式,假设指标告警由本身或上游指标引起)。
3、落地效果
已接入10+业务,覆盖千级别核心表,实现实时监控和归因分析。
4、未来展望
平台侧:优化监控指标设计、研发层实现自然语言创建自定义函数、储存层智能存储、调度层智能批次分配;模型侧:解决冷启、样本量少、过拟合等问题,并攻克跨平台血缘依赖和根因分析等难点。