数智化平台建设背景
- 数据量增加：基础数据三年内增加约十倍。
- 用户洞察需求增加：挖掘任务三年内增加约十几倍。
- 业务发展需求：提升内部员工的业务能力和大数据分析能力。
- 降低成本：降低大数据分析成本，提高业务使用的便捷性。
- 业务迭代：实现业务精细化运营和高效迭代，需要高稳定性架构。
- 系统复杂度提升：业务系统复杂度提升，对架构稳定性提出更高要求。
数智化平台建设方案
1. 提升集中管理能力与降低技术使用门槛
- 屏蔽底层技术环境：让每个人都能成为分析师。
- 建模工程平台化：实现建模成本为零。
- 增强系统可观测性：包括数据质量、数据血缘、数据分析、特征评估和模型评估。
2. 大数据分布式集群能力
- 高可用、高稳定性：提供离线、实时等多场景支持。
- 智能特征加工、模型训练、在线推理：支持金融业务中的主流场景应用。
3. 大数据管理平台-鸿鹄
- 敏捷、智能的数据治理：支持快速发现、管理和使用数据。
- 数据集成、开发、调度、分析和应用：提供零代码任务配置化支持。
- 多引擎任务开发：支持批处理和流处理。
- 可视化集成IDE：支持多种任务语言开发。
- 智能运维：提供DAG图/甘特图可视化运维。
4. 模型全生命周期管理平台-易创
- 完善的样本处理能力：支持多算法模型训练。
- 模型打分和评估：实现模型一键上线和多维度流量管控。
- 全流程覆盖：涵盖从模型训练到线上应用的各个环节。
- 稳定性：确保模型预测稳定性达到99.99%，线上线下效果一致。
5. 数据和计算成本控制
- 降低无效成本：通过精简数据和任务价值来控制成本。
- 动态资源配给：实现计算模式优化和成本控制。
6. 系统稳定性提升
- 架构稳定性：通过内核升级和多维流量管控提升系统承载能力。
- 模型监控：建立二道防线确保模型效果可信。
- 特征管理：统筹公司特征管理，保障特征生效时效性和线上线下效果一致。
总结
度小满通过建设数智化平台，解决了数据和计算爆炸性增长带来的成本问题，提升了系统稳定性，并实现了业务的高效迭代。平台的核心功能包括数据管理、模型训练、实时推理、智能运维和全生命周期管理，显著提高了业务效率和安全性。
