翼支付云原生数据开发与治理平台实践
公司简介与平台业务场景
- 公司简介：翼支付是中国电信集团有限公司的成员企业，是国资委双百改革和发改委第四批混改“双试点”企业，也是唯一的金融科技公司。翼支付依托区块链、云计算、大数据、人工智能等技术，为超过1000万家线下商户门店及170余家线上知名电商提供服务。
- 数据开发与治理平台业务场景：平台旨在满足数仓、各业务部门快速开发离线计算、数据集成、实时数据开发、数据服务等功能，提升数据开发与治理效率。
数据开发与治理平台介绍
- 数据开发流程：平台支持任务开发流程，包括离线计算、实时计算和数据服务。
- 双环境介绍：平台提供开发和生产环境，满足不同阶段的数据开发需求。
平台技术架构实践
- 系统架构：采用Python语言开发，支持多Master调度，功能完善且社区活跃。
- 离线调度：支持分布式调度系统，提高计算效率。
- 数据总线：实现高效的数据传输和处理。
- 资源隔离与计算优化：通过Spark优化，如小文件治理和任务优化，提高计算资源利用率。
- 质量监控：包括及时性、准确性、完整性、一致性和有效性五个维度，确保数据质量。
平台成效
- 计算成本降低：计算成本降低87.9%，模型A特征计算时效提升40%。
- 查询时效提升：业务线A看板查询时效显著提升。
未来展望
- 异地容灾：提升数据安全性。
- 可观测性：增强系统的可监控性和可维护性。
- 降低计算资源：进一步优化计算资源使用效率。
Q&A
- 招聘岗位：数据仓库工程师、图数据库研发工程师、ClickHouse研发工程师、HBase研发工程师、机器学习平台工程师、Rust研发工程师等。
以上是对翼支付云原生数据开发与治理平台的主要内容和关键数据的总结。
