货拉拉基于混合云的大数据成本管控体系建设实践_王海华

大数据成本管控体系建设实践

背景和挑战

• 业务规模：货拉拉拥有超过352个业务线，覆盖国内58个城市，月活跃司机达30万人，月活跃用户超过760万。
• 技术架构：货拉拉构建了复杂的数据基础平台，包括离线计算、实时计算、资源管理、离线存储、OLAP分析、在线存储等多个模块。
• 挑战：成本快速增长、成本不可控、成本使用合理性不明确。

成本管控体系

• 预算管理：包括预算申请、使用跟踪、预警和限制。
• 资源优化：通过数据冷热分层、数据归档、生命周期管理等方式优化存储和计算资源。
• 弹性管理：利用公有云实例类型（预留实例、按需实例、竞价实例）实现资源的弹性分配，减少资源浪费。
• 技术优化：采用ZSTD压缩算法、优化内存配置等方法降低成本。

存储成本优化

• 现状：离线存储表数量庞大（17万+），数据生命周期管理和冷热分层管理不足。
• 解决方案：通过数据冷热分层、数据归档管理等技术手段优化存储资源。
• 收益：存储成本降低54%，存储空间使用率显著提高。

计算成本优化

• 弹性资源管理：通过自研弹性扩缩容服务实现资源的动态分配，降低成本。
• 案例：某集群通过优化后成本下降20%~30%。

总结与展望

• 数据资产度量与成本分摊：通过精细化的成本管理和数据治理提升整体效率。
• 未来展望：继续推进大数据云原生化，实现极致的弹性资源管理和更精细的成本分摊。