8-2 多维数据分析平台在37手游的技术演进

多维分析平台在37手游的技术演进

一、37手游业务背景

• 业务简介：37手游是一家专注于移动游戏开发的企业。

二、OLAP技术演进

• 2019-2022年技术路线：从Impala、ADB、Clickhouse、StarRocks等OLAP技术逐步演进。
• 选择标准：综合考虑计算能力、查询性能、架构简洁性、可扩展性、稳定性和可维护性等因素。

三、OLAP平台与数仓

• 数据建模：经过ODS（原始数据层）→DWD（明细数据层）→DWS（汇总数据层）→ADS（分析数据层）的数据建模。
• 数据流转：最终ADS层数据推送到OLAP查询层，供应用层查询。

四、Impala应用及优势

• 计算引擎：Impala由Catalog、StateStore和ImpalaDaemon三个组件构成，通过Query Planner、Query Coordinator和Query Executor三个模块运行。
• 优点：实现大数据量高性能、业务复杂度高的计算，满足业务团队对取数“快”的需求。
• 不足：无。

五、Clickhouse应用及优势

• 快速原因：多样化的表引擎、向量化引擎、多核心并行处理、索引列存与数据压缩、多服务器分布式处理等。
• 应用场景：用于广告自动化投放平台的实时监控和自动调整广告投放计划。
• 使用心得：性能优越，但存在高并发能力不足、多表关联查询性能欠佳、运维复杂等问题。

六、StarRocks应用及优势

• 重要特征：支持明细模型、聚合模型、更新模型、主键模型等。
• 应用场景：在37手游画像场景中，通过宽表+纵表设计，使用to_bitmap优化人群圈选需求。
• 计算引擎：从过去的ES切换至StarRocks。

七、数据分析与决策痛点

• 痛点：取数难、取数慢、报表变更开发排期长、报表产出效率低、维护难。

八、多维分析技术业务化与普惠化

• 自助数据分析平台：提供数据即时分析能力，满足用户全程数据的即时分析与即时决策。

九、多维分析平台服务保障

• 平台服务健康度监控：提供监控看板。
• 数据质量监控：数据质量稽核预警平台，从有效性、一致性、准确性、完整性、及时性五个维度进行监控。
• 预警信息推送：支持电话、短信、邮件、微信等多种告警信息推送。

十、未来规划

• 组件收敛：减少现有组件，引入ELT模式，探索原始或粗加工数据直接进入多维分析平台，通过SQL进行加工转换。
• 公共云SaaS服务：使用阿里云holo等适配业务场景的服务。

以上是对37手游多维分析平台技术演进的总结。