诺亚财富数字化升级与Hologres应用实践
诺亚财富概况
诺亚财富作为首家在港美两地上市的中国独立财富管理机构，业务涵盖财富管理、资产管理等多元领域。其数据管理部门负责公司整体大数据体系框架建设，支撑BI分析、数据看板、人群画像等业务场景，但面临数据量不大但业务场景复杂、业务域数据域范围广的挑战。
数字化挑战与选型
业务挑战
- 数据分析性能不足：复杂关联查询导致高并发查询时间过长，影响业务体验
- 实时分析场景不足：历史数据架构导致数据延迟，无法支持及时决策
- 查询引擎不统一：多种查询引擎（Hive、Greenplum、Impala等）增加用户学习成本，形成数据孤岛
- 用数据难：数据分散在各系统，用户需通过导出Excel进行数据分析，效率低且存在数据隐患
技术挑战
- 组件过多：不同需求使用不同组件（Hive、Greenplum、Impala等），运维复杂
- 运维难度大：CDH平台缺乏稳定性，官方文档缺失，漏洞增多
- 大数据量查询慢：Impala查询效率低，SQL优化器粗糙，查询易卡死
- Impala缺陷：表数据或结构更新需手动刷新元数据
- 成本高：业务发展快导致数据快速膨胀，Impala扩容成本高
技术选型
2021年开始架构上云，选择Hologres作为OLAP分析引擎，依托DataWorks实现离线（MaxCompute）与实时（Hologres）数据一体化，通过Flink同步神策埋点数据至Hologres，并利用外表功能实现MaxCompute数据迁移。
业务案例
客户资产分析报告系统
利用Hologres实现复杂关联查询加速，提升分析效率
自助取数系统DataATM
以Hologres为核心，支持MaxCompute外表加速查询，实现交互式查询体验
一键生成API应用和数据服务
作为OneService数据服务平台底座，提供稳定高性能的数据服务
最佳实践与展望
最佳实践：一站式全面支持
- 报表场景：支持MaxCompute加速查询，联邦分析实时与离线数据
- 分析取数场景：支持行存、列存和行列共存存储格式，可快速生成API服务
- 实时场景：支持FlinkCDC实时写入更新，满足金融领域实时风控等需求
