上海证券（谭逸伦）：中小券商建设全栈信创数据中台的思考

中小券商全栈信创数据中台搭建思考

业务背景

• 数字技术推动金融行业数字化转型，政策层面支持（如《证券期货业科技发展“十四五”规划》等）。
• 中小券商面临CDH升级、烟囱式数据架构、数据标准缺失、数据服务不足等挑战。
• 竞争压力和内在动力促使券商加大数字化转型投入，如国泰君安、海通证券等已搭建数据中台。

数据中台建设目标

• 业务层面：支持实时、离线、结构化、非结构化数据，推动各业务数字化转型。
• 技术层面：升级数据平台基础设施，实现信创，打造数据治理、开发、服务一体化平台。
• 成本与效率：整合数据资源，加强共享协作，降低数据使用成本，提升开发效率。

数据中台架构

• 原有平台架构：基于Hadoop的HDFS、Hive、Impala等组件，存在数据采集、调度工具多套，数据标准不统一等问题。
• 数据中台架构：引入Apache Doris实现湖仓一体和流批一体，支持实时、离线数据统一服务。
• 选型思路：技术栈匹配、治理开发服务一体化、湖仓一体、流批一体、成本低、支持全栈信创、运维支持强。
• 建设进度：已完成一期项目验收，启动数据仓库迁移，正进行数据集市和应用建设。

应用建设情况

• DataOps开发治理一体化平台：通过指标设计、模型设计、数据标准、数据治理等阶段，实现数据开发、测试、上线和监控。
• 统一数据交换：集中管理公司范围数据流转，实现实时、离线数据统一服务，数据安全统一管控。
• 数智驾驶舱：构建高管、财富、资管、风控、财务等驾驶舱，提供实时交易、业绩归因、营销战报等数据。
• CRM系统建设：流批一体的数据仓库支持实时营销活动，实现开户断点捕捉、活动关系挂接等功能。

未来展望

• 数据中台未来规划：构建数据湖、数据仓库、数据集市，应用数据治理、开发、调度、服务、交换等技术。
• 业务应用：包括数据资产门户、数据查询分析、监管报送、客户关系管理、客户资产配置等。