上海证券（谭逸伦）：中小券商建设全栈信创数据中台的思考

orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 中小券商全栈信创数据中台搭建思考 Asia2024 DorisSummit Asia2024 谭逸伦上海证券 DorisSummit 目录01 02 业务背景 Asia2024 DorisSummit 数据中台架构 orisSummit Asia2024 Asia2024 mit Asia2024 DorisSummit DorisSummit A DorisSummit Asia202 03应用建设情况 Asia2024 04未来展望 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 01 Asia2024 DorisSummit Asia2024 业务背景 Asia2024 DorisSummit 业务背景 DorisSummit 行业监管/政策竞争压力内在动力 Asia2024 数字技术已经成为中国经济增长的新动能，一系列政策推动金融行业数字化转型： •自2017年以来，国内各券商纷纷加大数字化转型投入力度； DorisSummit Asia2024 •国泰君安、海通证券、华泰证券、东北证券、西部证券都搭建数据中台，并依托于中台开展数字化转型工作； •CDH需要升级成为CDP，面临搬迁成本和风险； DorisSummit •烟囱式的数据架构，多套数据采集、调度工具； Asia2024 •缺乏统一的数据标准，依靠科技自身，很难做到全流程把控； 时间 政策/文件 2021年3月 关于落实《政府工作报告》重点工作分工的意见 2021年10月 证券期货业科技发展“十四五”规划 2022年1月 金融科技发展规划2022-2025年) 2023年6月 《证券公司网络和信息安全三年提升计划（2023-2025） • orisSummit mit A Asia202 缺少“水到田头”的数据服务， Asia2024 DorisSummit 业务部门无法快速获得数据； Asia2024 DorisSummit 数据中台建设矩阵 数据中台“硬核能力” 能力评估参考 orisSummit A Asia202 数据应用产品化 5 DorisSummit 5.1 企业关系图谱 数据分析服务化 4 4.1 全域数据资产可视化 数据内容资产化 3 Asia2024 3.1 垂直数据中心 数据治理常态化 2 2.1 数据标准管理 数据采集枢纽化 1 Asia2024 1.1 结构化数据 5.2 智能辅助决策 4.2 360客户画像分析 DorisSummit 3.2 公共数据中心 2.2 数据质量管理 1.2 批量数据 5.3 运营数据化 4.3 数字化运营及优化 3.3 萃取数据中心 2.3 元数据管理 1.3 实时数据 5.4 Asia2024 营销智能化 4.4 自助化数据服务 3.4 数据运营平台 （指标、标签） 2.4 数据安全 1.4 半结构/非结构数据 5.5 风控智能化 4.5 开放建模环境 3.5 数据服务平台 2.5 数据审计 1.5 外部数据管理 •企业关联关系全域管理 数据智能 •全域数据智能辅助决策 •全渠道数字化运营管理体系 DorisSummit •智能营销体系-全渠道、全域营销 数据好用 •智能风控体系 •统一数据门户，全域数据可视化 •数据资产完整，客户画像充分 •外部数据加持，丰富行内数据资产 数据可信敏捷 •统一数据研发，数据资产管理 •统一数据开发，提升研发效能 Asia2024 •统一数据资产中心，100%消除二义性 标准平台一体 •统一数据服务，提升自助服务率 •标准与数据平台100%融合 •全链路数据质量管理 •全域数据安全管理 数据交换统一 •实现业务数据采集、归集、打通 DorisSummit •统一操作流程 •统一监控运维 mit •统一外部数据管理 Asia2024 DorisSummit 建设目标 DorisSummit DorisSummit Asia2024 DorisSummit 技术层面 业务层面 成本与效率 orisSummit Asia2024 mit Asia2024 A DorisSummit Asia2024 Asia202 升级数据平台基础设施，完成信创，技术自主掌控，打造数据治理、开发、服务一体化平台。 全面支持实时、离线、结构化、非结构化等数据，全方位支持公司各业务的数字化转型。 全面整合公司数据资源，加强共享协作，降低数据使用成本，增加数据的开发效率。 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 02 Asia2024 DorisSummit Asia2024 数据中台架构 Asia2024 DorisSummit 数据中台技术架构 DorisSummit Asia2024 DorisSummit 原大数据平台架构图数据中台架构图 平台能力作业调度 数据服务可视化 平台能力数据开发 作业调度 数据治理 数据服务可视化 Asia2024 DorisSummit 原有平台架构原有平台架构 计算引擎 Hive impala SparkPhoenix 计算引擎 hive impala Flink Kafka Doris orisSummit mit Asia2024 A DorisSummit Asia2024 Asia202 数据存储 HDFS Hbase 数据存储 HDFSKafka ApacheDoris Asia2024 DorisSummit 选型思路 DorisSummit 需求点选型结果 orisSummit mit A Asia202 •技术栈与现有平台匹配； •治理、开发、服务一体； •湖仓一体； Asia2024 •流批一体； •使用成本低； •支持全栈信创； Asia2024 •运维支持强； •全面支持Hadoop的HDFS、Hive、Impala等组件。 Asia2024 DorisSummit •数据治理、开发、服务一体化平台。 •引入Doris与Hadoop配合，实现湖仓一体。 DorisSummit •通过统一数据开发平台，结合Doris实现流批一体。 Asia2024 •买断成本以及迁移成本，相对原有订阅模式成本较低。 •全栈支持信创。 DorisSummit •服务团队支持力度高，运维有保障。 Asia2024 DorisSummit 建设进度 DorisSummit Asia2024 DorisSummit 2022.32023.102024.10 项目启动，同业调研，整体框架规划 POC测试和评分，完成最终商务 •完成一期项目正式验收，完成数据仓库 初步迁移； •启动数据集市和数据应用建设 orisSummit mit A Asia202 Asia2024 DorisSummit Asia2024 各数据中台厂商交流平台整体上线，启动数据和应用迁移 Asia2024 DorisSummit 2022.82024.2 orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 03 Asia2024 DorisSummit Asia2024 应用建设情况 orisSummit Asia2024 Asia2024 DorisSummit DorisSummit A Asia202 DataOps开发治理一体化平台 核心思想：先设计，后开发。先标准，后建模。 数据标准：确保规范落地 指标设计：业务需求沟通对齐 模型设计：让架构更健壮 开发阶段 离线开发 自助分析 数据传输 设计阶段 数据指标 数据模型 数据标准 DorisSummit Asia2024 DorisSummit 安全中心 测试阶段 数据测试 上线阶段 任务发布 日常监控 质量监控 Asia2024 数据质量 mit Asia2024 DorisSummit 数据治理数据开发 Asia2024 DorisSummit 统一数据交换 DorisSummit ▶公司范围数据流转集中管理； ▶实时、离线数据统一服务； Asia2024 ▶数据安全统一管控； 数据中台 Asia2024 DataAPI 离线交换 HDFS 指E通 DorisSummit 企微服务平台CIF 基金评价反洗钱 财务审计稽核 CDC 抽取备库 集中交易非现交易快速交易账户管理行情信息聚源 万得 …… orisSummit mit DorisSummit A Asia2024 Asia202 数据推送 实时交换 Asia2024 Kafka/Doris 呼叫中心机构综合服务 DorisSummit CRM 优品投顾 Asia2024 DorisSummit 数智驾驶舱 DorisSummit Asia2024 DorisSummit 高管驾驶舱 财富驾驶舱 资管驾驶舱 风控驾驶舱 财务驾驶舱 信用驾驶舱 交易战报，提供实时交易量、实时资金净转入、实时佣金贡献等核心数据； orisSummit Asia2024 A Asia202 财资风财信 富管控务用 分支 mit Asia2024 DorisSummit Asia2024 业绩归因分析，除了指标展示外，深层次的进行绩效跟踪； DorisSummit 营销战报，提供实时营销活动绩效数据，赋能财富节、开门红等活动场景； Asia2024 DorisSummit CRM系统建设 流批一体的数据仓库，能够实时支持营销活动的开展。 DorisSummit 分配规则hdfs 营销人员名单 企业微信 Asia2024 DorisSummit 开户引导 Asia2024 开户断点捕捉 断点关系挂接 活动关系Kafka CRM系统MOT DorisSummit 活动关系Doris 开户结果Doris orisSummit A Asia2024 Asia202 mit Asia2024 DorisSummit 实时战报Doris orisSummit Asia2024 mit Asia2024 DorisSummit A DorisSummit Asia202 DorisSummit Asia2024 DorisSummit 04 Asia2024 DorisSummit Asia2024 未来展望 Asia2024 DorisSummit 数据中台未来规划 数据中台应用架构 DorisSummit Asia2024 DorisSummit 业务应用数据资产门户数据查询/分析监管报送客户关系管理客户资产配置报表中心ChatBI…… 数据治理 技术应用数据治理技术应用 数数据据开开发发 数据数调据度调度 数数据据服服务务 数离据线交数换据交换 报流表数平据台平台 资资讯讯中中台台…… Asia2024 DorisSummit Asia2024 数据集市财富数据集市资管数据集市监管报送集市风控合规集市自营数据集市营销数据集市资讯数据集市…… 数据仓库当事人产品协议机构事件财务渠道…… orisSummit mit Asia2024 A DorisSummit Asia202 数据湖 结构化数据 非结构化数据 半结构化数据实时流数据元数据 orisSummit Asia2024 mit Asia20