期货行业大数据平台数据治理与建设方案

期货行业大数据治理平台解决方案 架构和功能 系统架构系统功能 数据质量检核与反馈系统 功能分类功能名称功能说明 检核对象管理对象编辑修改导入表，修改表和字段的相关属性 检核对询象管、理调度管理有效性 贴源层寻人 修改、 删除检香对象权限管理关联性 检核规则管理致性 灵活定制自定义检核规则，实现可视化 规则配置和管理 整合层检核规则管理新增、删除、修改检核规则 汇总层 用户建立 权限管 准确性及时性 检查频度管理检核频度管理 质量监控周期频度，可按日、周、月、 问题报告 检查频度管理问题查询 年等频度制定检核时间 集市层 制定检查周期和时规则查询对发现的数据质量问题进行进一步的描 间打包下载问题管理问题管理述和分析，并划分问题归属业务分类 ...... 质量问题报告查询，并可按照部门、系 问题管理报告管理报告管理报告管理统、问题进行汇总查询 数据质量问题日志查询权限管理管理员、操作员权限设置 系统管理 检核对象配置管理需检核的表 数据治理概述 期货行业数据现状及问题 目录数据治理阶段目标成效和特点 数据管理系统建设情况 第一数据治理概述 部分 数据治理意义、作用和价值 意义 ·是构建完善、共享、统一管理数据环境的基本保障和重要组成部分 ·是把数据作为资产来管理的有效手段 作用 确定了一系列岗位角色和相应的责任及管理流程 保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性 价值 ：企业进行数据治理的最大驱动力来自数据质量，通过提高数据质量实现更多的业务价值 ·将实现业务目标作为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库/信息化管理系统建设，支持管理能力的提高、精细化和决策的科学性 数据治理框架 数据战略 数据应用与服务 促进数据服务管理数据需求管理数据服务应用系统建设实现 数据架构 数据管理 数据标准元数据数据质量 数据保留 数据安全 内容管支撑 与 支撑模型管理 管理管理管理 主数据 管理 与归档 管理 管理理 保障机制 数据战略与规划数据组织与职责数据制度与管理流程 数据架构 数据源数据平台数据服务数据应用 内部数据 业务系统 贴源层 整合层 基础汇总层数据 平台 统计 数据集市报表 数据交换平台 数据结构化转换数据 数据接口挖掘 大数据分析计算 其他系统 分布式数据库分布式文件系统 大数据平台 高管 舱 数据切分驾驶 外部数据数据调度与处理数据传输数据 互联网数据生命周期管理管理 数据质量检核平台 物联网元数据管理 第二期货行业数据现状及 部分问题 数据应用现状分析-总体情况 缺乏数据梳理，造成行领导 看到的数据相互冲突和矛盾 IT架构中中都是以部 业务职能不清晰或门级应用为主（如计财 相互重叠，观察数据视资金计划部等），缺乏从 角不尽相同，缺少数据大的管理职能（财务、风 标准与业务统一定义险、运营等）综合方面的 语轨不一致行领导 贷款余额贷款余额 数据整合、数据标准和统 业务定义 由于业务系统输入的随意性导致部分关键业务数据质量较差 客户信息客户信息客户信息客户信息 客户信息........... 财务会计部信贷管理部国际业务部资金计划部 业务人员 X\?56 I!7 I! 综合业务系 信贷管理 数据交换平台！ 国际业务系债券管理系 统统统1..... 数据应用现状分析-数据架构方面 整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用 缺少一个稳定的、 竖井式架构 业务表现造成信息孤岛 >信息孤岛 抗源变化的数据层 其它客户客户中间支付 >数据几余 报表绩效考核风险报表业务报表 报表 客户管理报表 >共享性差 主题层 客户风险客户一部中间业务支付业务 报表应用共用集市层 >历史数据缺失主题数据 ●问题汇总数据层 >数据分散，难以管理 >没有一个稳定的，抗源变化的数据层 没有进行整合，无法 ODS层共享，不能支持如客 BDS层户管理等共享性应用 DEP房 源系统综合业务信贷管理国际结算债券核算 数据应用现状分析-数据应用难题 缺少统一的应用分析标准 客户风险集市 我想看本期贷款 业务表现借据号余额，看哪个呢？ 期末余额 >各集市系统指标存在重复主营业务收入 负债总额 》各集市系统在保有存量的同时，不断产 生新的指标（增量） 》集市指标派生无法实现 客户一部集市 用户 借据编号我想看客户经营情 >指标逻辑视图（指标分类）不一致期末贷款余额况信息，有哪些呢？ 总资产 问题《活期存款流水采集单》 重复投入 >数据不一致 》指标设计、口径不一致 资金计划 用户 活期存款 部活期存款指标数据 >指标难以共享怎么不一致呢？ 《G21流动性期限缺口统计表》 数据应用现状分析-数据应用难题 缺少统一的基础数据标准核心贷款分户账表 业务含义一致 业务表现名称定义不一致 贷款主档代码 》各系统存在亢余数据贷款余额 >各系统存在业务含义一致，名称定义不一致的属性 >各系统存在含义不一致，名称定义一致的情况 五级分类标志 计息方式 中 数据几余 》业务代码定义混乱相同业务代码 问题 重复投入 数据不一致、不准确 信贷管理借据表 定义不一致 核心五级分类代码信贷管理五级分类代码 贷款账号1正常01正常 难以利用和管理贷款余额2关注 各系统数据难以共享 5级分类标志 借据计息周期3次级（不良） 02关注 03次级 4可疑（不良）04可疑 5损失（不良）05损失 数据应用现状分析-数据质量方面 没有归纳并总结数据质量问题，缺少反馈机制,导致长期存在各类数据质量问题。 《贷款质量五级分类情况简表】 业务表现非现场监管报表 >指标难以共享 统计各省分支机构每笔借据的五级分类 数据不一致、不准确由于信贷管理系统业务人员没 问题信贷管理源系统操作错误 部分关键业务数据缺失客户号客户简称 源系统校验关系缺失及业务人员信贷管理客75682839综合厂 有填写或填写错误借据的五级分类信息，导致报表数据不准确，需要手工补录修改 操作随意 户表97326762国鑫资产不同系统相同客户号对 应的客户简称不一致 客户号客户简称 核心客户表75682839粮食局粮油综合 97326762乳山市国鑫资产 数据应用现状分析-总结 随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决数据架构、数据标准数据质量问题，随着信息化建设的深入，这些问题将像雪球一样越滚越大，越积越多。 ODS.E 问题分类信息孤岛准确性问题 业务分类系统内数据关联不上系统间数据关联不上数据不准确数据不一致取数口径不一致代码定义不一致粒度定义不一致综合报表平台适应 20 8 信贷6性升级改造阶段 8 公共应用1666（问题增加为451个） 存款1B 问题分类信息孤岛维确性问 业务分类系统内数据关联不上系统间数据关联不上数据不准确数据不一致取数口径不一致代码定义不一致粒度定义不一致 12 公共应用2680 存款30综合报表平台建设阶 报表恩 问题分类信息孤岛雅确性问题段（问题339个） 务分卖系统内数据关联不上系统间数据关联不上数据不准确数据不一致取数口径不一致代码定义不一致粒度定义不一致 50 38 公共应用5056 存款1010 第三数据治理阶段标 部分 数据平台逻辑架构 源数据数据仓库数据应用 CBS 贴源层 整合层 汇总层 集市层 非现场报表 CM2006 综合业务系统 CM2006 国际结算系统ET债券管理系统 外汇资金系统 当事人协议事件 ETL 机构客户 账户 ETL 非现场监管集市财会报表集市风险报表集市 财会报表客户风险报表 EE 报文清算系统 当事人资产 ...... 高管驾驶舱集市 ..... 报价引擎系统 ++++++ ....... 高管驾驶舱 BOND作作数据 调业调 尚切分 度度度 PE数据调度与处理 数据传输 FES元数据管理 数据生命周期管理 MCS 数据质量检查系统 数据管理系统 数据平台部署架构 省行1总行：新购置web应用负载均衡器状态线新购置web应用负载均衡器 省行数据库服务器新购置明细报表应用服务器（6台） ·数据加载程序（完善后） 三层交换机三层交换机 已有应用服务器（2台） ·数据传输平台配置库 >Weblogic1lg (188.1.6.107/188.1.6.108) 省行应用服务器 >i@reportv4.3>i@reportv4.3 >BI@reportv3.2>BI@reportv3.2 ·新建客户风险报表应用·客户一部报表应用 ·原有应用节点扩充·中间业务报表应用 ·数据切分应用（完善后） ●元数据管理应用 ·数据传输平台应用 >i@reportv1.3新购置数据平台EIL服务器（8台）三层交换机三层交换机 >RedHatEnterpriseLinux5 (Advanced) 心趴>MOIA4.4agent新购置调度服务盟（1合 >DataStage8.5EE（内置WebsphereRedHatEnterprise ·调度平台代理节点Linuxserverrelease5.5 数据平台ETL工程MOIA4.4server 省行文件服务器●DS8.5管理应用·调度平台主节点 >IBMMQ7.0.1 新购置数据传输服务器（2台）新购置数据平合数据库新购置明细报表数据库已有EIL服务器（2台）已有数据台库服务器（2已有文件服务器 >RedHatEnterpriseLinux服务器（2台）服务器（2台）(188.1.6.109/188.1.6.110) （2台） 农发行内网 5(Advanced)>Oraclellg>Oraclerig>MOIA4.4agert(188.1.6.105/188.1.(188.1.6.111/ >Weblogic1lg·数据整合层、汇总层客户风险应用数据库>DataStaze8.5EE6.106)188.1.6.112) ?元数据配置库（内置呼eb·集市物理模型>0racle10g >IBMMQ7.0.1 ·数据传输平台应用 ·调度平台代理节点·数据传输平台配置库·MOIA配置库 ·平台ETL工程（优化后） 省行 2~30 SANFCSwitch 66116001 FC阵列 ?DS8.5管理应用 SANFCSwitch ●DS8.5资料库