数据中台建设汇报方案

目录 1、项目概况.........................................................1 11.1、项目背景...................................................11.2、现状分析...................................................11.3、建设依据...................................................21.4、建设目标...................................................31.5、建设内容...................................................31.6、建设效果...................................................42、项目建设方案.....................................................42.1、总体架构...................................................42.2、详细建设方案...............................................62.2.1、数据资源梳理.........................................62.2.2、建立数据标准.........................................72.2.3、数据接入服务.........................................82.2.4、数据处理系统.........................................92.2.5、数据资源目录........................................102.2.6、数据监管服务........................................122.2.7、统一的数据服务......................................152.2.8、数据共享交换服务....................................162.2.9、数据可视化服务......................................17 2.2.10、大数据支撑平台（未在数据治理中报价）...............17 3、方案投资预算....................................................18 3.1、预算依据..................................................183.2、建设周期..................................................193.3、经费来源..................................................193.4、项目总投资估算与明细清单...................................1 1、项目概况 1.1、项目背景 落实公安部十三五规划 公安部《公安发展“十三五”重点建设项目实施方案》将“深度应用云计算、大数据、物联网等新一代信息技术，打造公安信息化升级版”作为第一项重点任务；江苏省公安厅党委作出实施“数据强警”战略行动的决策部署。这些都为公安机关深入推进云计算、大数据技术条件下的公安信息化建设应用，指明了发展方向，提供了决策依据。 实现深化实战应用建设的需求。 伴随着数据量的与日俱增，基层民警对业务的理解随着大数据思维的影响越来越活跃，日益复杂的应用需求、应用的个性化要求日益增多、模型的快速个性化开发、应用的实时交流与共享、专项行动支撑等敏捷式交互已成主流，所以目前迫切需要既能贴近公安干警日常各类应用的大数据支撑统一平台。 分局目前无数据留存的载体，使每次新建业务系统都需要协调市局或分局各部门的数据未能体现数据共享的原则，随着业务系统的不断深入，分局也迫切打 破数据壁垒，能对接各局、委、办的数据加以综合应用。 1.2、现状分析 高新区分局目前信息化水平已步入全局前列，但是在数据使用和管理上仍然存在诸多问题和矛盾，主要体现在以下几点： 分局建设了若干应用系统，系统建设后的每种应用产生的二次加工数据未回流，不知存在哪里，也没有把二次产生的历史数据利用起来。 每次建设不同应用系统都会向市局申请数据，相同的数据资源重复申请，本地未能做好备份和数据积累。 数据质量无法管控，数据安全性无法保证。信息不全面、不及时、不准确，容易造成管理漏洞。 对数据资源价值认识不足缺乏大数据应用经验。应用的规划局限大，应用的建设成效不理想。 1.3、建设依据 公安云计算建设指导意见》、《公安警务云大数据平台功能性要求》（公科信【2015】119号） 《公安发展“十三五”规划（2016-2020）》（公安部） 《关于大力推进基础信息化建设的意见》（公安部） 公安部《关于贯彻落实〈全国公安装备建设“十二五”规划〉指挥信通装备建设项目的工作意见》 公安部《公安机关信息共享规定》公通字【2015】6号 公安部《关于稳步推进公安云计算中心建设的指导意见》 《公安信息资源服务平台建设任务书》（公科信[2014]73号，公安部科信 局发布） 《公安信息中心技术建设总体框架》（公科信[2014]4号，公安部科信局发布） 《公安数据元》（GA-T/543)系列标准 《公安请求服务总线系统技术规范》（GA-T/739) 《资源服务总线系列标准》（公安部科信局发布） 《公安信息系统应用日志采集规范》（公安部科信局发布） 《信息服务应用门户界面设计规范》（公安部科信局发布） 《公安信息化标准汇编》（公安部科信局发布） 《采用PKI/PMI技术的公安应用系统安全建设技术指导书》（公安部科信局发布） 《公安信息通信网边界接入平台安全规范》 《公安信息公网移动接入及应用系统安全管理暂行规定》 《公安信息中心建设总体技术框架》 国家颁布的相关法律、法规、规范 1.4、建设目标 通过大数据中台建设，汇集大量公安及社会层面的数据资源，并整理形成数据资源目录，梳理数据的字段结构、数据字典项等内容。为全面推动公安数据标准化工作、促进信息资源的共享，确保数据质量，进一步规范基础数据采集、数据资源共享交换，以“全面整合信息资源、信息高度集成共享、方便基层民警使用、贴近一线实战业务”为指导思想，面向决策与实战的大数据应用和面向公众 政府信息共享与部门间业务协同等工作为目标，对虎丘公安内、外部的海量信息进行加工、处理、整合，建设具有高新区公安局特色的大数据管理服务平台。以数据治理为抓手，以共享服务为支撑，以警务实战为唯一检测标准。 过程中以“建的精、管的细，用的好”为指导思想推进数据中台建设。 建的精：通过建立数据交换平台和渠道，构建“大数据基础”。 管的细：通过大数据支撑跨部门跨系统的应用建设，实现“大数据综合治理”。 用的好：通过分析挖掘和营运大数据面向不同业务提供服务，建成“大数据公共服务”。 1.5、建设内容 结合高新区分局的需求和实际情况，本次规划高新区分局数据中台项目主要从以下几个方面开展建设。 1.建立高新区分局数据标准 2.整理目前所能获取的数据资源 3.高新区分局数据接入服务 4.数据清洗系统 5.建立数据资源目录 6.建立数据监管系统 7.建立统一的数据服务系统 8.建立统一的数据交换系统 9.建设数据可视化服务系统 项目建设分三个阶段完成，建设周期9个月。 1.6、建设效果 1.打破数据孤岛，形成内部开放的数据格局 基于自身的信息化建设基础、数据基础以及业务特点对数据中台的能力进行定义，汇聚内外部数据，形成数据仓库，通过清洗、数据资源目录，开放的数据共享和交换服务，使数据在汇聚的同时，提高数据的准确和有效性，能充分达到内外部系统的方便有序共享。 2.快速响应业务需求，灵活实现数据服务 大部分服务都是围绕数据而生，数据中台是围绕向上层应用提供数据服务构建的，中台战略让数据在数据平台和业务系统之间形成了一个良性的闭环，应用与数据之间的关系较之以往更加紧密。从而使敏捷前台开发成为了可能。 3.深度挖掘数据价值，为整合高阶算法打下基础 数据资产的最大价值在于分析应用，当下的诸多高阶的算法，其应用场景都是建立在一个相对规范，体量巨大的数据资产之上的。数据中台构建了开放、灵活、可扩展的统一数据管理，将内、外部数据随需关联，打破了数据的系统界限。从而为日后的可视化建模等高阶的分析应用提供了良好的数据基础。因为数据的良好基础，从而使跨维度，带算法的分析成为可能，从而真正能实现大数据分析的“随需而变、数里淘金”。 2、项目建设方案 2.1、总体架构 数据中台的总体架构以全域大数据建设为中心，覆盖整个大数据获取、治理、建立目录、共享、服务、可视化的全链路环节。 架构总体上是一种服务化的架构，各服务模块间弱耦合。每个模块对外的服务是开放性的，这意味着各种不同的模块可以按需使用。不仅如此，合理、恰 当、符合逻辑的问题拆解，将每个子问题域控制在合适的粒度大小，这利于展开落地方案的架构设计，并为系统的运行演化奠定了模块化、组件化的指导基础。 各层次间的衔接与交互采取“服务化”的设计思路，层次间弱耦合，在层间通信契约稳定的前提下，各层均可独立的进行扩展变更。同时，基于这种松耦合的逻辑设计与实现，在部署架构上，可以支持灵活地按需部署，各种不同的模块部件，可以按需地分布在相同或者不同的进程单元中，并且各层次内也可以根据数据处理规模来横向伸缩扩展。 2.2、总体设计原则 数据中台的涉及内容众多，技术复杂，使用对象覆盖面广。因此，在建设时，项目规划设计应遵循以下基本原则： 先进性原则。本项目整个平台应采用先进的技术，符合技术发展趋势。数据中台采用先进技术，针对不同的业务场景，采用不同的计算和存储技术来对应等。平台采用先进的架构，各个部分之间采用松耦合，一个子系统出现问题不会影响其他系统。 易用性原则。平台应注重易用性，方便用户使用。数据中台的各个子系统注重易用性的设计，界面和操作直观、美观、方便，易理解性，使用户抓住重点， 一目了然；易操作性，提供便捷、一致的操作方式，减少用户输入和点击次数；易管理性，缩减安装、配置、实施、备份的时间和难度。 安全性原则。应充分保证数据的安全性，提供合理的解决方案。针对数据安全性，采用立体化的安全防范手段，一方面加强对现有安全设备的利用，另一方面应采用安全加密和脱敏系统加强对数据的防护，并结合已有的安全管理制度，共同形成高安全性防护。 扩展性原则。平台应考虑技术的发展和未来的应用需求，提供良好的扩展性，确保随着业务的发展能够快速进行系统的扩展。为保证系统的可扩展性设计，在系统架构上，采用系统分层设计实现。保证在设计开发上具有适应业务变化的能力，当系统新增业务功能或现有业务功能改变时（界面的改变、业务实体变化、业务流程变化、规则的改变、代码改变等），应尽可能的保证业务变化造成的影响局部化。 整体性原则。要考虑各系统之间的集成，形成一个整体对外提供服务。由于数据中台类项目涉及的子平台和子系统众多，为体现系统的整体性，应提供统一门户，完成各子平台和子系统的身份统一和集成，完成各系统的界面、应用和数据集成，确保各部分形成一个整体统一对外提供服务。 2.3、总体建设方案 中台技术建设逐步成为构建“大中台、轻应用”的信息化建设格局，加快信息化应用创新和发展，进一步解决现有数据平台瓶颈的重要手