大数据基础平台建设方法
一、大数据建设目的及建设方式
信息化建设障碍:
- 企业内部应用系统相互独立,缺乏统一入口,员工需使用多个账户,频繁切换系统。
- 基础数据和主要数据在不同系统中重复、混乱,缺乏统一入口。
- 企业无法快速、准确地获取下属企业信息,并进行有效管理。
大数据管理:
- 大数据(基准数据)指系统间共享数据,与记录业务活动的交易数据相比,变化缓慢。
- 要点:唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理。
- 大数据管理解决的问题:
- 一物一码:同一个对象在不同系统中的统一标识。
- 核心信息的权威化:专门的维护点、审核点,创建流程、变更流程的记录。
- 扩展信息的完善管理机制。
- 企业规范的合法化:为IT部门进行整合提供技术基础。
大数据管理的实质:
- 基本档案:可根据需要挂接审批流程。
- 可供多个异构系统共享。
- 可通过封装服务访问。
二、大数据方案解读
大数据标准解决方案组成:
- 编码规则:管理对象、编码体系。
- 企业服务规范:数据交换方式的规定。
- 数据清理方案:原始数据的处理。
- 接入系统改造方案:数据库改造、系统功能改造。
编码规范:
- 管理对象的定义方式:基于信息系统信息处理需要,减少信息重复采集、加工和存储。
- 常见需要大数据管理的对象:组织机构、人员、用户、客商、物料、项目等关联型业务数据。
- 编码体系:
- 常用编码形式:分类码、顺序码、组合码。
- 单维度分类码与多维度复合编码的差异及选择。
企业服务规范:
- 内容:大数据平台与接入业务系统之间进行数据交换方式的规定。
- 制定步骤:
- 分析系统数据交换形式及流程。
- 根据分析结果确定服务及事件清单。
- 综合编码规范确定服务及事件的输入输出内容。
- 场景样例:
- 多点维护、统一认证:分子公司存在异构系统,允许直接增加数据,需集团核准。
- 统一维护、多点使用:集团集中控制,人员信息单一维护,客商、货品信息多级审批。
样例服务列表:
- 常见服务种类:查询、申报、变更、封存。
- 常见事件种类:推送。
样例服务定义:
数据清理方案:
- 原始数据的处理:数据规则改变导致的修改、不符合规范数据的清理、重复记录的清理。
- 原始数据数据量及清理方式:一般采用线下工具完成,使用Excel作为数据采集工具。
- 数据清理工作流程:期初数据清理、日常使用中的数据合并。
接入系统改造方案:
- 数据库改造:档案改造、属性对照关系处理、用户信息改造。
- 系统功能改造:历史数据处理、新增数据处理、反馈信息处理(数据推送模式、主动查询模式)。
大数据部署模式:
- 独立部署模式:独立中间件、独立数据库,所有系统均通过服务与管理平台对接。
- 模块部署模式:作为NC模块部署,共享NC基本档案数据。
三、产品运行效果展示
系统运行效果演示:
- 大数据管理平台:数据初始化服务、数据日常申报服务、数据查询服务、数据管理服务、数据推送服务。
- 数据服务总线:发布方式、数据发布格式。
- 接入业务系统Demo:数据无缝提交、数据推送。