全栈式数据应用发展历程

2024帆软商业智能峰会 全栈式数据应用发展历程 演讲：汪何兵 帆软软件有限公司 全栈式数据应用解决方案 决支策持门户 统一门户用户管理权限管理 应方案用 封装 大制造 精益生产供应链塔控制 订单周全期生命数销字…化.营 单点登录系统集成任务调度 大健康 SFE分析 产品分析客户分析单据分析…. 领导驾驶舱主题分析看板经营会议报告 泛地产 项目云助手 工程管理ROIC 招采分析…. 定时报告预警分析移动推送 泛金融 数字工作台 存贷对比产品状态条线分析…. 自助分析资产中心云端知识库 大消费 门店管理 会员运营商品运营物流监控…. 多终端展示 大民生 智慧物流 智慧交通电力新能源数字高校.... 产品化 阿米巴 全面预算银行小秘书零售管家…. 产品共创智数大会 体 生态 系 百城巡展行业峰会 数据应用研究院 体 务 技术支持服 定制开发 客户成功系 项目服务模式 实 数触达据 平台 FineReport FVSFineMobile FineBI-自助分析核心组件 流程化表单组件-简道云 PMP认证施体 填组报件 复报杂表 及大3屏D 移端动组 预推警送 普DE通F函报数表 故事仪表板 平台管理 快捷分析仪 自助OLAP分析 数自据助解数释据/预集警 数分据析分协析作共享 自定义表单自定义流程 知识库 项目实施策略系 组件组件 件组件 Spider引擎（本地/直连）-数据集市（业务包）表盘 底层数据开发人才 数基据座 业系务统 数据回填 海量数据处理 并行计算导出 行业存储组合 FD流L批一体调度 实时数据对接数据服务 异构数据处理数据安全恢复 SaaS云数据库 创建企业轻应用 数据产品/运营人才自助分析人才 人才体 易用易维护算力线性提升高性价比 ETL设计 健信康息市物场料设备… 数据人才配比系 OAERPMESCRMEHR PDM SCM EAM…… 上报申请巡检… 人才培养路径 从传统报表到敏捷BI 产品和服务的融合 零代码的重现 拥抱AI新时代 CHAPTER1 从传统报表到敏捷BI 以IT为中心的预定义报表 需求相关固定报表相对复杂功能细节要求高 日报、月报、年报 多源经报、财报 功能丰富度 需求开发优化发布 领导驾驶舱得到重视 3D数字孪生的持续加持-智慧城市，智慧园区，智慧工厂 汇报展示 监控指挥中心 展厅大屏 车间看板 个性定制 移动互联网下的终端诉求 消息推送移动交互扫码查询 敏捷BI-自助分析浪潮兴起 IT和业务人员看待数据的不同视角 举例：某个时间点利润率下降的原因？ 由业务提需求-IT实现转为IT和业务合作实现业务与数字技术“双轮驱动” IT关心什么 业务关心什么 数据处理流程 数据分析流程 如何用简洁的架构完整描述业务 什么时间？哪位客户？ 在哪个门店？购买了什么东西？ 问题和答案 问题通常是一连串问题的组合，寻找答案更像剥洋葱 业务分析的过程，都是不同维度层 业务 原始ODS 数据 DW/DM 数据数据 获取分析 分享数据 与应用 协作 以及具体的交易数据 次之间的钻取和关联分析 方式1 业务 IT（只查看） 思考逻辑 期望的正确答案是基于明细汇总、自下而上的聚合视角 思考逻辑 同样一份数据，不同岗位、不同人的需求截然不同，对应问题所在的层次不同 方式2IT 业务 （可视化配置） 工作重心 重在维护数据 工作重心 重在探索问题 方式3 方式4 IT业务 （数据分析+可视化） IT业务 （数据处理+数据分析） 简单、高效、性能-强大好用、人人可用 简单高效配置多表关系 友好的模型视图界面，仅需拖拽数据表，自动识别公共字段并建立多表关系，使得模型构建过程既简便又高效 灵活和高效的多表分析 用户可以直接拖拽来自不同表的字段进行分析，减少以前繁琐的合并操作的困扰。同时，模型强化了指标的复用性，一次创建，多次应用，提升了效率和一致性 为分析提供更好的计算性能 当模型在计算时，通过减少参与计算的数据量，提升了分析计算时的性能；此外，通过减少中间数据表冗余，进一步优化了系统性能，为用户提供稳定高效的数据分析体验 发展趋势 传统BI和敏捷BI的共同发展 国内企业 企业报表平台在国内的表现依旧强势 Gartner报告提到中国大多数企业仍需要传统报表，尤其是中国式的高度格式化的报表，而本地供应商也很好地满足了这一市场需求 帆软联合CIO时代学院，通过调查国内300余位CIO，68.8%的受访企业都认为报表式BI目前仍是我国企业中主要的BI表现形式 CHAPTER2 产品和服务的融合 当应用只有产品可能会： 用不起来 需求沟通 业务调研 开发规范 模块评估 技术预研 蓝图制定 质量管·理 项目协同评估 风险评估 数据治理关键用户培训 测试规范 最终用户培训 企业数据中心行业落地方案 上线评审 可视化分析定制业务方案 优势特点 •专业的项目服务团队：标准的7+5项 目服务模式 •系统的流程和工具·支撑：进一步确保 项目的高质量交付，提高项目服务效 率 •项目全周期深度参与：覆盖项目需求 端到运维端的全过程管理 项目评估 项目规划 蓝图设计 系统建设 上线切换 交付验收 持续支持 支持服务 持续满意 巡检服务 增值服务 7+5项目服务模式 系构统建 •项目技术预研 •生产开发环境分离 •上线运行支持及优化 数策据略 •数据治理策略 •数据监察体系建立 •数据质量监控 质管量理 •蓝图方案评审 •开发规范评审 •项目测试评审 •上线方案评审 知识 转移 •关键用户培训指导 •系统实施&测试培训指导 •系统使用培训指导 •项目整体文件知识转移 需规求划 •引导式/咨询式需求调研 •系统运营体系建立(客户) •新需求对接咨询 项目支撑快速落地 专业贵，开源难，实时数仓需求增多 可视化整合多源异构数据高效搭建企业级数据仓库 补全转换不合规数据，统一数据口径，提升数据质量 预警跨业务数据异常，实现“数据找人” 实时同步数据(跨地域跨业务)提升业务数据时效性 毫秒级数据复制，实现企业数据快速备份 用于搭建实时ods层，构建高时效数据仓库 依托于API构建企业级数据资产，互通共享 深化SaaS连接器，实现全业务流程自动化 云上数据快速下云备份，提升数据管理规范性 安全稳定的跨域传输，节省专线成本 零侵入式实时同步 低成本构建数据服务 高效智能的运维 平台拓展能力 多表/整库同步 脏数据阈值 鉴权认证 动态传参 统一管理平台 分级授权 内置SparkSQL 调用SQL脚本 断点续传 异常通知 黑白名单 API检索 实时监控及通知 字段级报错日志 调用Shell脚本 未来将要支持的插件 CDC增量同步 同步源表结构变化（DDL） 分页查询 在线测试 任务队列自调优 灵活调度策略 …… 多源数据采集 高效数据开发 支持五大数据同步方式 产品安全特性 低代码、流程化操作 关系型数据库 非关系型数据库 ETL+ELT双核引擎 json/xml解析 时间戳 日志解析 数据加密解密 支持安全协议 在线web端操作 向导式配置路径 文件数据 大数据平台 接口数据 简道云数据 步骤流/数据流 跨系统/平台计算 DML智能装载 任务开发调试 触发器 全表同步 全表对比增量装载 登陆控制 SQL防注入 图形化拖拽式开发字段自动映射 行业产品化深入行业业务 电子电气 •精益生产管理； •精益供应链管埋； •智能制造可视化应用实践； •报表体系建设探索经验分享； 装备制造 •智慧数字工厂； •PDCA监控闭环； •数字流程管理； •降本增效提质； •生产周期管理； 建筑行业 •集团数据资产建设思路 •如何应用数据手段加快业财一体化 •工程数字化指挥中心与智慧 工地建设 银行行业 证金保险期货 • • • • • 银行小秘书； 行长驾驶舱；直销银行2.0；智能化网点；小微金融； •管理驾驶舱 •数据治理 •监管报送 •精细化自助分析 •全面风险管理 医药健康 •精准医疗； •智慧医药生态链； •医药大数据平台建设； •医药风控通； •营销金助手； 地产行业 •数字领导力 •管理驾驶舱、数据大屏 •运营管理系统 •流程精细化 •房地产决策分析平台 化工行业 •数据化智能排产； •数据化经营会议； •阿米巴数据经营平台； •能源化工数据中心建设； •数字化园区信息共享平台； 时尚行业 •供应链管理； •分销商管理； •数据驱动业务； •数据支撑决策； •全渠道建设； 零售行业 •EC电商； •零售管家； •会员管理； •门店数字化管理； •门店移动端解决方案； •面向高层的数据化管理 数据人才服务-激发数据意识，培养数据人才 OA ERP MES CRM EHR PDM SCM 外部接口数据 E1离线数据 D3DM层 批处理 定时调度 全量/增量 数据应用集市 主题汇总表 应用结果表 E2实时数据 D2DW层 流处理 实时抽取 全量/增量 数据业务模型 维度表 事实表 E3API数据 D1ODS层 关联集成 API接入 API发布 操作数据存储 原始表 标准表 低代码、高时效一站式数据集成 高性能、高可靠超融合数据仓库 FineReport 管理驾驶舱 分析看板 FineBI 探索分析 分享协作 JDY 表单制作 流程设计 一个平台+两个体系+三方面应用-平台建设 数据源 数据集成 数据仓库 应用 平台建设 体系建设 指标分析体系 数据人才体系 应用建设 宏观经营层 体系深化层 场景应用层 一个平台+两个体系+三方面应用-指标体系建设 指标体系梳理 基础信息 业务标准 技术标准 管控标准 其他 主题域 一级主题 二级主题 标准项编码 标准项中文名称 标准项英文名称 标准项常用名称 业务定义 指标类型 计量单位 计算公式 指标口径 维度编码 维度名称 标准来源 外部参考标准 数据长度 刷新频率 数据类型 数据精度 业务责任部门 参与编制部门 指标适用范围 版本 修订人 修订时间 状态 备注 •该部分描述指标数据项所对应的分类主题：通常采用价值驱动管理举措方式或业务流程框架方式进行分类 •该部分描述指标数据标准项的基础信息，包括数据标准项编码、中文名称等 •该部分描述了业务管理过程中指标数据所涉及的要素 •业务标准是对数据标准项业务含义的统一解释及要求 •该部分描述了指标数据项在业务应用时对技术属性的统一要求与定义 •该部分描述了数据标准项管控过程所涉及的信息，包括业务责任部门，参与编制部门等 维度编码 维度名称 维度属性编码 维度属性名称 维度属性值域 维度属性层级 关联基础数据标准项编码 关联基础数据标准项名称 备注 •该部分描述分析维度下的基础信息，包括维度编码，维度名称，维度属性信息等•该部分描述分析维度属性所关联的基础数据标准项的编码及名称 标准的梳理方法+专业的行业顾问+丰富的实践沉淀 平台建设 体系建设 指标分析体系 数据人才体系 应用建设 宏观经营层 体系深化层 场景应用层 一个平台+两个体系+三方面应用-人才体系建设 高层领导 升级数字化战略管理能力。 ——数字领导人才 培养重点 战略管理类培训：战略管理与认知升级，强化数字化战略输出与组织能力建设 董事长、CEO、CIO、CDO、CTO等 部门负责人 搭建数字化管理人才梯队。 ————数数字字管管理理人人才才 培养重点 岗位管理类培训：对齐企业数字化转型战略，强化复合型领导梯队塑造 管理高潜、新任负责人、中高层管理者等 业务骨干 重点储备“懂业务＋懂技术”的复合型骨干。 ——数字管理人才 业务人才 打造复合型数字人才 信息技术人才 营销、运营、销