FineDataLink产品白皮书

©帆软软件有限公司1/45 中国商业智能领导品牌 FineDataLink产品白皮书 低代码/高时效的企业级一站式数据平台产品 目录 1.企业为什么需要FineDataLink？5 1.1企业数据处理的困境5 1.2平台数据集成工具已成为趋势5 1.3FineDataLink定位及核心能力6 1.3.1产品定位6 1.3.2产品受众7 2.FineDataLink产品架构和配置要求8 2.1产品架构8 2.1.1FineDataLink功能结构8 2.1.2FineDataLink技术架构8 2.2配置要求9 2.2.1软件环境9 2.2.2硬件环境10 3.FineDataLink功能概述11 3.1系统部署11 3.1.1支持的数据类型11 3.1.2数据源管理11 3.2数据开发12 3.2.1数据同步12 3.3.2数据转换15 3.2.3SQL脚本23 3.2.4参数赋值24 3.2.5虚拟节点25 3.2.6调用任务25 3.2.7条件分支26 3.2.8消息通知26 3.2.9循环容器28 3.2.10备注说明29 3.3数据管道29 3.3.1数据管道29 3.3.2任务设置-选择来源30 3.3.3任务设置-选择去向31 3.3.4表字段映射32 3.3.5管道控制32 3.4系统管理与运维32 3.4.1任务运维32 3.4.2权限管理33 3.4.3资源迁移35 3.5FineDataLink组合方案36 3.5.1FDL+FineReport36 3.5.2FDL+FineBI37 3.5.3FDL+简道云37 4.联系我们39 5.关于帆软40 5.1品牌领导力41 5.1.1组织规模41 5.1.2服务范围41 5.1.3销售业绩41 5.2品牌影响力41 5.2.1标杆客户41 5.2.2行业覆盖41 5.2.3用户规模42 5.3产品体系42 1.企业为什么需要FineDataLink？ 1.1企业数据处理的困境 在过去的20年中，企业投入了大量的人力、资金在企业IT信息化建设上。随着云计算、大数据、物联网、移动应用的深入发展，众多企业结合自身发展状况应用新技术，加速数字化转型进程，促进业务发展；为应对日趋激烈的市场竞争，企业信息化已成为品牌实现可持续化发展和提高市场竞争力的重要保障。 IDC在2019全球CIO年度议程预测中提到：“到2021年，在业务需求的驱动下，70%的CIO将通过建设数据质量和调度体系架构为企业打造敏捷连接，这些体系架构将为企业中各种业务垂直的数据系统提供数据沟通的桥梁。” 然而要实现各个业务系统的垂直的数据连接，将数据转化为价值，面临众多挑战： 数据采集时效性差：平台、应用数据来源繁多、类型多样；数据实时性要求高，实时采集压力大；需要多种处理工具甚至代码实现，采集成本高。 数据处理效率低：业务的灵活数据处理需求，无法及时响应；ETL数据开发复杂，业务数据获取延迟高；处理好运维需要依赖专业IT技术人才； 数据管理难度大：数据生命周期维护操作复杂；权限管理繁琐，无法高效共享数据；异常中断时，数据难以回复。 总的来说，以上问题是一系列的连锁反应，问题的根源是缺乏有效的技术方案进行支撑。 1.2平台数据集成工具已成为趋势 在数字化转型过程中，来自企业的产品、运营、供应链、市场营销各侧的数据呈现爆发式增长，越来越多的企业开始意识到数据资产的重要性，越来越重视精细化管理，其中，通过系统数据间进行融合，对业务进行整合管理，是数字化转型的重要一步。 为了最大限度挖掘数据价值，对各个系统进行数据融合，企业的数据体系改革迫在眉睫，可以从以下 两方面着手： 管理方面，需要建立一套符合数据驱动的组织管理制度和流程。 技术方面，需要建设现代化数据平台、引入智能化技术，确保数据平台持续、健康地，为数据资产管理体系服务。 为解决目前大多数企业正在面临的多种复杂系统集成需求，推荐采用iPaas（integrationPlatformasaService，集成平台服务）来解决此类问题，关于此服务，著名咨询公司Gartner在2021年的《2020年的iPaas市场占有率分析》报告中总结说：2020年，iPaaS以38%的惊人速度增长，达到35亿美元，成为最大的独立集成市场。技术和服务提供商必须将iPaaS视为一个战略性、快速增长且高性能的市场，这将加剧竞争和整合。 FineDataLink是一款低代码/高时效的企业级一站式数据平台产品，面向用户大数据场景下，实时和离线数据采集、集成、管理的诉求，提供快速连接、高时效融合各种数据、灵活进行ETL数据开发的能力，帮助企业打破数据孤岛，大幅激活企业业务潜能，使数据成为生产力。 1.3FineDataLink定位及核心能力 1.3.1产品定位 FineDataLink致力于为企业、为数据开发者、为数据分析师、为数据资产管理者，结合数据库、上层通用协议、文件、消息队列、平台系统、应用等，打造一个具备开放的、一站式、标准化、可视化、高性能和可持续交付的自助化数据调度与治理平台。 FineDataLink赋予用户仅通过单一平台，即可实现实时数据传输、数据调度、数据治理等各类复杂组合场景的能力，为企业业务的数字化转型提供支持。 以数据为基础，以全链路加工为核心，提供数据汇聚、研发、治理等多种功能，满足平台用户的数据需求。 FineDataLink有以下特点： ELT、ETL双核引擎，针对不同业务场景提供定制化解决方案 流程化任务开发，快速上手，更高的易用性、更低的学习成本带来更高的开发效率 任务支持灵活调度、运行状态实时监控，便捷的操作将会释放运维人员巨大的工作量 针对环境多重使用角色，定义每类角色的专属权限 开发环境与正式环境通过资源迁移模块，可快速实现任务发布 集成企业微信、钉钉等多终端，不错过任何预警通知，真正实现让“数据找人” FDL加工后数据可一键式同步至FineBI，供业务人员快速开展自助分析 简道云表单数据快速落库，和其他业务系统数据进行联合处理分析，打通帆软系产品数据层 1.3.2产品受众 ①目标客户 目标客户关键特征：数据展示和分析前，需要进一步处理数据。 数据建设不完善：未搭建专业规范的数据仓库，数据未达到可直接使用的状态 业务需求个性化：数仓建设主要满足通用的数据使用场景，个性化的业务场景未能满足 敏捷开发的需求：希望在做报表展示、数据分析之前或做的过程中，能够快速调整用到的数据 ②目标用户 职位定位：需要做数据处理的报表开发工程师，数据处理人员、数仓开发工程师、IT人员 核心事务：为数据使用准备数据，处理数据。 2.FineDataLink产品架构和配置要求 2.1产品架构 2.1.1FineDataLink功能结构 数据处理人员将多种异构数据源，一键接入数据平台，使用灵活的ETL数据开发和任务引擎，为上层应用预先处理数据，帮助企业处理出质量更高、更利于展示与分析的数据。 2.1.2FineDataLink技术架构 FineDataLinke是B/S架构，其核心引擎代码基于Java开发，具有良好的跨平台兼容性，支持各种操作系统，支持主流web应用服务器。技术架构图为： 2.2配置要求 2.2.1软件环境 此表为FineDataLink常规推荐软件配置。 软件环境 推荐环境 支持环境 操作系统 LinuxCentos7.6及以上 Linux、Windows 浏览器 MicrosoftEdge、谷歌 单核心：谷歌、火狐、Edge、Safari、Opera双核心：360浏览器、搜狗浏览器、QQ浏览器、UC浏览器、猎豹浏览器、百度浏览器 2.2.2硬件环境 此表为FineDataLink常规推荐硬件配置。 组件 型号要求 服务器台数 CPU 16核，主频2.0GHz以上，L3缓存20MB以上 1台 内存 建议16G以上 内联网卡 最低1Gb/s（千兆网卡）推荐10Gb/s（万兆网卡） 外联网卡 1Gb/s（千兆网卡） 机械磁盘 容量：50G以上I/O:300MB/s以上 3.FineDataLink功能概述 3.1系统部署 3.1.1支持的数据类型 FineDataLink作为数据编织平台，需要各种各样的数据来源当中取数。可支持的数据源类型包括： 关系型数据库； 非关系型数据库； 接口类型数据：支持RestAPI、简道云等多种形式的API数据接口 文本数据：Excel文件，Txt文件； 3.1.2数据源管理 支持定时抽取的数据源： 关系型数据库：包括MySQL、Oracle，SqlServer，PostgreSQL，SQLite，HSQL，IBMDB2，Informix等主流的关系型数据库； 非关系型数据库：支持MongoDB等非关系型数据； 大数据：包含大数据场景中常见的数据源种类，如数仓引擎SAPHANA、Hive，Impala，Presto、 ClickHouse等； 接口类型数据：支持RestAPI、简道云等多种形式的API数据接口； 文本数据：Excel文件，Txt文件； 简道云：针对简道云应用的API&Webhook进行易用性优化定制数据源，满足定时同步场景。 支持实时抽取的数据源： Mysql（Binlog）：基于Mysql的Binlog日志解析进行数据增量抽取，支持数据本身及其元 数据（DDL）的增量变化，要求Mysql5.6及以上。 Oracle（Logminer）：基于Oracle的Logminer日志解析进行数据增量抽取，支持数据本身及其元数据（DDL）的增量变化，要求Oracle版本在9i~19c。 Oracle（CDC）：基于Oracle的CDC最小基本日志进行数据增量抽取，支持数据本身的增 量变化，要求Oracle版本在9i~11c。 Sqlserver（CDC）：基于Sqlserver的CDC最小基本日志进行数据增量抽取，仅支持数据本身的增量变化，要求Sqlserver版本在为企业版（EnterpriseEdition）需要2008及以上版本，标准版（Standard）需要2016SP1及以上版本。 3.2数据开发 3.2.1数据同步 当用户需要将数据从一个数据库抽取到另一个数据库时，就可以使用「数据同步」节点，通常数据同步适用于较大数据量的同步场景，当单表数据量超过1kw时，推荐使用数据同步。 支持通过SQL从源数据库的表中查询取数，且支持引用ETL任务中的参数。 数据预览：支持先用「数据预览」看下取数效果。 字段映射：支持查看或修改源表跟目标表的字段关系。 API数据源：数据源类型选择RestAPI，填写API地址和JSON路径。 数据去向： 目标表：「已存在表」是选择目标数据库中已有的表来存放数据，「自动建表」是直接在目标数据库中新建一张表来存放。 写入方式：数据写入目标数据库表的方式，可以选择「直接将数据写入目标表」或者「清空目标表再写入数据」。 比对字段：允许指定一个或多个字段作为比对字段，来更新目标表中的数据，实现增量写入。 更新策略：可以根据选择的字段，选择数据的更新策略，是覆盖、还是忽略。 数据同步至FineBI：数据同步节点和DB表输出算子的数据去向支持在FineBI公共数据中自动创 建ETL结果表，勾选配置后，ETL任务输出时可快速同步数据到FineBI。 3.3.2数据转换 数据转换提供输入、输出、转换、实验室、其他类型的节点，可在抽数过程中实现复杂的数据转换。 包括实现数据跨库关联等场景。 可以把「数据转换」节点设置界面的那些节点称为算子，这些算子的类型有： 数据输入：获取要关联的数据，可以是数据库数据、RestAPI数据、数据集数据、简道云数据、 MongoDB数据库数据。 DB表输入：可实现获取数据库数据表的功