云上数据集成的产品及相关实践

| 云上数据集成的挑战和实践 腾讯云高级工程师 目录 CONTENT 01 云上数据集成的挑战 企业核心诉求梳理 云上数据集成产品落地 03 DataInlong产品简介 02 云上数据集成平台设计 方案和平台分析 云上数据集成的实践 04 客户经典案例介绍 | 01云上数据集成的挑战 企业核心诉求梳理 数据源数据传输数据端 数据开发平台 结构化数据 交易数据 CRM数据 集成组件 流计算 … 非结构化数据 SqoopDataxKettle 云数仓 数据湖 日志数据 … 半结构化数据 行为数据 … 计算组件 FlinkSparkMR 集成产品DPDWDI … EMR ES BI MYSQL … 引擎 数据源种类 吞吐 稳定性 开源社区 场景 Spark 基于API扩展 高 资源依赖复杂，环境适应性差 顶级社区 大批量实时同步数据转换 Flink 社区有部分，支持行扩展 高 环境适应性、 数据源亲和性差，跨集群访问配置复杂 顶级社区 大批量实时同步数据转换 Sqoop 支持的数据源种类偏少 高 基于MR框架，运行在hadoop集群，比较稳定 顶级社区 大批量实时同步数据转换 Flink：部分场景吞吐优势，时延低，周期性数仓等场景下灵活性不足、资源利用率低。 Sqoop：支持数据源种类少，基于MR框架，稳定性高。Spark：吞吐极高，参数配置复杂，稳定性差。 场景化 大数据上云湖/仓搭建 线上服务系统 海量化 TB级每小时百万条每分钟天级别持续运行 服务稳定 企业诉求 容错性强准确率高 故障自动恢复 运维简单 屏蔽底层资源可拖拽配置 数据传输可视化 多样化 数据源种类多单个链路的数据源多数据源的数据格式多 快速搭建 开箱即用 插件灵活扩展无缝衔接生态 技术支撑场景全面开箱即用生态一体 | 02云上数据集成平台设计 方案和平台实现 关键设计 多Agent支持 批流一体，配置统一 读写端解耦 业界类似的解决方案： AWS：kinesis+firehouse（多产品配合）华为：DIS（配套解决方案） 阿里：DataHub（配套解决方案） Comparison TubeMQ Kafka Pulsar Latency Verylow，10ms Low，250ms Verylow，10ms TPS High，14W+/s Normal，10W+/s High，14W+/s Filterconsume Supportsclientfilterorserverfilter Supportsclientfilter Supportsclientfilter Data Nocopies Multiplecopies Multiplecopies Reliability ReliesonRAID10 Low High,autorecovery Stability High,runninginTencentforalmost8yearswith33trillionsofmessageperday Unstablewhentopicsgrows HIgh Clientlanguage supportsJavaorC++ 1client(Officialsupport) 7kindsofclient CAPModel AP APorCP CPorAP 毫秒级时延：基于毫秒级低时延消息队列，端到端数据同步秒级时延 高性能：支持切换不同的缓存队列，基于存算分离架构的MQ在海量吞吐场景下具备更好的性能和稳定性 inlong在数据采集和消息队列间增加DataProxy，用于连接收敛、路由、数据压缩和协议转换 消息队列异常出现发送失败时，DataProxy会将消息缓存到本地磁盘进行容灾转发 manager：协调任务管理与资源调度 jobmanagerresourcemanager hive_sink T db_agent ... proxy ... 队列 ... ck_sink ... T task：执行资源，可分布式并行扩展 队列 proxy log_agent 数据集成弹性平台实现 原始日志 KAFKA 原始数据库 ... HIVE ES HBASE ... 数据源 数据端 deployment podpod loader task ... 任务底层抽象 设计原则 CLSCDB 云监控 ... 容器云生态产品 loader task loader manager 1.每个pod只属于一个任务 2.一个任务可以使用多个pod 3.manager主备高可用 4.manager和task在不同的pod 数据集成平台高可用设计 容器 Pod ManagerDeployment manager(standby) 1 Pod 5 4 3 2 ETCD ConfigMap leaderrpcaddresstimestamp... Task Task manager (Active) manager (dead) Leader选举方案 1.第一个创建出ConfigMap的成为Leader 2.Leader定期续租 3.Follower检查租约时间，过期则重新选举 Manager故障恢复流程 1.Manager发生故障 2.选举Leader 3.发布Leader信息，并开始服务 4.Task感知Leader变化，重新汇报信息 5.Leader正式服务 | 03云上数据集成产品落地 DataInlong产品简介 CONSOLE API SDK … 服务接入 数据链路 采集层 汇聚层 缓存层 分拣层 存储层 关系型数据库： 大数据： NoSQL： 轻量链路 更多： SDK HTTP realtime DB kafka DataProxy-N offline FILE Pulsar … sort TubeMQ DataProxy-1 SDK 审计对账 指标告警 状态监控 资源管理 运维服务 标准服务 数据源 OpenAPI 统一调度 统一安全 统一元数据 审批管理 帮助企业建设全业务场景的海量数据传输通道 海量集成框架 一站式敏捷体验 一体化云生态融合 【自研技术增强+内部业务孵化】 【开箱即用】 【链路融合】 【云原生算力融合+安全增强】 【无代码可视化配置】 【产品融合】 产品要素 【插件化灵活扩展】【资源全托管】【组件融合】 无门槛、免运维、低成本 平滑适配、全链路解决方案 稳定、安全、高性能 业务价值 独立DataInLong 数据开发治理平台WeData 场景化解决方案 数据汇聚 数据仓库 数据湖 数据中台 管理体系 敏捷数据生产 一体化运营 数据运营(DataOpeartion) 多租户管理 数据集成 (DataInLong) 数据建模 无缝(DataModel) 数据集成 (DataInLong) 数据开发 (DataStudio) 数据服务 (DataService) 数据数据数据 地图洞察共享 项目管理 用户管理 切换数据质量(DQ) DataOps生产流程：需求规划开发发布运维 成本优化(CO) DataOps运营流程：采集治理服务应用 数据源管理 审批管理 DataInLong提供了开放的技术能力，可与统一调度、统一元数据、统一安全等技术/产品服务快速深度融合。同时，支持平滑无缝升级至腾讯云数据开发与治理平台WeData，帮助企业更好应对快速变化、日益增长的业务数据需求。 基础数据支撑服务 元数据管理(MetaData)数据安全(SecurityCenter)统一调度(US) 多环境管理 平台开放 异构数据总线构建全链路数据开发与治理平台/数据中台搭建 离线/实时数据入仓入湖分析 实时报表展示… 异构数据同步 实时/离线数据传输 数据拉取/主动上报 产品融合 稳定、高效、安全的海量数据传输通道，覆盖数据集成全业务场景，无缝融合数据生态 | 04云上数据集成的实践 客户经典案例分析 稳定、安全 •多集群部署 百万亿级数据量 • • 实时高性能消息队列同步 全链路数据指标监控 为支持商户/个人两大微信支付业务场景，InLong内部部署交付两套系统，每套系统支持集群三副本容灾，支持三地多活保障支付业务平稳、稳定、安全运行。 为了解决广告部门数据来源广泛、采集点众多的难题，InLong为腾讯广告提供包括MQ在内的多种类型消息通道和接入方式，支持近百万亿级数据接入和处理，最终实现广告业务统一监控、告警和核心指标运营实时呈现。 全链路数据平台 •离线数仓与数据同步 •离线数据开发与调度 •元数据、数据资产管理与治理 企业云原生数据湖构建 •多种同步方式，多种数据源快速搭建云数据湖 •实时数据秒级同步iceberg，完成冷热数据计算 某电商平台：DataInLonginWeData 某传统企业：DataInLong+DLC 方方 案案 架架 构构 用 用 应个性化推荐用户洞察应 景 景 场商品/订单/库存数仓数据开发场 信息采集日志分析 实时数据入湖业务预测 | 客户痛点 •数据的开发、调度分工分散情况严重 •数据质量低、数据落标困难 •大数据组件运维复杂、缺乏集中统一的有效运维中心 方案架构 •2021金融业新技术应用创新突出贡献奖 •2021年度农村中小金融机构科技创新优秀案例 应用场景 零售和网金业务的指标标签营销 集市反欺诈智能决策数据探索 某商业银行客户数据能力中心建设 业务数据 核心账务、对公信贷、个人贷款、在线贷款、代发代扣、外汇资金、人民币资金、理财、基金、网银、信用卡、柜面、支付清算等 统一开发：18000+个数据任务统一落标：1000个标准项统一管控：19000+张数据表 •统一对接MYSQL/ORACLE/DB2/文件等多种数据源 •统一开发HIVE/SPARK/Shell/Python等多种任务 •基于事件和时间的统一任务调度及运维 •数据标准平台建表5000个标准项 •通过数据开发建模平台事前落标1000个 •数据资产平台展示完整字段级数据血缘 •统一数据权限的申请、授权、审批等管控 •精确到人到表的行列权限与动态脱敏控制 | 感谢观看 | 官网：https://inlong.apache.org 代码：https://github.com/apache/inlong ApacheInLong公众号