腾讯云大数据TBDS释放数据应用高潜力

腾讯云大数据TBDS释放数据应用高潜力 徐晓敏腾讯云大数据总经理 腾讯——全球领先大数据技术与实践 在腾讯大数据inall 85万亿 日接入数据条数 150万亿 日实时计算次数 1800万 日离线作业数 50万 日机器学习作业数 1000万核 算力规模 对外开放腾讯业界领先的大数据技术实践 SortBenchmark性能冠军近百技术贡献者百万代码贡献 大规模运营技术 海量算力调度技术丰富运维工具沉淀 企业级数仓与数据湖 用户画像精准推荐ABTest实验平台 数据集成与同步 存储与算力支撑 公有云 1:1能力输出 弹性MapReduce 数据湖计算（DLC） 云数据仓库（TCHouse） ElasticsearchService 流计算服务（Oceanus） 数据集成服务（inlong） 一站式大数据开发治理平台（WeData） Ti-One智能钛机器学习平台 腾讯云BI 新一代大数据平台 TBDS WeData腾讯云BI 大数据引擎 数据开发治理 BI分析 腾讯云——大数据产品全景图 行业方案 政务一网统管数据平台产业管理 金融 智能风控监管推送决策分析 互联网 智能增长用户画像湖仓一体 媒体 医疗 教育 出行… IaaS 算力云原生/存储云原生 CBS云存储 CHDFS COS EKS/TKE CVM 全新一代TBDS——升级云原生Lakehouse架构 存储 HDFS DOP HBase COS 多类型工作负载 虚拟计算 虚拟计算 虚拟计算 虚拟计算 … 统一元数据 开放表格式存储（iceberg，hudi…） 全新升级 全新一代大数据平台TBDS 基于云原生+大数据+AI技术生态构建 具备稳定易用、极致弹性、湖仓一体等特性 经典大数据平台 基于传统Hadoop技术生态构建 具备开箱即用、极致性能、安全稳定等特性 产品说明 分析 Hive Trino SparkSQL FlinkSQL TCHouse 计 MapReduce Spark Flink StarRocks 算 ES 调度 Yarn K8S 增强组件 全新 技术Lakehouse 架构数据架构 设计 容器 服务器|容器 设施 基础 数据复杂化+应用多元化+需求敏捷化 全新一代TBDS——一站式全场景数据分析(ALLinOne) 海量数据高性能分析 开放高效联邦分析 近实时批流一体分析 丰富数据科学分析 数据中台敏捷搭建 ODS DWD DWS ADS 数据湖 离线场景 日度指标 实验指标 实时 T+0 数据集成 离线 T+1 数据入湖、存储、分析、应用大数据场景全覆盖 分钟-小时推送 实时打点 实时场景 交互场景 Ad-hoc探索 数据源 全新一代TBDS——平台核心优势“轻，快，易用，安全” 传统大数据平台挑战 技术复杂性高 需要数名资深工程师才能管理运维数据湖系统 资源成本高 计算存储资源无法提前准确估算，成本非常高 运维配套设施匮乏 迁移、容灾备份、监控、异常告警等运维设施匮乏 技术抗风险能力弱 开源技术繁多，规范各异，企业难应对技术高速迭代挑战 全新升级解锁卓越优势 更轻 •技术栈统一、聚焦 •架构敏捷，存算按需伸缩 •无服务形态，一次部署随开随用 更快 •海量数据查询3倍提速 •秒级启停，极致弹性 •T+1升级为近实时 更易用 •全面云原生，易运维 •开放不锁定，易与生态集成 •调优全托管、优化可观测 更安全 •多级多租户，隔离无干扰 •数据与资源权限集中管控 •全面强化5A安全体系 全新一代TBDS&WeData——平台核心优势“全栈国产” CPU 鲲鹏 海光 飞腾 兆芯 … 操作系统 TencetOS 麒麟 统信 红旗 … 数据库 TDSQL达梦 金仓 神通 … TBDS+WeData+BI 国密算法IPv6 WeData-数据分级分类；全平台IPV6双栈协议支tbds-存储sm4透明加密持 资质认证 信通院等机构核心大数据信创资质认证全覆盖 KonaJDK 基于大数据业务模型的专项优化 CDH迁移 迁移工具实现迁移自动化 灾备 跨集群容灾+数据备份恢复+一致性校验 性能突破 信创环境-全链路兼容优化，综合提升30%+ 多芯混部 实现混合异构CPU机型无差别部署和调度 国产化适配：CPU、操作系统、数据库… 核心XC资质 兼容互认证 已获专利 软件著作权 获奖个数 XC项目 •已收录进《XC技术图谱》产品库 •国密算法软模块符合商密一级要求 •KM4密钥管理符合商密二级要求 全面支持国产软硬件生态，涵盖主流芯片、操作系统、服务器等领域。 已落地某国有大行、兴业银行、国泰君安期货、中信建投证券等XC项目。 全新一代TBDS&WeData——“计算&开发全链路安全” 【WeData】全链路敏感数据智能治理 •【监管合规】：敏感数据扫描、分类分级，脱敏加密。 •【业界认证】：首批获得信通院数据安全分类分级认证。 •【智能快速】：智能分类，无需数据迁移即可开始安全治理 【TBDS】5A安全体系升级 LDAP统一用户管理 HDFS YARN Hive •认证：全面Kerberos认证体系 •隔离：多租户数据安全和合规 •加密：支持SM4算法，kms商密证书 •授权：支持文件，任务，表，列等细粒度权限控制 •审计：全流程，全覆盖的操作和日志审计 Kerberos 鉴权认证 Ranger 权限控制 HBase COS Trino ...... 文件、任务、表、列 CHDFS审计 某国有大行 5000+节点、30PB+数据，日调度任 务超10万个 轻量化国产大数据平台完成信息技术 融合创新环境适配 证券业首个国产大数据平台 云数融合国产大数据平台 基金行业采用国产大数据平台实现核心系统替换的首个案例 银行业首个存算分离数据湖架构 TBDS荣获2023-2024年度 新一代信息技术创新产品 TBDS荣获2023年度大数据应用突破产品 国有银行金融大数据解决方案，入选“年度信息技术应用创新解决方案”典型案例 证券行业首个国产化大数据平台荣获2023-2024年度数字化创新实践案例 全新一代TBDS&WeData——全栈国产大数据项目案例 全新一代TBDS&WeData——数据价值转化加速 数据开发 •结合TBDS湖仓存算引擎提供“可视化、轻便、高效”数据开发。 •一站式解决组件选型多、计算逻辑复杂，解决大数据开发效率。 数据治理 •包含数据规划/资产/质量，治理过程“简单配置、自动治理”。 •从源头解决数据不规范、不安全、不准确、不节省。 全新一代TBDS&WeData——平台易用性显著提升 WeData：Data+AI：突破开发&治理效能，提升产品智能化易用性，释放数据生产力 CopilotforSQL NL2SQL 智能数据治理 AIOps 数据集成 数据开发 数据资产 数据质量 数据安全 数据脱敏 资源函数 离线实时 质量报告自动化生成 数据血缘分析 分类分级 数据探索 全量/增量 权限管理 质量检测 数据地图 离线计算 整库同步 TBDS：聚焦存算资源可观测、智能洞察诊断，易运维 HDFS：文件大小、数量、变化可观测，风险智能感知 本地存储统计分布 文件类型存储量趋势 YARN：作业量波动、资源消耗分析；历史执行比对智能感知优化空间 本地存储统计分布 文件类型存储量趋势 Y a r 腾讯云BI——大模型对话式ChatBI，易用性显著提升 大模型发展催生新一代智能化BI，自然语言直接提问，腾讯云BI智能识别语义并输出图表结论，小白也会数据分析。 定制式传统BI 拖拽式敏捷BI BI行业演进 大模型智大能模B型I智能BI ChatBI产品能力 上下文连贯对话智能追问澄清意图查看SQL校验结果准确性猜你想问推荐相关问题导入Excel一键分析 解决的客户痛点 小白用户数据分析上手门槛高一次性分析临时制作报表效率低出差在外实时实地获取数据难 全新一代TBDS&WeData——业务场景总结 解决方案 提供能力 业务提升 典型应用场景 全行级数据湖 新一代湖仓平台 (ALLinOne） 低流 湖上查询加速 •全量数据统一入湖，先存后用； •找数、用数便利，资源集约化； •手机银行、小程序、智能柜台等数字化渠道数据统一存算 高性能批计算 延时计算 •更快看到数据运算结果 •支持小时级别更新 •及时市场洞察，实时决策支持 •业务响应更快，构建竞争优势 •查数更快，从小时级到分钟级/秒级 •跨源查询无需搬迁数据 •核心对账、历史铺底 •客户长期兴趣画像 •交易反欺诈、反洗钱 •市场指标计算与订阅 •量化交易 •客户的短期兴趣画像 •全行审计业务 •分析师自助平台 •业务指标探索 建设内容 •全面XC支持体系：大数据平台国产化环境兼容，以及构建数据脱敏、加密、审计在内的健全安全体系 •湖仓方案全新升级：原有基于Hive、Flink的分离数 据链路改造成基于Flink+iceberg+Starrocks的湖仓一体平台 •全新湖仓管控平台TBDS-Manager 行业案例——太平人寿准实时湖仓实践 太平人寿隶属于中国太平保险集团有限责任公司，总资产超6000亿元，是保险行业排名靠前的标杆型客户，客户预建设面向全公司级统一数据平台，具备承载全司核心业务计算能力，重点关注基于数据湖仓的离线计算、实时分析、数据开发治理等场景。 方案架构 建设成果 •当前集群规模200+，持续快速扩容中 •全链路数据开发治理平台，每日任务数10000+ •基于StarRocks准实时分析以及基于Iceberg湖仓一体离线分析场景，原有小时级分析场景提升至分钟级 14 行业案例——国内最大信息技术融合创新项目 自 主 创•操作系统、云平台、数据库、大数据平台全腾讯自研产品 新•云平台+大数据超1万节点，国内最大XC案例 超 大•汇聚任务：目前8W+/日，全量上线后30W+/日 规•加工任务：10W+/日 模•数仓集群20套+，总节点1000+，2PB+数据 数据量大计算、加工任务复杂，对稳定性要求极高 多源异构数据分析，包含TCHouse、Oracle、Vertica、GuassDB等类型，范围覆盖全国36个省市 •实现总局+36省大数据全栈XC落地 •总局全面支撑可信业务、全电业务、应用支撑、业务风险分析、评估，等众多重要应用 Thanks