腾讯全新一代TBDS与WeData平台,以云原生Lakehouse架构为核心,全面升级大数据技术实践,实现“轻、快、易用、安全”的核心优势。平台针对传统大数据平台的挑战,提出更轻量化、更快速、更易用、更安全的解决方案,并全面支持国产软硬件生态,实现“计算&开发全链路安全”。
核心优势:
- 全新一代TBDS:升级云原生Lakehouse架构,技术栈统一,架构敏捷,存算按需伸缩,无服务形态,一次部署随开随用,海量数据查询3倍提速,秒级启停,T+1升级为近实时。
- 全新一代WeData:全链路敏感数据智能治理,监管合规,智能快速,无需数据迁移即可开始安全治理。
- 全栈国产:全面支持国产软硬件生态,涵盖主流芯片、操作系统、服务器等领域,国密算法软模块符合商密一级要求,KM4密钥管理符合商密二级要求。
- 全链路安全:5A安全体系升级,全面Kerberos认证体系,多租户数据安全和合规,支持SM4算法,细粒度权限控制,全流程操作和日志审计。
关键数据:
- 集群规模200+,持续快速扩容中,每日任务数10000+。
- 汇聚任务:目前8W+/日,全量上线后30W+/日,加工任务:10W+/日。
- 数仓集群20套+,总节点1000+,2PB+数据。
研究结论:
- 全新一代TBDS&WeData平台显著提升数据价值转化加速,从源头解决数据不规范、不安全、不准确、不节省问题,一站式解决组件选型多、计算逻辑复杂,提升大数据开发效率。
- 平台易用性显著提升,聚焦存算资源可观测、智能洞察诊断,突破开发&治理效能,提升产品智能化易用性,释放数据生产力。
- 已落地某国有大行、兴业银行、国泰君安期货、中信建投证券等XC项目,实现总局+36省大数据全栈XC落地,支撑可信业务、全电业务、应用支撑、业务风险分析、评估等重要应用。
行业案例:
- 太平人寿准实时湖仓实践,基于Flink+iceberg+Starrocks的湖仓一体平台,原有小时级分析场景提升至分钟级。
- 国内最大信息技术融合创新项目,实现总局+36省大数据全栈XC落地,云平台+大数据超1万节点,国内最大XC案例。