数智技术驱动，打造极致性价比

数智技术驱动，打造极致性价比 腾讯云大数据公有云基础产品性价比全面升级 主讲人：胡嘉琪 经济新常态下，面向大数据降本增效诉求，如何打造更优性价比的产品形态？ 数智技术驱动，打造极致性价比 方向一 更高计算性能 方向二 更优架构模式 方向三 更灵活的产品形态 2倍 数据湖产品 基准计算性能提升 腾讯云数据湖EMR+DLC 产品高性能计算引擎全面升 级 10倍 检索分析服务 日志场景性价比提升 腾讯云ES日志场景读写分离、存算 分离架构升级，实现10倍性价比+ EMR Management 托管节点发布 免运维+随用随弃 相对传统节点最高可节省30% Node ES 检索分析服务 Serverless 更低使用成本与运维投入 Meson高性能计算引擎 性价比升级01Meson高性能计算引擎升级 【Meson简介】腾讯云通用大数据高性能计算加速套件解决方案，整体围绕极致软件工程+软硬一体加速和AI加持的设计理念，致力于打造通用化、 套件化、适配腾讯云大数据全体系产品的通用计算加速底座 设计理念 Meson高性能计算引擎加速解决方案 夯实软件工程能力，围绕计算硬件化打造软硬一体极致分析，长期往智能加速及场景智能进化 MesonEngine 日志/安全分析 全文/向量检索 “AI4Data” 搜索分析-ES 云数仓-TCHouse MesonforTCHouse GPU/硬件加速|-X自研内核 AI加持的无限分析 极致软件加速 软硬一体化演进 算法驱动 MesonforDatalake Native向量化计算|GPU/硬件加速 复杂查询 大宽表查询 MesonforElasticsearch GPU/硬件加速|自研内核 数据湖 Hadoop开源大数据处理体系|全托管数据湖体系 软硬一体极速分析 “极致工程”“计算硬件化” 性价比升级01Meson高性能计算引擎性能提升效果 数据湖场景检索分析服务场景 弹性MapReduce+数据湖计算DLC腾讯云检索分析服务ES 2.27x 大数据基准性能提升 首发全场景支持原生Iceberg表 首发运行时Iceberg表向量化读取 首发大规模湖存储向量化引擎优化 全球首个 支持GPU加速的ES产品 在检索索分析领域，腾讯基于Meson实现了基于腾讯自研紫霄GPU的向量检索加速，成为全球首个支持GPU加速的ES产品 ES日志场景10倍性价比提升 读写分离+存算分离架构 性价比升级02ES日志场景10倍性价比提升 腾讯云ES全新自研技术栈：日志场景读写分离、存算分离新架构重大升级，实现冷热数据一体化搜索及弹性伸缩能力，写入性能提升3~5倍，存储平 均降本50%~80% 资源隔离提升可用性，内存Segment构建与拷贝，写入性能最大提升10倍 自研读写分离 采用delta+base架构，存储与计算弹性伸缩，降本90%+ 自研存算分离 性价比升级02ES读写分离+存算分离架构降本效果 相比原ES架构下2副本CBS方案，ES存算分离下实 相比原ES架构引入物理复制，读写分离后实现 现 90%+10倍 存储成本下降 最高写入性能提升 社区ES架构客户成本 腾讯云自研ES架构客户成本 50个16C64GSA5机型+2TBSSD节点 读写分离+存算分离全新架构 写入性能最高可提升10倍 计算节点从50台缩减到5台 写入性能最高提升10倍 90%+成本下降下降85%+ 10个16C64GSA5机型+2TBSSD计算节点 计算成本SA5机型（1,747.2元/月）*50=87,360元 SA5机型（1,747.2元/月）*5=87,36元热数据：2TBSSD*5=10,240元 存储成本2TBSSD（2048元/月）*50=102,400元 冷数据：75TB=9,062元，存储合计21,102元 合计成本189,760元 合计成本28,038元/月 某客户案例 如果使用共享读写分离可进一步缩减，整体相较原ES架构可实现十倍以上性价比 更灵活的产品形态 EMR支持托管节点模式，最高降本30% 托管节点（简称MNode）由EMR后台统一维护硬件设备，可用于TASK节点扩容，最高可节省30%资源使用成本 问题与客户需求 解决方案：EMRonCVM托管节点模式 客户主要收益 标准型 内存型 计算型 MNS.LARGE8 MNM.LARGE32 MNC.LARGE8 MNS.LARGE16 MNS.LARGE32 …… MNM.2XLARGE64 …… MNC.LARGE16 …… 企业降本需求增强 宏观经济环境导致企业降本需求日 渐增强，期望有更多降本解决方案 【核心技术亮点】故障自动替换、无需关注单个机型库存 1 低成本 TASK节点 ManagedNode POD HOST 30% 相对HOST节点最高可节省 机型库存动态变化 扩容需配置多个机型保障成功率，且需要不定期检查售罄情况替换配 置，运维繁琐 2 更易用 无需配置细分机型 轻松管理扩容规格 硬件故障维护复杂 硬件故障时需要自行迁移恢复业务， 操作繁琐 3 免运维 节点故障可自行替换，无需人工介入服务迁移恢复 ESServerless模式提供更高性价比日志分析 问题与客户需求 解决方案：云原生演进，像水和电一样使用ES 客户主要收益 自研接入层 计算&存储 写入 CPU CPU … 查询 SSD SSD … … COS COS … 流量调度 智能链路调度 资源调度 数据接入 ES传统集群模式挑战 1 技术架构：自动弹性+完全免运维 降低成本 Beats、Kafka、Logstash 采集、缓存和加工配置 组件部署和运维管理 索引管理 缓存 缓冲队列 Setting、mapping、alias 存算分离：去除冗余计算和存储，自动伸缩按量付费：按需使用，读写流量+存储费用 检索分析 云控制台云API Kibana CustomUI ESClient 【核心技术亮点】底层完全屏蔽，无需关心集群运维和索引运维， 平台提供端到端SLA保障 2 提升易用性 一站式场景化解决方案 数据源 Serverless调度与服务 分片数量、动态调优 滚动、降冷、删除 •集群免运维 集群运维 •索引免运维 •数据链路免运维 CVMTKE TCHouse-CTCHouse-D Logstash Oceanus EMR KafkaESAPI … 配置调优、重启、升级 弹性伸缩，应对业务压力 节点/磁盘不均、过载 学习成本、人力投入、时间投入 3 保持兼容性 •100%兼容开源ESAPI •100%兼容ELK生态 THANKS