腾讯云助力出海企业 高效构建全球大数据基础设施 主讲人:佟甄 腾讯数字产业生态服务全球消费者 WeixinQQ TencentVideo WeixinVideoAccounts WatchingVideos PlayingGames TencentGames MiniGames TencentHealth TencentMedipedia HealthCode SeekingMedicalHelp Sharing Communication Socialising ListeningandSinging QQMusicWeSingKugou Music Kuwo Music Reading WorkandCollaborationPayment WeCom TencentMeeting/VooVMeeting TencentDocs WeixinPay QQ Reading QidianReading WeixinReading 腾讯云基础设施为全球客户提供技术支持 多伦多 硅谷 弗吉尼亚 法兰克福 中国 东京 印度 中国香港 新加坡 圣保罗 腾讯云大数据出海增长 400%+ 大数据业务3年同期海外客户规模增长 BigDataServices ProfileAnalysis IntelligenceRecommendation BusinessIntelligenceAnalysisPlatform TencentCloudVisualization BigDataPlatformServices 海外地域覆盖 ElasticMapRedue DataLakeCompute ElasticSearch CloudDataWarehouse Infrastructure 全球 7*24h响应 本地化服务支持 CloudVirtualMachineTencentKubernetesEngine 腾讯云大数据出海能力 ISO27001ISO9001ISO27017ISO27018CSASTARSOC 云原生错峰调度TKE闲置算力,利用率显著提升 容器负载率 资源上限 EMRonTKE 削峰填谷 资源提效 在线服务TKE资源:潮汐现象明显,占而不用 8:00AM 12:00AM 21:00PM 24:00PM 7:00AM EMRONTKE上线东南亚、北美、欧洲地域 弹性MapReduce可部署在腾讯云容器服务TKE/TKEServerless之上,通过与在线服务错峰调度容器资源,实现离线在线混部,提升机器利用率 适用客群成本诉求较强,在线业务基于TKE部署,离线分析和在线业务存在显著错峰,期望实现在离线混部降本 ESServerless服务上线北美、东南亚 自动弹性 索引粒度的自动弹性伸缩,从容应对突发流量增长,在保证业务连续性的同时降低日志分析、可观测性等场景下业务波峰波谷导致的运维与管理成本高等问题。 完全免运维 内置分片自动调优、智能生命周期管理以及端到端的数据接入、数据管理、数据可视化等产品能力,用户可按需创建与使用索引,无需关心底层的资源配置、集群扩缩容和索引设置等问题,整个使用过程完全免运维。 自动完全 弹性免运维 应用场景日志分析指标监控实时搜索数据分析安全分析业务功能数据采集数据管理Kibana数据监控数据投递底层完全屏蔽,由腾讯云统一优化管理 数据链路采集部署缓冲队列清洗加工全局流控容量管理索引自治分片调优写入优化智能降冷查询裁剪故障自愈Kibana管理安装部署跨集群场景化体验优化版本升级集群管理集群部署弹性伸缩版本升级配置调优负载均衡 IaaS资源CPUGPU内存存储网络 开放集成 完全兼容ELK生态,保留用户原有使用习惯,实现无缝迁移,助力业务快速上云;同时,打通云上数据源(如云服务CVM、容器服务TKE),降低数据接入门槛,实现分钟级业务落地。 极致成本 自研低成本、高性能、高可用的存算分离架构,根据实际访问与存储量计费,实现业务负载与资源动态匹配的按需付费,减少闲置资源导致的冗余成本支出,大幅降低成本。 EMR、ES高可用容灾能力全球地域发布 Region ShardA-Primary ShardB-Primary VIP ShardA-Repl1 DedicatedMaster AvailabilityZone ShardB-Repl1 ShardD-Repl1 ShardC-Repl1 ShardD-Primary ShardC-Primary DedicatedMaster AvailabilityZone DedicatedMaster AvailabilityZone ES全地域发布向量检索及大模型支持能力 检索 01向量化数据 02索引向量数据 03发起向量检索 04执行向量检索 05返回检索结果 THANKS