吴晟 SkyWalking 原生数据库发布与云原生下复杂部署关系的识别

SkyWalking原生数据库发布与云原生下复杂部署关系的识别 吴晟 Tetrate创始工程师 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 吴晟 Tetrate创始工程师 Tetrate创始工程师。ApacheSkyWalking创始人，项目VP和PMC （项目管理委员会）成员。Apache软件基金会首位（2021）中国董事。Apache孵化器PMC成员和孵化器导师。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 01 当今分布式系统架构 目录 02 分布式监控生态 03从垂直维度观测分布式系统 04原生数据库生态加成 01当今分布式系统架构 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 架构视角—多层INFRA基础设施的复杂体系 三大核心概念 AggregatedMetricsbykeywordsinlogs Metrics AggregatedMetricswithTracingContext LoggingTracing Collaborationacrosstracesandlogs AWS服务视角—多种云服务+业务部署 02分布式监控生态 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 APM视角的服务 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 常用监控数据源 metrics/logs AWS服务 tracing/metrics/logsprofiling 业务应用 metrics 第三方中间件 割裂的监控数据数据孤岛 Metrics AWSAPIGateway Tracing/Metrics/LogsTopology/Profiling AWSRDS GOPS全球运维大会暨XOps技术创新峰会2024·北京站 Metrics AWSAPIGateway Tracing/Metrics/LogsTopology/Profiling AWSRDS 基于查询的集成 PromQL+CustomQuery GOPS全球运维大会暨XOps技术创新峰会2024·北京站 AWSAPIGateway Metrics Tracing/Metrics/LogsTopology/Profiling(nativeformats) AWSRDS 基于数据集成 OTLP MetricsStreamOTLP QueryAPIs GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 OpenTelemetryCollector–includingAWSdistro 小问题，到底是拉模式还是推模式？ GOPS全球运维大会暨XOps技术创新峰会2024·北京站 常见的第三方集成--CloudWatch数据流 CloudWatchmetricswithS3 CloudWatchMetricStream(OpenTelemetryformart) KinesisDataFirehoseDeliveryStream AWSFirehosereceiver(OAP) OpenTelemetryreceiver(OAP) 03从垂直维度观测分布式系统 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 Layer和ServiceHierarchy 应用监控数据 应用视角数据库 应用视角第三方数据，如，数据库 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 K8s监控和ebpf流量监控 VM监控，如EC2 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 基于拓扑和服务发现的垂直拓扑结构 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 云原生环境下的多层结构——IstioMeshonEKS eBPFPoweredObservability–RoveragentandCilium GOPS全球运维大会暨XOps技术创新峰会2024·北京站 04原生数据库生态加成 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 BanyanDB数据模型 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 BanyanDBCluster BanyanDBon Cloud/AWSInfra GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 Performance •CPUUsage:BanyanDBdatanodeshaveslightlyhigherCPUusageduetotheiroperationsoncompressinganddecompressingdatafiles.However,BanyanDBliaisonnodesusesignificantlylessCPU. •MemoryUsage:BanyanDBshowsmarkedlylowermemoryusageforbothdataandliaisonnodes,usingnearly5xlessmemorythanElasticsearchdatanodes,highlightingitsefficiencyinmemoryutilization. DiskI/O •DiskSpaceUsage:BanyanDButilizesabout30%lessdiskspacethanElasticsearch,whichcantranslateintolowerstoragecosts. •IOPSandThroughput:BanyanDB’sIOPSanddiskthroughputaresignificantlylower,indicatinglessstrainondiskresources.Thiscouldbebeneficialforreducingoperationalcostsandextendingthelifespanofphysicalstoragedevices. GOPS全球运维大会暨XOps技术创新峰会2024·北京站 SkyWalking全面切换到原生数据库 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 V10+ BanyanDB1.0GA 查询计划 V10+BanyanDB 1.0GA计划 •大规模部署测试 •HA和稳定性测试 •分析后置，从OAP向数据库迁移 •非索引列TTL，大幅降低metrics磁盘消耗 •(TBD)跨数据中心同步 Thanks 高效运维社区DevOps时代 荣誉出品 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 THANKS 感谢大家观看 2024.6.28