从发现到定位，去哪儿网一站式可观测平台

个人简介

肖双，去哪儿网基础设施-平台技术负责人，2018年加入公司，负责CI/CD、监控平台和云原生平台建设。主导落地容器化平台，协助业务线迁移，完成监控系统Watcher2.0改造和根因分析系统落地，对监控告警、CI/CD、DevOps有深入实践经验。

核心观点与内容

打造更便捷的观测平台

• 目标：提升观测平台便捷性，优化故障发现和开发定位效率。
• 关键举措：
  • 应用空间：实现单机指标下钻、聚合排序，打通CMDB、DB元数据，支持下钻单主机，统一管理报警并支持实时追踪统计和批量处理。
  • 指标采集与存储优化：
    • 现状问题：TSDB采用Graphite协议，但Whisper存储策略导致磁盘IO高、空间占用多；分钟级采集模式影响秒级指标建设。
    • 采集器Client端改造：采用Tdigest数据采样，减少内存占用，优化数据精度。
    • 采集器Server端改造：以APP维度调度，Worker自调度，支持分钟级和秒级配置。
    • 存储选型：对比VictoriaMetrics和InfluxDB，选择VictoriaMetrics因其高性能、可伸缩性和Graphite协议原生支持。
    • 存储压测与优化：发现聚合指标查询性能下降，通过存算分离解决。
  • 效果：订单故障发现时长从3分钟降低至1分钟内。

微服务架构下快速定位

• 挑战：微服务化后定位难度增加。
• 解决方案：
  • 自动链路关联：实现链路自动关联，提升定位效率。
  • 应用异常分析：提供应用维度异常数据、关联事件/报警/日志/中间件状态。
  • 应用详情：展示入口/出口详情、依赖状态、异常日志/JVM状态等。
  • 事件关联：图维度事件订阅，自动聚合拆分。

总结与未来规划

• 总结：通过优化指标采集、存储和定位工具，显著提升故障发现和开发定位效率。
• 未来规划：持续优化观测平台，提升便捷性和性能。