信也监控可观测性实践 - 朱荣松

信也科技可观测性实践总结

1. 架构及可观测能力演进

• 架构演变：从单体架构到微服务架构，再到Service Mesh架构。
• 可观测性能力：从基本的监控指标扩展至包括链路追踪、日志记录、性能剖析等。

2. 遇到的挑战

• 规模化接入：问题发现难，运营分析难，数据治理难，定位根因难，推广使用难。
• 具体挑战：监控工具不统一，语言监控薄弱，数据源单一，监控误报多，主动发现能力弱，架构不统一，业务升级排斥，系统复杂，数据分散。

3. 解决方案

• 接入无侵入：简化架构，统一监控数据，提供一站式观测平台，增强数据关联性。
• 从监控向可观测性转变：引入链路追踪、日志记录和性能剖析，形成完整的可观测性解决方案。
• 主要支柱：检测异常、定位问题、排除故障，提升系统稳定性。

4. 关键技术实践

• 链路追踪：通过Trace ID和Span ID关联请求路径，快速定位问题。
• 日志记录：构造高维度结构化日志，便于关联分析。
• 性能剖析：使用JVM性能剖析工具，快速定位异常线程。

5. 场景化应用

• 以错误为中心的应用异常大屏：展示应用异常情况，快速响应。
• 指标+链路+日志融合：结合多维度数据，快速定位根因。
• 事件+指标+剖析融合：通过代码级根因定位，快速解决问题。
• 以应用为中心的根因分析：利用拓扑分析和层次关系，多维度定位故障。

6. 观测平台架构

• 产品架构：涵盖链路监控、指标监控、主机监控等多个方面。
• 数据实时处理：采用Flink实时计算，提高数据处理效率。
• 统一告警/事件处理：通过Grafana等工具实现告警管理和事件处理。

7. 实践总结

• 关键经验：
  • Kafka插件问题：低版本Kafka不支持header，需特别注意。
  • Header大小写问题：不同组件支持参差不齐。
  • 输入流问题：避免被动读流，使用Wrapper方式。
  • Agent版本管控：多版本集中化管理，确保稳定。
  • 自监控能力：加强自监控，及时发现插件错误。
  • 类冲突处理：使用shading处理依赖冲突。
  • 数据处理优化：合理过滤无效链路数据，减轻数据库压力。
  • 自动化自愈：根据事件处理策略自动执行故障处理。
  • 用户体验：早期用户反馈，优化用户体验。
  • 应用健康度量：定期报告应用健康状况，推动优化。