4-3 货拉拉全链路监控体系的落地与实践 - 曹伟

货拉拉全链路监控体系的落地与实践

一、监控演进史

• 行业：从传统的监控手段逐步向全面、高效的监控体系演进。
• 货拉拉：监控体系经历了多个阶段，逐步完善。

二、货拉拉监控体系架构

• 架构：包括埋点、全链路Trace、可视化等多个模块，形成了一套完整的监控体系。

三、监控埋点“弯道超车”

• 埋点方式：字节码增强技术，具有灵活性高、维护成本低、侵入性小等特点。
• 字节码增强框架：包括ASM、Javassist和Bytebuddy，各有优劣。

四、全链路Trace建设

• 架构演进：
  • Trace 1.0：支持百万TPS，日均100TB Trace数据。
  • Trace 2.0：进一步优化，降低成本。
  • Trace 3.0 & 3.x：实现了冷热分离，降低了存储和CPU成本，存储成本降低90%。
• 采样策略：
  • 常规采样：简单但信息量少。
  • 错、慢、核心链路采样：保留更多有价值的信息，但计算复杂。
  • 完整采样：通过Kafka延迟消费和Bloom Filter实现无损采样，降低成本。

五、可视化建设

• 目标：“所见即所得”，通过整合Metric、Trace、Log和业务数据，形成闭环。
• 价值：提高故障排查效率，提升整体系统稳定性，促进微服务治理，实现高回报率。

总结

货拉拉通过不断优化和完善监控体系，实现了从传统监控到高效全链路监控的转变。通过字节码增强技术实现灵活高效的埋点，结合全链路Trace和可视化工具，形成了一个强大的监控体系，显著提升了系统的稳定性和效率。