何碧宏-全链路监控在根因分析和业务监控中的应用

群核科技（酷家乐）的SaaS系统及云原生观测系统（Tetris）通过全链路系统监控和全链路业务监控，解决了大型微服务系统面临的问题，如变更影响评估难、全链路优化难、故障定位难等。

全链路系统监控的构建：

• 基于调用链技术，实时写入调用拓扑关系，构建API及应用全链路拓扑图和全球化架构的实时关系图。
• 技术要点包括节点与关系构成、多种类型节点的标签区分、调用链数据采样机制、缓存机制、节点更新时间管理等。
• 查询功能支持下游、上游查询，以及全链路系统监控在警报风暴根因分析、全链路优化、变更影响分析中的应用。

全链路系统监控的应用：

• 根因分析：通过警报拓扑图快速识别底层应用故障，结合警报切面图与警报拓扑图进行排查。
• 全链路API调用拓扑图实现API全链路分析、优化，包括强弱依赖梳理、降级限流熔断配置梳理、调用放大治理、简化缩短合并调用链路等。
• 变更影响分析：通过全链路API调用拓扑图进行变更影响分析，识别受影响的服务和业务。

全链路业务监控的构建：

• 重点突破业务监控的基础工程，包括用户行为精细回溯、调用链全采样保留、原文埋点系统、Clickhouse替代ES改造等。
• 业务监控数据更多样，需定制配置，更复杂，但能更有效地发现和定位业务故障。

全链路业务监控的应用：

• 业务故障的发现及前后端串联定位。
• 大型警报风暴中，业务受损情况发现与评估。
• 复杂跨多集群海外业务故障定位。

根因分析故障定位进阶：

• 基于全链路监控系统的魔方语言自动化根因分析，可访问公司内部所有数据，融合各数据源数据，按照决策调用外部接口。
• 魔方语言自动化根因分析系统使大部分典型故障定位时长缩短90%以上，发现故障20秒内定位到服务和责任人，并提供恢复预案。

全链路监控系统及魔方语言自动化根因分析系统应用后的效果：

• 故障定位效率显著提升，大部分典型故障定位时长缩短90%以上。
• 系统能够快速发现故障、定位服务和责任人，并提供恢复预案。

未来展望：

• 基于大模型的智能根因定位方案。