全链路监控在嘉银科技的落地实践

嘉银科技SRE部门工作与实践总结

一、部门职责与核心工作

• 黄泳担任上海嘉银科技SRE负责人，全面负责SRE部门工作。
• 主导AIOPS全链路可观测性建设、灰度发布CICD工具流程设计、CMDB&ITSM产品架构设计、智能运维平台开发建设。

二、嘉银监控架构设计

• 基础设施概览：Pod数量超过3000。
• 监控告警挑战：复杂业务导致告警数据量大，需解决告警过多问题。
• 智能监控发展历程：从传统监控向AI驱动监控演进，实现海量告警数据管理。
• 监控架构：基于VictoriaMetrics的Prometheus集群架构，结合Grafana进行可视化展示。
• 告警流程：通过统一监控告警平台，联动CMDB识别告警资源，设计告警降噪流程。

三、智能可观测实践

• 数据基础：全面的数据是智能化的起点和高度保障。
• 智能化落地三板斧：先知（洞察）、先决（根因分析）、先行（故障自愈）。

1. 先知——洞察之眼

• 智能分析：AI通过性能指标和告警数据对业务健康度进行智能分析。
• 智能巡检：结合运维专家经验和GPT大模型，实现业务健康度360°评分。
• 趋势预测：基于历史数据和大模型算法，预测未来趋势并提前预警。
• 挑战：检测算法需适应周期性强、数据正态分布的场景，常用算法包括统计算法（k-sigma、EWMA等）、时序分析算法、预测类算法（Holt-winters、LSTM等）、机器学习分类算法（孤立森林、One-ClassSVM等）。

2. 先决——根因分析

• 挑战：云原生环境下服务拓扑复杂，需快速准确定位根因。
• 常见方案：日志分析、指标分析、链路追踪等。
• 故障根因分析流程：结合人工经验与自动化路线，实现双向赋能。
• 案例效果：基于故障诊断引擎的根因分析，准确率达60%以上，适用于中低复杂度场景。

3. 先行——故障自愈

• 故障自愈流程设计：实现自治+推荐的自愈处理。
• 案例：通过智能巡检和故障诊断平台，实现部分场景的故障自愈。

四、未来展望

• ChatOPS大模型探索：基于知识库、指标中心、故障诊断引擎，实现大模型驱动的智能告警流程。
• 场景多元化：丰富智能巡检、故障诊断规则、故障自愈规则，实现10+场景的提前预警和处理。
• 智能运维算法治理：提升运维场景算法支撑、运维算法服务及工程化能力。