AI驱动下的可观测平台架构升级实践

2024-11-22 周昕毅 aCon 任云鹏

数据类型：监控指标、日志、追踪数据。
应用价值：
- 监控告警：智能告警、告警归因、故障定位、故障处理。
- 容量管理：容量评分、HPA/VPA配置推荐、容量预测与压测分析。
- 变更管理：变更风险检查、自动刹车、智能化发布。
- AIOps辅助决策层。

数据膨胀问题：
- 日志量持续增长：平均每月新增50+场景，存量日志保留天数增加（14→30→90天），峰值日增>1PB。
- 原因分析：业务增长、存量日志保留需求（客诉处理、故障分析、审计合规）、存储字段增加、ClickHouse压缩率滥用。
日志治理实践：
- 从分散到统一：统一查询、统一存储、统一元数据，推进日志使用最佳实践。
- 日志查询治理：用户SQL智能改写、查询QPS限制、大表扫描限制、查询历史回顾。
- 日志存储治理：遵循统一规范、设置合理保留天数与发送阈值、冷热分离、表/租户级别Quota。
告警治理：
- 告警膨胀问题：严重告警被淹没，工程师敏感性降低。
- 告警中台建设：Bigeyes告警中台。
- 治理手段：告警分级（P0/P1/P2/P3）、告警降噪、Oncall机制。
Metric高基数问题：
- 解决方案：容量规划、监控工具功能升级（指标聚合）、Metric Federation建设、过滤能力。
- 指标治理：高基数指标识别与检测、非法写入封禁、自动识别无效维度。

Metric Federation架构升级：统一API、元数据管理、预聚合管理。
日志统一查询层：构建统一查询层，提升查询效率。
自动封禁：自动识别并封禁异常写入。
日志跨集群迁移工具：Clickhouse Balancer，实现集群内空间均衡、业务高峰期扩缩容、冷热数据定期搬迁。
携程统一监控Agent实践：
- 采集内容：内核级监控指标、系统级监控指标、日志统一采集（CPU、内存、磁盘IO、网络IO、系统服务、ebpf metrics、安全日志等）。
- 收益分析：安全合规、格式和命名统一、集中管控、统一策略。

携程AIOps实践思路：
- “运维之眼”：监控工具提供基础数据，可观测平台提升数据质量。
- “运维之手”：自动化运维工具API调用，运维流程workflow。
日常运维痛点问题：
- 被动式故障管理：
  - 发现问题：故障磁盘自动拉出集群、故障机器自动隔离、日志自动重启应用。
  - 智能诊断：借助大模型进行高效总结。
- 主动式故障管理：智能告警、智能变更、根因分析、容量管理。
借助AIOps解决痛点：
- “手”“眼”合一，可观测平台持续升级，自动化工具+知识库建设形成规范。
- 复杂场景辅助人工决策：告警自愈、根因分析、自动变更。