2-4 毛咏伟 - AI驱动下的可观测平台架构升级实践

携程AI驱动下的可观测性架构升级实践

拱程可观测平台介绍

• 携程集团背景：为用户提供一站式旅行服务的网站应用数量达40万，每分钟写入日志数量达10亿，每日新增站日志存2PB+。
• 可观测性数据：用于根因定位、故障处理、监控告警，确定影响范围，实现快速响应和恢复。
• 可观测平台面临的挑战：云原生技术、微服务架构、1分钟发现需求、高可用性、数据快速增长、应用关系复杂、HPA（分库分表）影响时间序列效果、查询效率、系统稳定性、数据及时性、海量新增日志写入、日志丢失问题、一站式平台监控能力不足。

可观测数据治理实践

• 携程日志系统架构：面临可观测性数据膨胀问题，日志量持续增长，原因包括业务自然增长、长时间应对客诉、详细日志记录、请求数据量增加。
• 日志治理实践：
  • 日志查询治理：从分散到统一，解决人肉搜索限制。
  • 日志存储治理：采用本地盘+分布式存储冷热分离方案，设置合理的保留天数和发送阈值，进行采样策略。
• 告警治理：
  • 告警数量持续增长：严重信息淹没，工程师敏感性降低。
  • 告警中台建设：提升平台能力，自动化和收敛告警数量。
  • 告警治理手段：告警分级、告警降级、Oncal机制、雪崩PU/P1告警处理时效性提升、引入Bot协助处理。
• Metric高基数问题：
  • 解决方案：容量规划、监控工具功能升级、Metric存储集解自身监控、关注效品增长实障率、增加增标限合能力、引导用户进行聚合配置、过滤能力、高基数指标的识别和检测、自动封禁非法写入、字符内容最大值限制、自动识别人放年度实度。

架构升级助力AIOPS

• Metric Federation架构升级：通过VictoriaMetrics DB、Metric Federation Proxy、VictoriaMetrics Den、ClickHouse元数据、自动限流等组件构建统一监控体系。
• 构建日志统一查询层：
  • 基于规则的间题查询禁用。
  • 日志跨集群迁移工具，让存量日志“动”起来。
• 携程统一监控Agent实践：
  • 采集内容：系统级监控指标、内核级监控指标、CFU内部网络指标、安全登录日志、审计日志、服务启停日志、ebpt notr ics、系统中间情说、原件监控其街庆层服务。
  • 收益分析：安全合规、集中管控、格式和命名统一、减少分散管理复杂性、提升安全审计自动化程度、保障治理情草的一致性。

案例实践与思考

• 携程AIOPS实践思路：
  • 日常工作痛点问题：磁盘故障处理。
  • AI通用智能告警：提采篇一自可观测平台提供既一的致范近取和注送清息队列，配置中心由0P3团以起供规风配置存代。
  • 故障定位分析：应用报错分析，调用链。
  • 告规则智能解析：故障会议自动生成总结。
  • 借助大模型能力：对故障时群单对话文本进行高效总法，故障复盘自动生成总结。
  • AIOPS辅助排障：借的人模亚能力合基础变更信息，发布信息，可现测相关数出，进行交互式问答，辅动升障。
• 借助AIOPS能力解决痛点：
  • “手”“眼”合一：可观测平台诗续升圾，自动化工具-知识库建设形成规范。
  • DAMS：根因分析、变更授权、故障领测、自动变更、行为中计。