新东方可观测体系标准化改造研报总结
一、核心背景与需求压力
新东方教育科技集团为应对运维体系面临的挑战，启动了可观测体系标准化改造项目。主要压力来源于：
- 运维指标不足：现有监控工具（Prometheus、Zabbix等）采集指标单一，需自建采集系统。
- 报警管理滞后：报警平台功能缺失，自建报警响应慢，缺乏统一管理。
- 技术栈分散：云原生技术（K8s、Serverless）引入后，监控工具链复杂，缺乏标准化。
- 数据整合不足：指标、日志、追踪数据未有效结合，缺少应用属性和决策支持。
- 展示效率低下：监控平台查询分散，缺乏统一仪表盘和决策工作台。
二、标准化改造过程
1. 底层架构重构
- 指标存储：统一采用Prometheus，替换原有多存储方案（Prometheus、Thanos、VictoriaMetrics）。
- 日志存储：引入Loki替代Elasticsearch，实现轻量级日志采集与Prometheus联动。
- APM监控：整合Skywalking和Bonree，统一收敛告警。
- 告警平台：升级Alertmanager，实现统一规则管理、告警分发和自愈功能。
2. 采集方案优化
- 通用采集方案：支持InfluxDB、Loki、JSON、Telegraf、SNMP、OpenTSDB等多种数据源。
- K8s日志采集：改造为DaemonSet模式，降低资源消耗（成本降低35%），提升稳定性。
- 硬件监控：通过Telegraf+Loki实现SNMP设备监控。
3. 数据加工与关联
- OpenTelemetry体系：与企业CMDB结合，实现应用标签化，支持多维度关联分析。
- 告警降噪：通过路由分发和模板管理，减少告警冗余，统一告警通道。
三、可观测产物与功能产出
1. 数据分类及产出
- 服务类：DB、中间件性能监控。
- 应用类：日志埋点、APM数据、拨测监控。
- 基础设施类：主机、网络、容器基础指标。
- 事件管理：虚拟化、容器、应用变更事件监控。
2. 关键功能模块
- 可用性SLA采集：按业务线-应用-域名维度评估SLA。
- 健康评分体系：分主机系统、容器系统、业务应用、网络、拨测五层评分。
- 决策灭火图：结合指标、日志、追踪数据，支持容量规划和故障决策。
- 决策工作台：集成健康度、评分、收敛告警等决策支持工具。
3. 平台升级与运维外放
- 监控平台升级：实现配查报改（配置、查询、报警、变更）自动化。
- 应用可观测看板联动：支持多维度查询和标签化展示。
四、功能持续迭代方向
- 标签前置处理：增强数据标签化能力。
- Oncall平台：整合告警路由，增加告警升级机制。
- eBPF数据采集：引入Deepflow数据补充监控维度，结合CMDB实现业务属性标签化。
五、研究结论
新东方通过标准化改造，实现了可观测体系的统一化、轻量化、智能化，关键成果包括：
- 降本增效：K8s日志采集成本降低35%，告警降噪提升效率。
- 数据整合：多源数据融合，支持决策分析。
- 运维能力外放：平台自动化程度提升，赋能一线运维。
- 技术前瞻性：引入eBPF等新技术，持续优化体系。
项目验证了云原生环境下可观测体系的标准化改造路径，为同类企业提供了可复制的实践参考。
