赵舜东-基于开源工具的运维可观测性建设实践-赵班长

运维监控建设实践总结

技术运营体系

运维监控体系建设需关注成本、效率、安全和质量四大维度，通过DevOps与自动化手段提升系统稳定性，实现研发与运营一体化。

稳定性建设

高可用架构需结合监控、日志、智能告警和故障自愈机制，通过自动化资源交付、运维编排和应用发布提升效率。容量和成本建设需实施水位线监控、动态伸缩和成本优化策略。

安全管理

安全监控需覆盖审计、主机、应用和网络层面，通过漏洞扫描、Webshell扫描等手段保障系统安全。

运维监控建设路径

第一步：识别监控对象

• 数据中心：流量监控（风火水电、温湿度）、网络监控（APM、链路延迟）、物理设备（CPU温度、硬盘故障）、操作系统（CPU/内存/IO）、应用服务（Nginx/Tomcat/MySQL等）、业务监控（订单量/日活/新增用户）
• 日志监控：错误日志、访问日志、运行日志、设备日志
• 舆情监控：微信、微博等新闻媒体

第二步：理解监控对象 （原文未详细展开）

第三步：掌握监控方法和协议 （原文未详细展开）

可观测建设工具实践

• 指标采集：Zabbix（企业级、需预定义）、Prometheus（灵活度高、无需预定义）、Metricbeat（支持主机/数据库/中间件/应用服务）
• 日志采集：Filebeat
• 服务拨测：Heatbeat（支持ICMP/TCP/UDP/HTTP/HTTPS）

企业级日志平台建设

全链路监控通过RUM（Real User Monitoring）采集用户与浏览器的交互数据，提升网站可用性和用户体验。APM监控工具包括Pinpoint和Skywalking。

可观测案例：Elastic Observability

• 指标类型：单一值为主
• 最佳实践：
  • 设置合理告警通知并关联SLO
  • 多维度大屏展示
  • 从多运维对象采集数据
  • 数据沉淀并扩展使用

可观测平台集成场景

事件驱动的自动化平台ST2（SaltStack的自动化工具）支持原子定义、工作流定义和规则定义，通过YAML或图形化方式实现自动化运维。

应用SLO建设

• 与业务方确认功能预期（SLO）
• 校验SLI准确性
• 创建监控策略并按SLO设定阈值
• 梳理用户关键路径