ETH-X 以太超节点系统运维规范

一、概述

• 运维架构: ETH-X以太超节点系统运维架构涵盖计算节点、交换节点、机柜控制单元等硬件设备，通过配置管理数据库（CMDB）统一管理硬件/软件配置项及其关联关系，实现资产全生命周期管理、分层实时监控、智能告警与故障处理、自动化巡检与可视化等功能。
• 运维范围: 本规范主要针对超节点内部相关运维环节，不涉及计算集群整体运维。管理范围包括超节点域、带外/带内管理、SSH/Web/syslog/gRPC/agent/Telemetry/SNMP等管理接口。

二、资产管理

• 记录信息: 建立CMDB，详细记录计算节点、GPU、交换节点、机柜控制单元等硬件设备的基本信息，包括型号、厂商、序列号、配置参数等。
• 信息管理: 实现信息录入、信息检查、信息变更等功能，确保CMDB中信息的准确性和实时性。

三、监控系统

• 采集方式:
  • 交换节点: 带外采集（Telemetry、SNMP、SSH）。
  • 计算节点: 带外采集（IPMI、Redfish）、带内采集（Agent、X-SMI、Profiler）。
  • 机柜控制单元: 带外采集（IPMI、Redfish）、液冷单元（MODBUS）。
• 监控指标:
  • 计算节点: 节点运行状态（CPU利用率、温度等）、GPU运行状态（利用率、显存使用率等）、网卡指标（流量、丢包等）、XCCL指标等。
  • 交换节点: 设备信息、路由协议、端口信息、RoCE指标、硬盘状态等。
  • 机柜控制单元: 电源单元、液冷单元等指标。
  • 超节点内网络质量: 端到端时延、丢包率、Per-hop时延及丢包等。
  • 信息看板: 展示超节点的描述性指标（GPU数量、CPU数量、内存容量等）和故障类指标（GPU故障、CPU故障等）。

四、日志系统

• 日志内容:
  • 计算节点: 系统日志（内核日志、守护进程日志等）、GPU日志。
  • 交换节点: 设备运行、接口状态、安全事件、协议状态、故障告警、配置变更、性能监控等日志。
  • 机柜控制单元: 电源单元、液冷单元等日志。
• 日志管理: 通过rsyslog、syslog-ng或systemd-journald等工具收集日志，并使用ELK、Splunk等工具实现日志的统一存储与可视化分析。

五、告警系统

• 告警类型:
  • 计算节点: GPU告警、系统告警等。
  • 交换节点: 流量指标告警、拥塞指标告警、队列告警、设备告警、性能指标告警、质量指标告警等。
  • 机柜控制单元: 电源阈值传感器告警、电源状态传感器告警、整机柜漏液告警等。
• 告警规则: 定义屏蔽规则、重定义规则、相关性规则、闪断震荡抑制规则、自动确认规则等，实现告警的智能过滤和处理。
• 告警处理: 提供告警详情透视、高危告警强制关联SOP、告警状态管理、告警清除操作等功能，并实现告警归并、告警满处理、告警转储等核心机制。

六、故障处理

• 故障确认: 使用故障检测脚本进行测试，并根据供应商提供的故障处理指南进行故障确认。
• 业务迁移: 实现业务热迁移和业务冷迁移，尽可能减少对用户的影响。
• 硬件运维: 提供系统上下电、部件更换、固件版本升级、故障部件替换等SOP，并支持实时电源状态监控、告警、固件升级等功能。
• 软件运维: 规范系统升级和系统重置操作流程。

七、可视化系统

• 网页展示: 根据监控系统、日志系统、告警系统采集的数据，以清晰的方式展示出来。
• 超节点液晶屏: 展示超节点的关键信息汇总情况，包括信息类和故障类指标。

八、巡检系统

• 人工巡检: 每日按照模板填写人工巡检报告，包括计算节点、交换节点、机柜控制单元等项目。
• 自动巡检: 定期进行自动巡检，并生成自动巡检报告，包括计算节点、系统健康、GPU健康度、交换节点、机柜控制单元等项目。
• 巡检报告管理: 实现日报、周报、月报管理功能，并进行汇总分析和统计。