AIOPS语义级日志异常检测在证券行业的探索与实践 - 李进武

背景

海通证券面临的主要IT痛点是程序质量问题导致的生产事件，遗留系统日志结构化程度低，排查耗时。证券行业日志具有夜间跑批、节假日休市等行业特点。

日志监控方案

日志是运维核心数据，表达系统运行状态。行业现状是聚类算法在格式规范日志上效果良好，但用户应用体验欠佳，主要瓶颈包括算法适配性差、业务高峰期监控延迟、未利用语义特征、缺乏行业针对性算法、分析性能不足。

探索与实践

提出语义级日志异常检测模型，在不依赖关键字规则下准确感知系统故障。模型包括：

1. 基于语义特征的异常检测模型：使用二分类算法（SVM、RandomForest、Bert）区分正常/错误日志，多分类算法（RandomForest、BERT）识别异常类型（网络、数据库等），结合日志来源检测模型扩展感知能力。
2. 基于依赖度的日志模式识别算法：提出词频依赖度计算方式，融合多种机器学习算法，解决变量和非变量判定难题。公开数据集和海通数据集F1-score均超出SOTA算法。
3. 基于行业特点的时序异常检测：提出融合滑动窗口与层次权重模式的多场景日志异常检测方法（DW_LOADS），包含同比日期选择器、滑动窗口选择器、层次权重模式、n-sigma异常检测，并增加日历管理、丰富场景识别、异常自适应功能。

应用情况

智能日志异常检测已落地，典型场景包括报错数量突增、日志模式历史首次新增。与现有监控体系融合，实现故障快速定位、变更风险评估等智能运维应用。

思考与展望

未来将：

• 持续探索创新技术应用，验证有监督日志告警。
• 增加落地覆盖率，实现所有重要系统日志全分析。
• 验证智能日志告警的深层场景，通过实时学习用户反馈实现有监督日志告警，自动适应不同业务需求。
• 大幅提高落地覆盖度，适配海通日志格式，优化告警内容和用户体验。
• 在智能运维场景应用方向包括故障快速定位/自愈、变更风险评估、GPT知识库、性能容量预测。