8-2 网易日志采集传输服务建设与优化

网易日志采集传输服务建设与优化

日志采集传输服务的业务特点

• 数据量大：日志数据量庞大。
• 数据链路长：数据链路较长。
• 数量波动大：数据数量波动较大。

系统设计目标

• 高吞吐：提高数据传输速度。
• 低成本：降低网络带宽、计算及存储成本。
• 高可用：保障系统稳定运行。
• 高可运维：便于维护和管理。
• 支持海量日志采集：能够处理大量日志数据。
• 低延迟：减少数据传输延迟。
• 链路中部分节点异常不影响整体：部分节点异常不会影响整个系统。
• 用户自助式监控与报警：提供自助式的监控和报警服务。

Datastream-ng总体设计

• 分层架构：采用多层次架构设计。
• 数据流图：展示数据流的整体结构。
• 整体设计原则
  • 快流转：高效处理数据，支持协议升级。
  • 无状态：通过Back Pressure模型和基于信用的流量控制确保可靠传输。
  • 自适应：实现内存池化管理、流量自动迁移和实时水位监控。

核心组件与流程优化

• DS Agent
  • 文件状态迁移流程图
    • CPU优化：作业分类，线程配置。
    • 内存优化：内存预分配，空闲回收。
    • 磁盘IO保护：采集限流。
• DS HDFS Sink
  • 基于Flink作业：保证Exactly once。
  • 时间/空间连续性：增强batch sink效果。
  • 故障转移：应对YARN故障和HDFS故障。
• 链路监控与报警
  • 关键节点监控：使用NTSDB和Redis组合存储。
  • 实时/历史监控：支持多维度监控查询。
  • 丰富报警：提供用户自定义报警功能。

应用效果与未来规划

• 应用效果
  • Agent数量：2万多。
  • 任务数量：4800多个。
  • 日均处理日志条数：5000亿条。
  • 入仓数据量：600多TB。
  • 人效提升：200%。
• 未来规划
  • 弹性伸缩：DS Router实例自动扩缩容。
  • 智能诊断：Flink Sink任务自动调整并行度。
  • 压缩提升：日志校对服务，提升压缩效率。