8-3 日志系统之高效检索

日志系统之高效存储

概述

• 组件：Agent SDK (Java, Golang, C#, Node.js 等)、Collector、ETL、TSDB、Analyzer、HDFS/ES、Log Trace、HIVE/CH、Metric

CLOG

• 日志量：2PB/天
• 硬件配置：40台机器，每台32C128G
• 系统特点：
  • 写多查少
  • 高性能写入
  • 条件组合查询
• 技术细节：
  • 高性能写：采用内存块（Mem Block）和HDD顺序写入，结合稀疏索引
  • 条件组合查询：利用ES倒排索引
• 索引格式：
  • 倒排索引：filename+position，indexer ip-文件保留天数-创建时间
  • 字段：appid, host, from, to, level, title, tag key, tag value, message, logger

CAT

• 日志量：2PB/天
• 硬件配置：140台机器，每台32C128G
• 系统特点：
  • 写多查少
  • 通过 traceId 进行点查询
• 存储方式：HDFS
• 文件数限制：存在文件数上限问题
• 索引：
  • V5编码：appId-appIp-catIp.data，按小时滚动，索引为 appId-appIp-catIp.index，占用空间较小
  • V6编码：appId-catIp.data，索引为 appId-catIp.index，占用空间较大，但ID跳跃问题可能影响性能

TSDB

• 系统：OpenTSDB, Prometheus, Victoriametrics
• 硬件配置：200台机器，每台40C256G，4T SSD
• 系统：ClickHouse
• 硬件配置：600台机器，每台32C128G，80T HDD