TiDB_可观测性的设计与实现_陈霜

TiDB 可观测性的设计与实现

背景

数据库性能下降导致 QPS 下降和延迟上升。如何定位到具体的代码行以及操作系统层面的高 CPU 使用情况。

TopSQL: 绑定 SQL 与 CPU 资源

• 工作原理：通过采样（Sampling）和累积（Accumulation）的方式进行 CPU 采样。
• 示例：按 SQL 请求进行 CPU 采样，展示不同 SQL 请求的 CPU 使用情况。

  CPU Usage
  Request tag | Count | CPU Usage
  Request_1   | 10    | 40%
  Request_2   | 20    | 30%
  Request_3   | 30    | 20%
  Request_4   | 40    | 10%
  

TopSQL: SQL 标签 - Digest

• 示例：对 SQL 进行哈希归一化处理，并生成 SQL 摘要。

  Original SQL | Normalized SQL | Digest
  SELECT * FROM t1 WHERE id = ? | SELECT * FROM t1 WHERE id = ? | e27d8aa363129bf86cc3b35eb7a042c770802a539716e20ea2af30bd924e5909
  

另一种绑定 CPU 资源的方法（在 Go 中）

• Goroutine CPU 状态统计：通过修改 Go 运行时来收集 goroutine 的状态信息。
  • 示例代码：

    type g struct {
        goid int64 // goroutine id.
        stats GStats // goroutine runtime stats
    }
    type GStats struct {
        creationTime int64
        endTime      int64
        lastStartTime int64
        blockSchedTime int64
        execTime      int64
        schedWaitTime int64
    }
    

• 性能影响：这种方法需要自维护一个 Go 分支，并且存在性能影响的问题。

系统表

• SQL Statements 实现

  • STATEMENTS_SUMMARY：按 SQL 摘要和计划摘要分组，并提供每个 SQL 类别的统计数据。
  • SLOW_QUERY：系统表，数据从慢查询文件解析而来。

• 慢查询文件格式

  # Time: 2019-08-14T09:26:59.487776265+08:00
  # Txn_start_ts: 410450924122144769
  # User: root@127.0.0.1
  # Conn_ID: 3086
  # Query_time: 1.527627037
  insert into t select * from t;
  

持续监控

• NG-Monitor：用于持续监控 TiDB 的性能数据。
• TiDB Cluster：集群级别的监控，包含所有 TiDB 服务器的数据。

总结

本文主要介绍了 TiDB 在性能监控方面的设计与实现，包括 TopSQL、SQL 标签、Goroutine 状态统计以及系统表的设计。这些方法有助于快速定位和优化数据库性能问题。