ClickHouse高可用实践

生产制造企业数据现状与ClickHouse优化方案

01 生产制造企业的数据现状

生产制造企业数据库使用现状

1. 业务系统分散：采用不同的关系型数据库
2. 大数据平台处理能力不足：现有平台处理能力为T+1
3. 数据量持续增长：关系型数据库无法满足需求

谜一样的数据流向与SQL

• 展示了一段复杂且冗长的SQL查询语句，涉及大量字段（如BILLING、BILLING_DATE、DN、DN_ITEM等），反映了数据查询的复杂性。

生产制造企业数据处理的痛点

1. UPDATE死锁问题：大数据量下易出现死锁
2. 数据分析及时性不足：数据化运营需要实时分析
3. 历史数据丢失：UPDATE操作导致原始数据不可追溯
4. SQL复杂度高：分析师需处理上千行SQL

解决方案方向

1. 事件化数据录入：减少更新操作带来的问题
2. OLAP引擎应用：提升查询性能
3. 宽表设计：简化数据结构，降低SQL复杂度

02 ClickHouse集群架构

• 简述ClickHouse的集群架构，但正文未提供具体细节。

03 ClickHouse数据集成问题

数据集成挑战

• 写入性能瓶颈：
  • 通过JDBC接口（HTTP模式）写入数据速度慢
  • 缺乏比HTTP更快的写入方式（如TCP、Orelse）
• 数据压缩缺失：写入前未压缩重复数据，资源浪费
• 内存溢出风险：数据量大易导致OOM

现有集成方式

• Sink-Clickhouse：通过JDBC处理数据
• Sink-ClickhouseFile：通过文件传输数据

04 ClickHouse查询并发性能的提升

数据查询痛点

• 查询性能受限于现有架构

架构调整方案

• 投影（Projections）应用：
  • 分为normal与aggregate两类投影
  • 通过查询定义投影，仅影响后续写入数据
  • 历史数据需执行Materialize操作构建投影
  • 查询无需修改即可享受优化效果
  • 可单表添加多个投影，系统择优使用
• 示例命令：

  ALTER TABLE user_log ADD PROJECTION p_ugg(SELECT whoappcode, xwhen GROUP BY who);
  ALTER TABLE user_log MATERIALIZE PROJECTION p_ugg;
  

核心结论

• 生产制造企业数据量大、系统分散，面临写入慢、压缩不足、查询复杂等痛点
• ClickHouse通过投影技术可显著提升查询性能，但需配合Materialize操作优化历史数据
• 推荐采用事件化录入、OLAP引擎和宽表设计解决根本性问题