ByConity 对 ClickHouse 的存算分离实践

定义：ByConity是开源的云原生SQL数仓引擎，支持弹性扩缩容、读写分离、多租户隔离、高性能、数据强一致。
时间线：
- 2018/01: ClickHouse开始在字节内部使用。
- 2020/01: 启动ByConity研发。
- 2021/12: 火山引擎发布ByteHouse云数仓版。
- 2022/05: 启动ByConity开源。
- 2023/01: 发布ByConity Beta。
- 2023/05: 发布ByConity 0.1.0 GA版本。
架构：
- 组件：Server、TSO、元数据存储(FDB)、ResourceManager、DaemonManager、计算组(Virtual Warehouse)、Worker、Disk Cache、云存储(HDFS/S3)。
- 交互：各组件协同工作，实现数据存储和计算分离。

元数据管理：
- 元数据对象：库/表/视图定义、DataPart、DeleteBitmap、事务、Statistics等。
- 存储：KV Storage实现高可用/高性能/持久化，Part元信息缓存。
- Master：负责维护全局一致的拓扑信息。
存储格式：
- 每个Part对应一个文件，文件内部按列存储。
- Part Name、partition_min_max_level_xid由TSO分配。
- Mutation实现多版本，Part Chain结构。
数据写入：
- 阶段一：创建事务记录并写入KV，写入undo信息，写入Part文件到云存储，写入Part元数据到KV。
- 阶段二：将事务记录CAS修改为Committed，异步清理，设置Part提交时间，清理KV中的undo信息和事务记录。
Local DiskCache：
- 使用Worker本地盘缓存热数据。
- 缓存策略：频次/preload，Bucket-LRU淘汰算法。
- 一致性哈希，拓扑发生变化时最小化cache失效影响。
- 避免数据reshuffle。
缓存粒度：
- Segment。
- 优势：无。
- 劣势：存储存在少量浪费。
缓存流程：详细描述了缓存的具体操作流程。

元数据缓存优化：
- Performance：Fine-grained locking、Adaptive scan strategy、Scan-wait-free map、Memory footprint、ServerDataPart (PB wrapper)、Dictionary encoding large fields。
- Isolation：Server VW。
读写性能优化：
- 读取：索引/Checksums本地缓存+并行加载、Preload mode。
- 写入：批量写入、多线程并行写入、Merge: prefetch input files。
云存储客户端优化(libhdfs3)：
- Block Location Cache、Peer Cache、Fast Switch Read、Hedge Read。