1-3 张威-字节跳动自研万亿级图数据库架构演进

ByteGraph自研方亿级图数据库架构演进

ByteGraph简介

• 功能：支持用户信息、用户关系、内容数据等，通过图模型实现数据关联挖掘，提供直观简洁的建模方式。
• 特点：高吞吐、低延迟、最终一致性、兼容Gremlin图查询语言。
• 数据模型：有向属性图，点和边可携带多属性，支持动态增减。
• 查询接口：支持Gremlin图遍历语言子集。

ByteGraph 2.0架构

• 架构：分层架构，包含执行引擎和存储引擎。
• 执行引擎：支持复杂图查询，如g.V0.has('id', 1).has('type', person).out(knows').has('age', gt(18)).values('name')。
• 存储引擎：基于LSMTreeKV，存在多层Cache冗余、写放大等问题。

ByteGraph 2.0当前问题

• 成本问题：分布式KV高成本，冗余副本（3AZ/5副本或3副本）。
• 存储引擎问题：LSMTreeKV写放大高（40倍），多层Cache冗余内存/CPU。
• 性能问题：性能分层过多，多跳查询性能不足，基础算子读取性能低。

ByteGraph 3.0解决方案

• 成本优化：
  • 基于EC技术减少副本数量（3AZ/3副本降至3AZ/2副本）。
  • 自研DFS+BwTree存储引擎，减少写放大。
• 架构优化：
  • 合并进程，减少穿透层数和RPC开销。
  • 主推单分片一主多从架构，减少分片数量。
  • 提高单PC事务比例。
• 执行引擎优化：
  • 新一代Pipeline执行引擎，减少通信拷贝开销，支持Numa调度。

ByteGraph 3.0架构介绍

• 总体架构：融合存储引擎层（Φ层）和并行执行引擎。
• 并行执行引擎：
  • 合并多step到单个pipeline，减少通信开销。
  • 单pipeline内可并行启动多个task，利用多核。
  • Numa-Aware调度器增强数据局部性。
• 存储引擎模块：优化存储流程，提升效率。

ByteGraph未来展望

• 业务收益：
  • 存储成本降低30%~50%。
  • 多跳召回场景性能提升数倍。
• 未来工作：
  • 补齐3.0功能，持续优化性能。
  • 打造Single-Engine生态，提供一体化图数据服务。
  • 支撑图数据库查询引擎、全图计算引擎、图训练DataLoader等。
  • 通过统一存储格式打通图数据库、GNN、图计算及Spark/Hadoop生态。

Gdevops