7-4 EasyGraph 图数据库查询性能优化以及在腾讯内部业务中的应用

EasyGraph 性能优化及应用

1. 数据模型与查询语言

• 图的定义：G = (V,E,L,P,...)，其中V表示点集，E表示边集，L表示点/边的标签，P表示点/边的属性。
• 有向属性图模型：支持有向边和属性信息。
• 查询语言：Gremlin，支持多种编程语言的SDK。

2. EasyGraph 发展

• 版本：从EasyGraph 1.0到EasyGraph 2.0及2.x，逐步增加基础图语义交互、大数据生态、多租户管理等功能。
• 关键技术：Gremlin完美支持，算子优化、Cache优化、索引优化等。

3. EasyGraph 架构

• 组件：Storage、Graph Server、Meta Server、Execute Engine、Interactive Client API等。
• 存储：HBase、TiKV、RocksDB、Redis等。
• 缓存：Memory Cache、LRU Cache、TTL Cache等。

4. EasyGraph 算子

• 并发算子：lock-free算子、high watermark、low watermark、fetch、back pressure等。
• 优化：瓶颈算子加速、计算反压、算子间队列同步等。

5. EasyGraph 数据预取

• DFS多跳查询：减少RPC次数。
• 邻边预取：提高查询效率。
• 缓存机制：优先从缓存中获取邻边。

6. EasyGraph 批流结合

• 火山模型：批量处理，减少RPC次数，缓解IO墙效应。
• 批处理与流处理：结合使用，提高处理效率。

7. EasyGraph 条件下推

• Label条件下推：加速按标签的查询和删除操作。
• 索引匹配：加速查询性能。
• Count下推：减少RPC次数，避免数据反序列化。

8. EasyGraph Adaptive Cache

• 前缀压缩：降低内存开销。
• 优先级缓存：根据查询频率和难易程度进行缓存。
• 自适应缓存策略：最大化缓存效率，解决热点查询问题。

9. EasyGraph Cache性能

• LRU Cache vs. Adaptive Cache：Adaptive Cache性能优于LRU Cache，特别是在网络环境恶劣时表现更佳。
• 性能提升：在极端网络环境下，Adaptive Cache性能可提升10倍以上。

10. 复合属性索引

• 全局索引：支持值匹配查询、范围查询、前缀查询。
• 索引策略：高效查询，减少数据反序列化。

11. Fast Write索引

• 性能提升：不涉及Read-Modify-Write过程，提升写入性能。
• 应用场景：适用于不频繁更新索引字段的内容。

12. 赌博团伙判别

• 传统SQL：耗时长，效率低下。
• 图查询及可视化：实现秒级研判，大幅提升效率。

13. 智能运维监控

• 知识图谱构建：通过实时知识图谱进行快速推理。
• 性能提升：约提升3倍。

14. 未来规划

• 功能特性：兼容Cypher及GraphQL，基于图的分布式存储引擎，基于自研存储引擎的下推优化，分布式Cache解决方案，点边维护记录traversal状态，加速查询性能。