7-6 HugeGraph大规模图的存储技术选型哲学

HugeGraph大规图的存储技术选型哲学

一、HugeGraph简介

• 图数据库：用于存储和查询图数据，支持高效的索引和计算。
• 应用场景：互联网风控、反欺诈、金融风控、智能推荐、企业图谱、知识图谱等。
• 发展历程：2016年底项目启动，2018年对外开源，支持1000亿规模的图。

二、HugeGraph技术架构

• 存储：支持单机和分布式存储，具备HTAP能力。
• 图计算：图数据库与图计算一体，易于扩展。
• 性能：单机性能好，支持流式处理，提供毫秒级查询。

三、HugeGraph技术选型

• 邻接边索引存储：单行存储查询快但写性能低，多行存储读写性能均衡。
• 图分片/切割：边切分（Edge-Cut）、顶点切分（Vertex-Cut）、边簇切分（Vertex-Cut based on edges cluster）。
• ID类型：用户传递ID + 自动生成数字ID。
• 顶点/边属性存储：顶点属性列存或行列混存，边属性行存Inline或Refer。
• 属性索引存储：按IndexLabel优先或PropertyValue优先。
• 图计算存储：原始数据存储HugeGraph、HDFS，计算中间结果存储列存格式。

四、总结

• 图分片/切割：选择边切分。
• ID类型：用户传递ID + 自动生成数字ID。
• 顶点存储：混合存储，属性Inline存储。
• 边属性：行存Inline + 可略过反序列化。
• 邻接边存储：行存-SortedKeyTable。
• 属性索引存储：行存-SortedKeyTable。
• OLTP部分：原始数据存储HugeGraph、HDFS，顶点存储列存hgkv、状态bitmap格式，边存储列存hgkv格式+subkv格式。
• OLAP部分：计算中间结果存储列存hgkv格式，计算消息存储列存hgkv格式，计算结果存储HugeGraph列存格式。

非常感谢您的观看。