于新林-NebulaGraph 如何轻松应对海量数据

NebulaGraph 如何轻松应对海量数据

一、背景介绍

• 个人简介：CTO 陈宇翔，拥有超过15年的技术经验，曾担任阿里云 IoT 平台技术负责人和支付宝首席架构师。

二、图数据库概述

• 图的定义：图是一种数据结构，由节点（顶点）和边组成，用于表示实体之间的复杂关系。
• 图数据库趋势：市场规模从2018年的6.5亿美元增长至2026年的800亿美元，年复合增长率高达30%-100%。

三、应用场景

• 金融证券：企业图谱、股权关系分析、企业受益人及实控人查询等。
• 制造：供应链管理、保修管理、客户管理等。
• 政府：疫情密接分析、飞机同航班、火车同车厢等场景。
• 物联网：电力、智慧家庭、燃气等应用。

四、NebulaGraph 技术特点

• 分布式架构：支持千亿点万亿边的海量数据存储，支持在线扩缩容和高可用性。
• 存算分离：存储层和计算层独立扩展，提高资源利用率。
• 计算框架：支持多种计算框架如 Plato、GraphX、Euler 等。
• 查询语言：支持原生声明式语言 nGQL 和兼容 openCypher 的 DQL。
• 算法支持：提供多种图算法，如 PageRank、Louvain、连通分量等。

五、性能优化

• 算子下推：支持多种算子如过滤、聚合、排序等，提高查询效率。
• 属性分离：图结构与属性分离处理，提高查询速度。
• KV 分离：多种类型的缓存和 B-tree 索引，进一步提升性能。

六、产品特性

• 四元属性图：支持点-二元组(VID, TAG)和边-四元组(SRC, TYPE, RANK, DST)。
• CAP 多图空间：物理隔离，支持读写权限控制。
• 多平台运行：支持 X86 和 ARM 架构。
• 强一致性：采用 Raft 协议保证数据一致性。
• 高可用性：支持备份、恢复和跨集群同步。