5-1 超大规模图计算引擎在在线零售的应用_opt

GraphCompute的能力及实现

数据托管与智能运维

• 自助接入：支持数据托管，提供智能运维服务。
• 图存储与检索：
  • 支持千亿节点和万亿边的数据存储。
  • 单表千万qps秒级实时更新。
  • 支持自研图查询语言和Gremlin标准。
  • 知识图谱管理系统。

认知图谱应用

• 用户实时行为：包括用户全网曝光数据、用户/商品/店铺/CPV关系数据。
• OneID & Gprofile：用于用户身份统一管理。
• 电商/全网/视频知识图谱：支持各类业务场景。

应用场景

• 广告场景：推荐系统。
• 搜索场景：包括Youku推荐场景。
• 电商关系图谱：
  • 全网购买关系：87亿条记录。
  • 10天点击关系：15亿条记录。
  • 90天收藏数据：8亿条记录。
  • 全网购物车：37亿条记录。

性能表现

• 全量/批量场景：数据量为千亿，访问量为千万qps，平均延时1.5ms。
• 实时增量场景：数据量为千亿，访问量为百万qps，平均延时1.8ms。

Gremlin引擎

• 高级使用特性：包括随机游走、样本抽取、嵌套遍历、多路遍历等。
• 原生Gremlin引擎：支持100个算子嵌套。
• 解析与验证：包含解析、验证、缓存等步骤。
• 全异步化架构：
  • 存储：使用Local SSD、Local Optane、Pangu NVME等高效存储。
  • 计算分离：采用高性能KV/KKV/倒排/向量索引组织。
  • IO模型：使用io_uring及多级缓存模型。

智能管控系统

• 健康分管理：提供数据配置中心、回流触发中心等服务。
• 事件处理：包括事件收集、分析、分发等。

离线处理系统

• 稳定性保障：支持数据多版本支持、TTL数据支持、Schema变更。
• 索引类型：支持倒排索引、正排索引、向量检索等。
• 任务管理：支持节点动态扩缩容、长尾节点自动化处理。
• DAG图化任务调度：支持分布式任务管理和优化。

图嵌入

• 全量模型训练：支持在线推理和增量模型训练。
• 算法支持：包括TF OP、Node2Vec、GraphSage、GCN、GAT等。