周强- GeaFlow：蚂蚁集团自研流式图计算引擎及其应用

GeaFlow简介与应用

什么是图

• 定义：图由顶点集合V和边集合E构成，表示为G=(V,E)。
• 应用场景：
  • 社交网络
  • 协同推荐
  • 知识图谱
  • 金融风控

图的优势

• 维度提升：揭示复杂的模式。
• 高效查询：无需加载无关数据。
• 灵活的数据建模：支持多种关系表示。
• 实时图计算：适用于实时关系数据和时序增量图计算。

GeaFlow技术架构

• 核心特性：
  • HybridDSL (SQL + Gremlin)：统一执行计划。
  • 流图融合计算：一体化开发，减少运维成本。
  • 分布式Gremlin：基于GeaFlow构建分布式图迭代任务。
  • 一体化DSL (SQL + Gremlin)：降低数据开发门槛。
  • 离线实时一体化：提供驱动式GC策略和多级缓存策略，提升性能。

应用实践

• 金融风控
  • 实时团伙挖掘：
    • 基于Spark GraphX全量群组挖掘：亿级点边，小时级时效性。
    • 基于GeaFlow增量实时群组挖掘：百/千亿级点边，秒级时效性。
    • 流式增量团伙挖掘流程包括事件过滤、特征计算、流式构图、子图扩展等步骤。
  • 实时团伙挖掘效果：支持6+深度扩展，离线实时一体化效能提升7倍，支持百/千亿级规模时序图计算。

总结与展望

• 实时图计算能力：

  • DSL化的研发能力
  • 分布式Gremlin执行
  • 流图融合能力
  • 多种实时图计算能力
  • 完备的实时图研发流程

• 业务覆盖：

  • 金融场景
  • 社交营销
  • 超过300个业务场景

• 未来思考：

  • 结合AI发挥更大价值
  • 实时知识推理
  • 图学习
  • 流式Graph Embedding