京东科技-孟祥涛-实时风险洞察的架构演进与思考(1)

实时风险洞察面临的挑战

• 风险管理数智化转型需求：政策推动数据爆发，营销快车抢占市场，需高效管控风险。
• 数智化目标：通过风险识别、分析、监控、处置，挖掘数据价值辅助业务决策。
• 海量数据挑战：交易、营销、订单等多源数据孤岛，数据结构复杂，复用度低。
• 数据接入问题：数据来源多样，标准化口径不一，定制化多，需通用化解决。
• 实时性与性能：大促百万级TPS场景，需保证实时预警、分析的性能与稳定性。
• 智能算法赋能：实时对抗性攻击，专家经验局限性，分析效率低，预警治理缺失。
• 平台愿景：建设实时风险洞察平台，提供数据接入、异常检测、归因分析功能。

实时风险洞察的架构演进

• 产品技术解决方案架构设计方法论：代码与架构可扩展，迭代应用，拆分复杂逻辑，匹配业务阶段。
• 架构演进路径：
  • 1.0版本：简单灵活，扩展性不足，硬编码计算，单一ES存储。
  • 2.0版本：平台化、组件化、插件化，低代码数据架构，内存计算，插件化存储。
  • 3.0版本：实时数仓、智能算法，链路拆分，Flink预计算，时序异常检测，归因分析。
• 架构升级挑战：数据架构效率低，预警依赖专家经验，优化成本高。

产品核心功能

• 数据资产根基：数据抽取、转换、加载、整合，标准化数据表，可视化配置接入，拖拽式建模。
• 多场景应用：支持多种数据源，消息队列解析，灵活操作，业务人员可使用。

核心组件剖析

• 事件总线：
  • 定位：统一风险数据标准化处理，抽象接入、过滤、富化等流程，提供可扩展架构。
  • 架构图：插件化算子，抽象脚本语言函数，扩展点丰富平台数据处理能力。
  • 自定义函数：Aviator表达式框架，函数解析器、编译器、注册器、执行器。
• 关键技术：
  • 插件化：组件定义、解析、注册、渲染，JDBC、Cache连接器，工厂模式，模版设计。
  • 异常检测服务：可扩展算法网关，自动进化，自适应能力，高性能支持。

未来的思考与展望

• 场景化：持续建设场景化分析能力。
• 智能化：从单指标异常检测到团伙检测，个体到群体分析。
• 湖仓一体：结合数据仓库与数据湖优势，低成本存储，数据治理能力。