5-2 京东实时数据产品应用实践

京东实时数据产品应用实践总结

实时产品应用概况

• 业务应用场景：支撑实时数仓、实时大屏、实时报表、实时监控、实时推荐、实时风控等。
• 发展历程：
  • 第一代：2014年，实时消息平台建设。
  • 第二代：2017年，低代码实时开发平台建设。
  • 第三代：2019年，流批一体化产品建设。

低代码实时平台建设

• 挑战：业务场景多样、产品模式简单化、技术功能复杂性。
• 解决方案：
  • 业务场景拆分：实时标签&特征、数字化运营分析、离在线数仓构建、复杂实时标签、实时风控策略、监控告警。
  • 数据处理模型：用户行为消息管道、统计小时级数据、分钟级数据、天级数据、消费实时计算、应用数据存储、实时开发平台、场景化实时规则、明细级数据特征标签指标落仓、监控。
• 产品特点：
  • API模式赋能外部系统。
  • 平台一体化生态，技术化赋能。
  • 降低实时数据开发门槛，标准化实时开发模式。

流批一体化产品体系

• 流批一体化能力演进：技术层和业务层均支持流批一体化。
• 主要问题：
  • 集群维护成本：技术组件不同。
  • 开发成本：开发割裂，两套代码。
  • 人力成本：学习成本、维护成本。
  • 一致性问题：表结构不同，计算口径不一致。
• 主要收益：
  • 降低集群维护成本，节省存储资源。
  • 降低开发成本及人力维护成本。
  • 统一不同介质数据的业务模型，统一加工计算口径和逻辑。
  • 减少冗余数据链路，提高资源利用率。
• 应用场景案例：
  • 实时通用数据层RDDM建设。
  • 流量买卖黑产舆情分析。

产品运营：实时数据链路三道防线

• 挑战：系统稳定运行依赖研发经验、上下游报警信息分散、实时数据系统链路广。
• 解决方案：
  • 第一道防线：应用健康度、全域可观测性、应用分级。
  • 第二道防线：弹性扩容、应急预案。
  • 第三道防线：故障根因分析、混沌工程、军演压测、业务加固。
• 运营目标：
  • 降低故障发生率。
  • 缩短故障恢复时间（MTTR）。
  • 缩短备战时长。
  • 建设数据全链路系统全景图，优化全链路效率及稳定性。

未来规划

• 配置化功能：CEP场景应用。
• 产品工具建设：实时ETL。
• 全链路自动化诊断及调优：NEXT。