8-1 点流采集系统在京东零售的实践

架构介绍

• 子午线系统全景图：涵盖通用全端采集工具、开放数据订阅与查询服务、自定义可视化、云计算集群及分布式存储、实时指标计算与分析模型等。
• 主要功能：解耦业务逻辑，统一日志类型及采集API设计；弹性服务端上报集群，支持一键扩缩容；日志分布式存储与消息流下发；解耦离线计算依赖，流式高效计算，流量产生即可见；提供基础与自定义流量指标可视化，灵活组合、秒级响应服务集群策略管理；格式化域名核查、实时分发、爬虫过滤白名单、异常校验、通用分析基础报表、行为特征、广告监测、用户行为分析、垂直行业解决方案如留存分析、漏斗分析、路径分析、自定义报表等。
• 支持环境：包括web端、APP移动端、小程序、智能硬件（规划）、车载设备（规划）等。

业务支撑现状

• 点击流采集服务：支撑京东零售多个核心业务，如主商城、极速版、京喜拼拼、京东金融、京东健康、京东物流等，每日处理千亿级数据。
• 业务流量主题：涵盖主商城业务流量主题、垂直业务流量主题、广告用增搜推风控、国际站等。

系统架构

• 分布式高可用低延迟海量日志采集系统：包含Nginx异步日志、数据清洗、数据处理/转发/存储、数据加工、实时计算、实时流、离线流、离线存储、OpenResty实时发送、爬虫过滤白名单、数据校验解密解压、Lua/C/C++FFI动态配置监控日志回灌、Spark/Flink、Hive/ClickHouse在线分析等功能。

技术原理

• 服务端框架：使用Nginx异步日志、OpenResty实时发送、数据清洗、数据处理/转发/存储、数据加工、实时计算、实时流、离线流、离线存储、Spark/Flink、Hive/ClickHouse在线分析等技术。
• 异步日志：通过Nginx rewrite_by_lua_file、sendto JDQN gx_lua、format response、access_log ngx_http_log_module将日志写入CFS，并提供自动灾备、自动恢复、提高可用性、降低运维风险和成本、吞吐提升、响应平稳、可监控等功能。
• 日志回灌程序：轻量级、高性能、灵活扩展、功能完备，支持日志、配置、监控等基础功能，以及配额管理、反压力敏感、场景持久化、并发扩展等高级功能。
• 策略控制系统：包括策略服务、采集服务端、APP上报队列、上报队列策略缓存、点击日志浏览日志曝光日志自定义日志策略拉取、策略模块SDK上报、策略控制缓存等功能。

大促备战

• 备战节奏：从5月31日开始，经过6月18日、6月底全链路军演压测启动会，到系统封板、开门红资源扩容、分配、优化，再到项目收尾、上线审批、总监审批、大促前上线审批、VP审批，最后进入集中备战复盘会。
• 采集服务压测：通过分层压测，满足不同压测场景需求，确保覆盖场景全面、风险性低、占用资源尽量少、单次压测链路深度和广度合理。
• 春晚项目：通过埋点数据采集、数据实时上报的新方案，实现数据错峰上报和随机打散，有效降低对春节促销活动的影响，最终实现QPS请求下降72%，带宽使用下降37%，数据延迟控制在3分钟以内。

其他

• 技术支持：莫增文，邮箱mozengwen@jd.com。