03-云原生跨域大数据架构落地实践-吴维伟

京东云原生跨域大数据平台落地实践

一、京东大数据平台概况

京东大数据平台是京东大数据业务的基础服务平台，提供一站式、自助式的大数据处理全流程解决方案，涵盖数据采集、存储、加工、分析、可视化、机器学习等功能。平台通过数据集中形成高效的数据开放，保障数据安全的前提下提供自助式服务，降低大数据消费门槛，助力京东实践以数据为驱动的业务变革。

二、京东云原生大数据平台建设背景和挑战

建设背景

• 大促期间在线业务需要大量采购机器应对高峰。
• 日常在线资源利用率低，存在资源浪费问题。

建设挑战

• 如何统一离线和在线的资源调度。
• 离线在线混合部署时如何保证在线业务不受影响，离线业务基本稳定。
• 跨机房资源共享后，跨机房数据访问如何避免影响在线任务。

三、京东云原生大数据平台落地实践

（1）计算混部资源池化

• 资源统一封装，屏蔽底层IaaS特性。
• 统一资源调度，上层应用系统无感使用。
• 按需调度，大促节点离线仅需借出数小时资源高效利用。
• 在线应用和离线计算具有资源互补特点，通过统一资源调度提升资源复用率。

混部架构

• K8S统一资源管控。
• JMR（混部资源管理）协调混部资源调度，结合单机弹性实现资源动态伸缩。
• 强资源隔离保障在线业务TP99。

混部关键技术

• 统一资源管理：K8S统一管理资源，计算服务容器化改造，混部调度器（JMR）协调资源分配和NM弹性伸缩。
• 单机弹性：安全水位，离线最小最大配额（min，max），动态调整，定制化驱逐策略。
• 运维优化：YARN Operator管理NM pod生命周期，基于Token方案实现NM节点注册验证。
• 资源隔离：联合K8S团队实现CPU隔离、网络QoS，保障在线业务TP99，改造HADOOP底层支持基于任务等级、流量类型等多种方式设置网络优先级。

混部资源动态规划

• 利用云原生架构实现峰值资源按需购买，购买资源每日占用时长不超过4小时。
• 资源水位线以上计算资源可以分批腾退，降低大数据平台机器成本。
• 基于作业分级，结合资源预测、数据血缘、作业性能诊断等能力，智能动态向云平台按需购买资源，降低离线机房常驻资源需求。

（2）跨域存储

机房感知和标签

• 拓扑管理：/region/cluster/rack。
• 机房感知：RPC携带机房信息，基于IP的机房查询。
• 标识定义：支持副本及EC，regionA:3:1, regionB:2:0, ttl:7200。

数据分发及流控

• 跨域补块独立处理，不影响原有同机房逻辑。
• 异步跨域更新器，结合跨域标签属性，实现切换接续补块。
• 支持高效的跨域数据共享。
• 跨域流控：跨域补块流控，读写优先客户端同机房DN，跨域读写流控，balancer机房内部均衡。

存储云原生

• 底层存储文件系统接入层。
• 接入层实现通用需求，包括权限、访问控制、数据生命周期、数据调度等。
• 接入层利用挂载能力实现弹性扩缩容。
• 数据调度实现不同挂载存储的数据迁移。

四、落地收益

• 618及双11大促期间动态调拨离线平台数十万核支撑在线系统流量高峰，节省大量采购成本。
• 日常期间，离线平台复用在线系统资源数十万核，利用率提升20%+，节省大量成本。

五、未来规划