GOPS2024全球运维大会深圳站暨XOps技术创新峰会

春晚红包挑战

• 背景：备战周期仅16天，全球华人参与京东App红包互动量达552亿次。
• 资源调度：
  • 将所有资源聚合在统一资源池内，实现x86和国产化计算资源的统一调度。
  • 通过规模化混部技术，提升容器化资源部署密度至3倍，CPU整体利用率高达60%～70%。
  • 采用自研调度算法，将干扰率降低至1%，确保高优先级红包业务的用户体验。

京东混部架构

• 混部定义：将高优先级业务和低优先级业务混合部署在一个节点上，提高数据中心资源使用率。
• 效果：
  • 资源使用率显著提升。
  • 在线业务TP99、QPS受干扰较小，整体利用率高。
  • 混部利用率常态化维持在70%左右，节约大量机器成本。
• 产品架构：
  • 资源隔离、QoS、干扰检测、统一调度、负载感知、资源预测、Gang调度等模块。
• 技术架构：
  • Master、Archimedes Scheduler、Colocation Webhook、Reserve controller、Descheduler等组件。

混部核心技术

• 功能特点：
  • 多维度资源隔离，增强业务抗干扰能力。
  • 基于NDX系统的故障检测与处理。
  • Archimedes Scheduler提升调度质量和速度。
  • 资源调度与画像管理。
• 应用QoS分级：
  • Online类型：延迟敏感，中高优先级。
  • Offline类型：延迟不敏感，低优先级。
• 多维度调度策略：
  • 应用保障、驱逐约束、资源预留等策略。
• 离线可用资源计算：
  • 通过计算在线实际使用量来确定离线资源。
• 负载均衡调度：
  • 避免调度到热点机器，确保资源利用均衡。
• 规格优化推荐：
  • 提高资源使用效率，减少浪费。
• 资源隔离：
  • CPU、内存、网络、磁盘等多方面的QoS管理。

混部技术落地经验

• 推动业务混部：
  • 设定资源使用率目标，促进资源优化。
  • 强调跨部门协作，确保资源利用最大化。
• 实施落地阶段：
  • 第一阶段：潮汐混部。
  • 第二阶段：实时计算和在线混部。
  • 第三阶段：离线大数据和在线混部。
  • 第四阶段：全场景混部。
• 应急预案：
  • 干扰预案、压制预案、系统故障预案、大数据预案等。
• 收益和未来规划：
  • 节省大量资源成本，支持大促需求。
  • 未来规划：异构架构混部、AI混部、更精细化资源隔离、更多国产OS支持。

总结

京东科技通过混部技术实现了资源的高效利用，特别是在春晚红包活动中，成功提升了资源利用率和业务稳定性。该技术不仅提高了资源使用效率，还大幅降低了运维成本，并在未来有更广阔的应用前景。