基于数据处理器（DPU）的新一代存算分离存储架构：重构数据中心存储范式

基于数据处理器（DPU）的新一代存算分离存储架构：重构数据中心存储范式

一、现有存储架构分析

传统分布式存储架构的局限

• 资源配比困境：传统架构中CPU与NVMeSSD资源配比难以优化，高性能CPU在存储需求较低时浪费，而NVMeSSD性能受限于CPU处理能力。
• 资源利用率问题：存储密集型场景中CPU成为瓶颈，计算密集型场景中存储资源闲置，导致资源利用效率低下。
• 成本效益影响：资源配比失衡导致硬件采购成本增加、能耗效率降低，运维复杂度高，总体运营成本居高不下。

存算分离架构

• 基本原理：将存储资源与计算资源解耦，实现独立扩展和管理，提高灵活性和效率。
• 优势：提升资源利用率、灵活性、性能、管理效率和成本效益。
• 挑战：分布式环境下保证数据一致性、数据传输安全风险。

二、数据处理器（DPU）技术与存算分离

数据处理器（DPU）技术简介

• 定义：专门设计用于现代云计算和数据中心基础设施的处理器，集成高性能网络接口、可编程多核ARMCPU、硬件加速引擎等。
• 功能：卸载、加速和隔离各类基础设施功能，包括网络处理、硬件加速、可编程性、安全执行环境等。

NVIDIABlueField-3DPU关键特性

• 高性能网络连接：支持400G/200G以太网或NDR400Gb/sInfiniBand网络。
• 强大计算能力：集成多个ARM核心，运行复杂软件栈。
• 硬件加速引擎：加速加密、压缩等操作。
• 大容量高带宽内存：支持快速数据处理和缓存。
• 可编程性：支持NVIDIADOCA软件框架，开发和部署自定义应用。

基于DPU的存储架构设计

• 架构组成：计算节点集群和Chunk服务器（全闪存储服务器|JBOF服务器）。
• 计算节点：配备至少一块DPU，可以是CPU服务器或GPU服务器。
• Chunk服务器：全闪存配置，提供高性能存储资源池，仅运行NVMe-oFTarget端负载。
• 优势：架构简化、性能隔离与资源聚合、网络流量优化与带宽聚合、分布式数据恢复与故障处理、智能存储分层与写入优化。

三、数据处理器（DPU）技术与存算分离（衍生方案）

CSALQLC加速方案

• 背景：QLC SSD容量大、功耗低，但随机写入性能差，IU尺寸增大导致写放大和寿命问题。
• 架构：将CSAL软件从服务器CPU搬移到DPU，利用DPU计算资源和内存优化QLC SSD性能。
• 测试结果：小块4K写入性能相比单独QLC SSD提升20倍。
• 方案展望：支持AI推理应用中的KVCache、对象存储和向量数据库需求。

SRIOV加速方案

• 背景：SR-IOV技术将物理设备虚拟化为多个独立的VF，提升资源利用率和性能。
• 架构：利用三星PCIeGen5NVMeSSD PM1743的SR-IOV功能，结合DPU存算分离方案提升Ceph数据面I/O能力。
• 测试结果：三副本模式写入性能提升17%，EC模式写入性能提升174%，随机读性能提升176%。
• 方案展望：推动存储技术向更高效、更智能的方向发展。

分布式Raid加速方案

• 背景：传统RAID技术受限于本地化约束，无法适应现代分布式存储需求。
• 架构：在DPU上运行XiRaid软件，结合NVMe-oFRDMA技术实现跨节点的分布式RAID组构建。
• 测试结果：6块设备RAID6配置下随机读取性能达到422万IOPS。
• 方案展望：重新定义分布式存储的成本效益平衡点，为大规模数据中心部署提供更具竞争力的解决方案。

四、存储系统方案案例

HDFS

• 概述：Apache Hadoop分布式文件系统，采用主从架构设计，通过NameNode管理元数据，DataNode存储实际数据。
• 挑战：存储IO利用率不足、副本机制引发的多重开销、数据路径效率低下、扩展性制约。
• 优化方案：将副本管理和数据保护逻辑下沉到DPU层，实现单副本存储模式下的高可靠性保证。
• 测试结果：DPU方案在性能上与传统X86三副本方案相当，但硬件成本降低40%以上。
• 应用展望：扩展性与维护性优势、技术机理与资源效率、AI工作负载适配性。

BeeGFS

• 概述：专为高性能计算设计的并行文件系统，采用完全分布式架构，广泛应用于科研、工程、AI/ML、媒体处理、金融建模等领域。
• 挑战：NVMeSSD高性能I/O能力无法完全释放、元数据热点问题、传统网络架构无法充分发挥NVMeSSD性能、传统存算分离方案成本和复杂性问题。
• 优化方案：将存储处理负载从CPU卸载到DPU，实现计算资源和存储资源的精确解耦。
• 测试结果：单个Client下随机读可以达到66GBps的输出，双Client最高可以实现82GBps输出，三节点达到了110GBps的输出。
• 应用展望：资源利用效率、运维管理、AI工作负载适配性。

五、总结与展望

技术创新总结

• 架构创新突破：实现计算资源、协议处理和存储资源的完全解耦，性能优势显著。
• 成本效益优化：JBOF与DPU的结合彻底解决了传统全闪服务器网络带宽与存储带宽不匹配的问题。

技术方案价值

• CSALQLC加速方案：小块4K写入性能相比单独QLC SSD提升20倍。
• SRIOV加速方案：极大释放了NVMeSSD在Ceph系统中的性能潜力。
• 分布式RAID加速方案：为分布式存储提供了统一的块层面数据保护能力。

产业影响与应用前景

• AI大模型训练：提供TB/s级数据加载带宽和毫秒级访问延迟。
• 云计算环境：资源池化特性使得云服务提供商能够更精确地进行资源配置和成本控制。
• 标准化推动：NVMe-oF协议的广泛应用和DPU技术的成熟，加速了技术的商业化进程。
• 生态系统完善：主流存储系统都能够在DPU架构上获得显著性能提升。

发展趋势与技术展望

• 智能化存储管理：结合AI技术实现存储资源的智能调度、预测性维护和自动化优化。
• 异构计算融合：DPU将与GPU等异构计算设备深度融合。
• 边缘计算扩展：DPU的低功耗特性和强大处理能力使其成为边缘计算场景的理想选择。