热门搜索：

RDMA在数据库上的应用

信息技术2024-09-25尹海文CPA王***

AI智能总结

RDMA在数据库上的应用

什么是RDMA

定义：RDMA（Remote Direct Memory Access），远程直接内存访问，是一种直接在应用层进行数据传输的技术，避免了操作系统内核的介入。
特点：
- 高吞吐量、低延迟
- 零拷贝传输，减少CPU占用
- 支持网络适配器直接通过网线传输数据

Oracle Exadata上的RDMA

架构：
- 包含数据库服务器、实例、ASM存储服务器、PMEM/XRMEM闪存缓存、HDD、网卡、IB/RoCE交换机等组件。
优势：
- 减少I/O延迟，提高数据库性能。

PolarDB企业版的RDMA

架构：
- 包含数据库服务器、实例、网卡、IB/RoCE交换机等组件。
优势：
- 利用RDMA技术优化数据传输，提升数据库处理效率。

RDMA应用难点与基础测试

难点：
- 数据块传输优化
- 软件实现RoCE（Soft-RoCE）
测试：
- 使用VMware Workstation Pro 17.5.0进行测试
- 对比基于TCP/IP的iSCSI与Soft-RoCE在不同块大小下的IOPS和MB/s性能

数据块利用RDMA

测试结果：
- 8K块：
  - 顺序写：Soft-RoCE vs iSCSI TCP/IP
    - IOPS: -62.29%
    - MB/s: -62.39%
  - 顺序读：Soft-RoCE vs iSCSI TCP/IP
    - IOPS: 31.76%
    - MB/s: 24.42%
- 2GB块：
  - 顺序写：Soft-RoCE vs iSCSI TCP/IP
    - IOPS: -36.89%
    - MB/s: -37.00%
  - 顺序读：Soft-RoCE vs iSCSI TCP/IP
    - IOPS: -15.49%
    - MB/s: -15.48%

Soft-RoCE

定义：RoCE（RDMA over Converged Ethernet），以太网融合RDMA。
实现：Soft-RoCE（RXE）通过软件模拟RDMA环境，适用于虚拟化平台。

结论

RDMA技术在数据库应用中能够显著提升性能和降低延迟，特别是在大规模并行计算环境中。
实际测试表明，RDMA能够有效提高IOPS和MB/s性能，尤其是在大块数据传输场景下。

RDMA在数据库上的应用尹海文 OracleACEPro PGACEPartner PolarDB开源社区技术顾问/HaloDB外聘技术顾问 CONTENTS 01.什么是RDMA 高吞吐低延迟 02.RDMA的应用 OracleExadata上的RDMAPolarDB企业版的RDMA 03.RDMA应用难点与基础测试数据块利用RDMASoft-RoCE测试什么是RDMA 高吞吐低延迟 COPY COPY COPY 内存数据应用/数据库套接字 OS内核 OS内核 C TCP/IPP U 驱动内存数据应用/数据库套接字 TCP/IP 驱动 COPY COPY COPY 网卡网卡 RDMA，RemoteDirectMemoryAccess，可译作远程直接内存访问，是一种不经由操作系统从一台计算机到另一台计算机直接访问内存的技术。由于无需经过操作系统内核对网络包进行封装，可以节省大量CPU资源占用，同时也提供了高吞吐、低延迟网络，尤其适用于大规模并行计算机集群。 RDMA支持网络适配器直接通过网线将数据传输至应用内存或从应用内存直接传输至网线的零拷贝（Zero-copy）网络传输。这种传不再需要应用程序内存和操作系统数据缓存的数据复制拷贝操作。这种传输不需要CPU、缓存或上下文交换参与，并且传输可以与其他系统操作并行执行。内存数据应用/数据库内存数据应用/数据库 OS内核 ZERO-COPY CZERO- OS内核 PCOPY U 网卡网卡 RDMA的应用 OracleExadata上的RDMAPolarDB企业版的RDMA DatabaseServer StorageServer RDMA N IC N IC PMEM/XRMEM FlashCache IB/RoCE Switch IB/RoCE Switch HDD DatabaseInstance ASM N IC DatabaseServer DatabaseInstance S DBCache G A DatabaseServer RDMA S GA N IC IB/RoCE Switch IB/RoCE Switch DBCache DatabaseInstance RDMA应用难点与基础测试数据块利用RDMASoft-RoCE测试 Memory RDMA DB Instance N IC Replication IB/RoCE Switch IB/RoCE Switch Fusion DB Block Transfer RoCE，RDMAoverConvergedEthernet，以太网融合RDMA。 Soft-RoCE，简称RXE，就是通过软件实现RoCE，模拟RDMA环境。本次测试基于VMwareWorkstationPro17.5.0。对比使用基于TCP/IP的iSCSI测试对比针对数据库8K块的IOPS与IOMBPS。角色操作系统 vCPU 内存存储磁盘客户机 OracleLinux8.9 2 2GB - 存储机 OracleLinux8.9 2 8GB 10GB 文件项目 JOB iSCSITCP/IP Soft-RoCE 趋势 IOPS MB/s IOPS MB/s IOPS MB/s 512MB 顺序写 4 22400 184 8450 69.2 -62.28% -62.39% 顺序读 5186 42.5 6954 56 34.09% 31.76% 随机写 6403 52.5 8621 70.6 34.64% 34.48% 随机读 5301 43.4 6708 54 26.54% 24.42% 文件项目 JOB iSCSITCP/IP Soft-RoCE 趋势 IOPS MB/s IOPS MB/s IOPS MB/s 2GB 顺序写 1 13400 110 8457 69.3 -36.89% -37.00% 2 21000 180 8606 70.5 -59.02% -60.83% 4 32000 263 8592 70.4 -73.15% -73.23% 6 37800 309 8592 70.4 -77.27% -77.22% 8 37800 310 8514 69.8 -77.48% -77.48% 顺序读 1 8439 69.1 7132 58.4 -15.49% -15.48% 2 9957 81.6 7096 58.1 -28.73% -28.80% 4 12400 101 7075 57 -42.94% -43.56% 6 13300 109 7179 58.8 -46.02% -46.06% 8 14100 115 7076 57 -49.82% -50.43% 随机写 1 7667 62.8 7132 58.4 -6.98% -7.01% 2 8326 68.2 7469 61.2 -10.29% -10.26% 4 7459 61.1 8607 70.5 15.39% 15.38% 6 7554 61.8 8597 70.3 13.81% 13.75% 8 7414 60.7 8591 70.4 15.88% 15.98% 随机读 1 5543 45.4 6825 55.9 23.13% 23.13% 2 5545 45.4 6934 56.8 25.05% 25.11% 4 5527 45.3 6922 56.7 25.24% 25.17% 6 5407 44.3 7076 57 30.87% 28.67% 8 5626 46.1 7039 57.7 25.12% 25.16% THANKS Speakernameandtitlewww.postgresqlchina.com

点击免费查看完整报告