RAID卡性能测试技术报告

RaidCard性能测试技术报告 [编号ODCC-2024-0500D] RaidCard性能测试技术报告 开放数据中心标准推进委员会2024.09发布 RaidCard性能测试技术报告 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 RaidCard性能测试技术报告 编写组 项目经理： 黄福帅联想（北京）信息技术有限公司工作组长： 郭亮中国信息通信研究院 贡献专家： 李军深圳忆联信息系统有限公司 张华深圳忆联信息系统有限公司胡振国联想（北京）信息技术有限公司 吴福磊联想（北京）信息技术有限公司 刘振华联想（北京）信息技术有限公司 徐媛媛联想（北京）信息技术有限公司 王瑞联想（北京）信息技术有限公司孙志超中科曙光 许泗强浪潮通信信息系统有限公司温小振中国信息通信研究院 RaidCard性能测试技术报告 目录 一、目的与范围1 二、缩写和术语1 三、协议分析3 （一）RaidCard上下行协议3 四、性能分析4 （一）RaidCard性能瓶颈分析4 1.PcieGen4SAS34 2.PcieGen4SAS45 （二）SAS3.0RaidCard性能极限估算6 （三）SAS4.0RaidCard性能能力估算8 五、Raid等级介绍9 （一）Raid010 （二）Raid110 （三）Raid5/610 （四）Raid1011 六、测试环境11 （一）测试机型12 （二）测试RaidCard12 （三）测试配置12 1.Comfig112 2.Comfig213 RaidCard性能测试技术报告 3.Comfig313 4.Comfig413 七、测试方法14 （一）测前准备14 （二）测试参数14 （三）数据监控15 八、性能调优16 （一）BIOS条件性能16 1.BIOS下性能影响因子16 （二）操作系统下调优方法16 1.操作系统下性能影响因子16 2.性能影响因子参数解释17 3.性能影响因子参数优化数据18 （三）RaidCard参数调优方法20 1.Strip参数评估20 2.Cache参数评估21 RaidCard性能测试技术报告 RaidCard性能测试技术报告 一、目的与范围 本测试规范旨在为MR/IMRRaidCard环境下，通过RaidSOC来实现对下挂SATASAS盘以及Expander拓展组成不同的RaidLevel的实践测试。对不同的Raid影响因子进行分析找到性能优化方案以及选取合适的性能使用场景。 本测试规范的范围涵盖了不同的RaidCard供应商的不同RaidCard系列，不同的搭载场景，不同的下挂协议层，以及不同的RaidLevel的性能进行数据库统计优化分析。 本测试规范旨在提供一套统一的测试方法和指导，以确保在不同RaidCard，不同的搭载环境，不同的协议实现，以及不同的RaidLevel下，通过对影响因子以及环境特性的分析，找到性能优化的最优点，对不同性能的优势点进行分析，找到最适合的应用场景。 本测试规范不涉及Raid协议的设计和开发，也不涉及RaidLevel实现的具体实现方法。它仅涉及对RaidCard性能的调优以及测试方法。 二、缩写和术语 缩略语 英文全称 中文全称 ACPI AdvancedConfigurationandPowerManagementInterface 高级配置和电源管理接口 AR ActiveRange 可运作范围 AWB AlwaysWriteBack 强制写回 BBU BatteryBackupUnit 备用电源组 BGI BackgroundInitialization<BGI> Rate 虚拟磁盘后台初始化时占用的I/O资源的百分比 RaidCard性能测试技术报告 BIOS BasicInputOutputSystem 基本输入输出系统 BT BackgroundTaskActive 后台任务 CC Consistencycheck 一致性检验 CPU CentralProcessingUnit 中央处理器 DG DriveGroup 驱动器组 DUT Deviceundertest,usuallyDiskin thisdocument 被测器件 ECC ErrorCheckingandCorrecting 指令纠错技术 EID EnclosureDeviceID 机柜设备ID GC garbagecollection 垃圾收集 HT HyperThreading 超线程 IO Input/Output 输入输出 IP InternetProtocol 网际互连协议 IPMI IntelligentPlatformManagementInterface 智能平台管理接口 JBOD JustaBunchOfDisks 磁盘连续捆束阵列 MTBF MeanTimeBetweenFailure 平均无故障时间 NR NoReadAhead 关闭预读取功能 NVMe Non-VolatileMemoryexpress 非易失性存储器快速通道 OP Over-provisioning 预留空间 OS OperatingSystem 操作系统 PCIe PeripheralComponentInterconnectExpress 高速串行计算机扩展总线标准 PDC PDCache 成员盘缓存状态 PPW PerformancePerWatt 效能功耗比 PR Patrolread 巡读 PSU PowerSupplyUnit 电源供应器 QoS qualityofservice 服务质量 RAID RedundantArrayIndependentDisk 独立冗余磁盘阵列 RDIMM RegisterDIMM（DualIn-lineMemoryModule） 带寄存器的双线内存模块 Redfish Redfish 统一接口软件定义的服务器(数据模型) RW ReadWrite 读写 SAS SerialAttachedSCSI 串行连接小型计算机系统接口 SATA SerialATA 串行高级技术附件 SCC Scheduled 计划 SNMP SimpleNetworkManagementprotocol 简单网络管理协议 SSD SolidStateDrive 固态驱动器 SUT Systemundertest 被测系统 TCO TotalCostofOwnership 总体拥有成本 TB TurboBoost 英特尔睿频加速技术 RaidCard性能测试技术报告 USB UniversalSerialBus 通用串行总线 VD VirtualDrive 虚拟驱动器 VGA VideoGraphicsArray 视频图形矩阵 WA writeamplification 写入放大 WB WriteBack 写回 WCD WriteCacheDisable 关闭硬盘写缓存 WT WriteThrough 透写 三、协议分析 （一）RaidCard上下行协议 协议类型 协议介绍 SSP 是一套用于Initiator和Target之间传输SCSI指令的传输保证协议.用于传输SCSI命令 RaidCard性能测试技术报告 STP 是一套用于在Initiator和Target之间传送SATA指令的传输保障协议。由于SATA协议与SCSI协议是完全两套上层协议，不仅指令描述方式和结构不同，而且在底层传输中的控制上也不同，STP就是将SATA协议的底层传输逻辑拿来过来，并将其承载于SAS底层进行传输。 SMP 是一种对SAS网络内所有Expander进行管理的协议，包括Expander拓扑发现和路由协议。由Initiator端建立连接后向Target端发起查询请求，Target只能响应Initiator的查询而不能主动向Initiator发送消息 四、性能分析 （一）RaidCard性能瓶颈分析 1.PcieGen4SAS3 RaidCard类型 MegaRaid9560 速度类别 PCIeG4 SAS3 原始速率 16Gb/s 12Gb/s 编码换算bittoByte 1/8 1/8 编码换算PCIeGen4 128/130 - 编码换算SAS3 - 8/10 理论值1Line/1Phy 16/8*128/130=1.968GB/s 12/8*8/10=1.2GB/s 理论值8Line/phy 8*1.968=15.75GB/s 8*1.2=9.6GB/s 理论值16Line/phy 16*1.968=31.5GB/s 16*1.2=19.2GB/s 配置选择 根据理论数据可以看出，对于PCIeGen4SAS3的RaidHBACard其性能瓶颈在SAS端 RaidCard性能测试技术报告 对于RaidCard来说性能由三个影响因子所左右，分别是PCIe的速率，SAS的速率以及主控的瓶颈，通过这三方的影响组成了RaidCard的上行限制。上图列举了PcieGen4SAS3的RaidCard三个影响因子的极限值，通过木桶原则可以计算出不同Line数以及Phy数RaidCard的性能极限。 2.PcieGen4SAS4 RaidCard类型 MegaRaid9660 速度类别 PCIeG4 SAS3 原始速率 16Gb/s 12Gb/s 编码换算bittoByte 1/8 1/8 编码换算PCIeGen4 128/130 - 编码换算SAS4 - 128/150 理论值1Line/1Phy 16/8*128/130=1.968GB/s 22.5/8*128/150=2.4GB/s 理论值8Line/phy 8*1.968=15.75GB/s 8*2.4=19.2GB/s 理论值16Line/phy 16*1.968=31.5GB/s 16*2.4=38.4GB/s 配置选择 根据理论数据可以看出，PCIeGen4SAS4RaidHBACard的性能瓶颈在PCIe端 RaidCard性能测试技术报告 对于RaidCard来说性能由三个影响因子所左右，分别是PCIe的速率，SAS的速率以及主控的瓶颈，通过这三方的影响组成了RaidCard的上行限制。上图列举了PcieGen4SAS4的RaidCard三个影响因子的极限值，通过木桶原则可以计算出不同Line数以及Phy数RaidCard的性能极限。 （二）SAS3.0RaidCard性能极限估算 RaidCard性能测试技术报告 RaidCard类型 速度类别 理论值8Line/phy 理论值16Line/phy RaidSOC瓶颈 MegaRaid9560 PCIeG4 15.75GB/s 31.5GB/s 13.7GB/s SAS3 9.6GB/s 19.2GB/s UpLink速度 SAS转SATA损耗 DownLink速度 PCIeG4SAS38UpLink 由于性能瓶颈在SAS38phy 故UpLink速度为9.6GB/s 因SAS到SATA的协议转换写性能会损耗至65% DownLink至SATA6.24GB/s DownLin至SAS9.6GB/s PCIeG4SAS316UpLink 由于性能瓶颈在RaidSOC故UpLink速度为13.7GB/s DownLink至SATA8.49.24GB/s DownLin至SAS13.7GB/s 当通过上行三个性能因子锁定了上行性能瓶颈，接下来就是计算下行可承载下挂设备的数量极限，这里我们以SAS/SATAHDD为