ETH-X Scale Up 协议测试报告

一、测试背景

随着人工智能模型规模的持续扩展，计算集群内部的互联性能成为影响系统效率和可扩展性的关键因素。ETH-X项目制定了《ETH-XScaleUp互联协议规范》，面向超节点架构，提供高吞吐、低时延的高性能互联能力，实现GPU之间的高效数据访问。

二、测试目标和范围

本测试报告聚焦于ETH-XScaleup协议（PAXI+PRI）关键能力验证与性能评估，重点覆盖通信时延、吞吐性能等核心指标，并与主流传统互联技术RoCEv2进行对比分析。测试范围包括组网连通性测试、转发性能测试、DirectAccess性能测试、DirectCopy性能测试以及MOE通信性能测试。

三、术语和缩略语

报告对RDMA、RC、QP、CQE、WQE、RoCEv2、AXI、PAXI、MOE、PRI、FCT等术语和缩略语进行了定义。

四、测试环境和方法

测试组网由1台交换机和4台主机原型组成，交换机为高性能以太交换机，支持128个400G高速端口。主机原型为合见工软验证平台，支持RoCEv2和PAXI+PRI协议。测试方法包括端到端RoCEv2报文收发、端到端PAXI报文收发、报文转发时延、报文承载效率、单事务响应时延、访存队列有效吞吐、HBM间数据拷贝吞吐、Dispatch通信完成时间、Combine通信完成时间以及All-to-All通信性能等测试。

五、组网连通性测试

测试结果表明，节点间可以通过RDMA或PAXI协议实现互联互通，满足协议互通性要求。

六、转发性能测试

测试结果表明，交换机在不同负载情况下，均具备极低时延转发能力，满足scale-up域端到端时延要求，单跳组网下，端到端RTT时延<2us。

七、DirectAccess性能测试

测试结果表明，ETH-XPAXIPRI增强模式下，报文承载效率优于RoCEv2，单事务响应时延满足scale-upRTT诉求，访存队列有效吞吐随着单笔数据大小和MAC帧长度的增大而增大。

八、DirectCopy性能测试

测试结果表明，ETH-XPAXIPRI增强承载下，HBM间数据拷贝有效吞吐可达基线能力，且随着MAC帧长度的增加而呈增长趋势。

九、MOE通信性能测试

测试结果表明，在数据量较小时，ETH-XPAXIPRI增强承载下，Dispatch和Combine通信完成时间低于基线测试结果；在数据量大时，通信完成时间与基线持平。有效吞吐在数据量较小时高于基线，在数据量大时与基线持平。大批量数据下RDMA包效率优于PAXI，因此在1792KBpayload下，RDMA吞吐量略优于PAXI。