王豪杰：PHYSec安全加密技术及在智算中心的应用

演讲人：王豪杰 演讲单位：中国移动研究院 目录 01 场景与安全需求 02 现有技术分析 03 PHYSec技术思路 04 总结与展望 Chapterone 01 场景与安全需求 网络攻击日渐频繁，无处不在!在Internet上每天有超过1亿次的网络攻击，每秒超1000次以上的攻击发生。攻击者企图访问用户个人或组织的信息数据，没有一家公司能幸免 全球100多个国家已对数据安全提出要求；中国、英国、德国、欧盟相继颁布网络安全法案，要求通信网络确保数据传输安全 PCI-DSSv4.0 ( )( ) 2022 工业和信息化领域数据安全管理办法试行征见 ( ) 网络安全审查办法修订 英国电信安全业务守则草案 ( ) 网络数据安全管理条例征求意见 中国个人信息保护法 2021 网络产品安全漏洞管理规定 2.0 德国电信安全法 关键信息基础设施保护条例 中国数据安全法 ( ) 商用密码管理条例修订征求意见 工业和信息化部关于工业大数据发展的指导意见 2020 德国安全要求目录 网络安全审查办法 2019 中国密码法 ( ) 2018 网络安全等级保护条例征求意见 GDPR 2016 中国网络安全法 欧盟网络安全法 用户入算上载样本数据、算内及算间训练生成模型及参数、下载训练后的模型及参数，涉及敏感数据的频繁交互，存在泄露、窃听的风险 智算中心B 智算中心A 远端用户 承载网络 算间网络 ⑦参数传递：端到端安全加密,确保模型框架、参数安全 算内网络 ②数据转移：存储节点直接(对象文件)，需确保样本数据安全 ③数据读取：计算节点访问文件存储节点(读)，需确保样本数据安全 ④归档写回：计算节点访问文件存储节点(写)，需确保模型与参数安全 ⑤模型复制：存储节点直接(文件对象)，需确保模型与参数安全 入算网络 ①数据上传：端到端安全加密,确保样本数据安全 ⑥模型下载：端到端安全加密,确保模型框架、参数安全 智算中心内实现网络安全机制的从无到有，入算网络和算间网络实现安全防护能力的由低到高；面向算内、入算和算间的不同诉求，研究合适的安全加密机制 智算中心A 智算中心B EthernetEthernet 算间网络 用户 入算网络 入算关键诉求： •用户访问以及用户 数据的安全 关键能力： •高安全、低开销 算内关键诉求： •AI模型架构、参数核心资产的 存储、使用安全 关键能力： •低时延、高吞吐、低开销安全， 不占用算力，不影响算效 算间关键诉求： •数据与协议安全，防窃听 关键能力： •高安全、高吞吐、低开销 上述智算中心网络场景的底层承载网络主流技术是以太网，为了应对上述日益严峻的数据安全挑战，须对以太网提供安全认证、密钥管理以及数据加解密能力，构筑以太网安全机制，为新型智算中心提供安全数据传输能力 Chapterone 02 现有技术分析 智算中心采用CLOS组网来满足日益增长的转发规模需求，通用性有明显优势。智算中心的AI典型Leaf-Spine组网，ALL-TO-ALL通讯，100GE/400GE/800GE接口，1K计算节点(32×32) **2023usenix，AcceleratingDistributedMoETrainingandInferencewithLina，HKU ×8 800GE ×16 400GE ×32 100GE ×32 Rack1 Rack32 训练和推理**： core交换机 … core交换机 128 spine交换机 spine交换机 … spine交换机 spine交换机 256 TOR TOR TOR TOR … ×32 •模型：MixtureofExperts(MoE) •通讯方案：all-to-all TLS/RDMASec*/IPSec等端到端安全加密方案，服务器间实施典型的ALL-TO-ALL通讯方案；但没有网络的参与，计算节点之间部署端到端方案成本、难度和算力代价较大 优势 •可以实现计算节点与计算节点，计算节点与存储节点，存储节点与存储节点之间的安全加密 劣势 •带宽开销增加至少21字节： •TLS逐包增加21B开销，RDMASec逐包增加40B开销，IPSec逐包增加48B开销 •须升级硬件支持： •在AI计算场景下，将TLS/IPSec/PSP安全加密功能卸载到硬件，需要Server硬件支持 •管控复杂O(𝑁2)：N台Server � 全网需维护𝐶2安全连接（SA会话） � 每连接1对密钥，全网管理维护2×𝐶2个密钥 *RFC5042提出RDMASec基于IPSec改进，Google在2022年发布基于IPSecESP的改进方案PSP core交换机 … core交换机 spine交换机 spine交换机 … spine交换机 spine交换机 TOR TOR TOR TOR … •静态时延增加超30%： 以4Hops为例，server-to-server典型静态链路时延≈2.85𝜇� 考虑TLS/RDMASec/IPSec加解密时延最优性能1μs，静态时延增加=1𝑢𝑠/2.85µ�≈35% 智算中心内采用MACSec链路级安全加密方案*，服务器间实施典型的ALL-TO-ALL通讯方案；MACSec在管控复杂度有改进，但10多年前主要面向传统园区设计，时延开销无法满足智算时代需求 优势 •管控复杂度低0(𝑁): Server-TOR,TOR-Spine,Spine-Core部署MACSec，全网维护=44N安全连接（SA会话） 劣势 •带宽开销增加至少32字节： •对64B包而言，逐包开销增加超30% core交换机 …core交换机 … •须升级硬件支持： •在AI计算场景下，须将MACSec安全加密功能卸载到硬件，需要Server升级硬件支持，需要交换机升级硬件支持 spine交换机spine交换机spine交换机spine交换机 TOR TOR TOR TOR … •静态时延增加32%：4Hops 以4Hops为例，Server-to-server典型静态时延 ≈2.85𝜇� Server-to-server使能MACSec时典型静态时延 ≈3.77𝜇� 静态时延增加=(3.77−2.85)/2.85≈32% *MACSec2017版本，IEEE802.1AEcg支持VLANinclear端到端加密方案，此方案优劣势同TLS/RDMASec/IPSec 设定新安全性能目标，兼顾成本、代价方面，探索智算时代的以太网安全新机制 •竞争分析：智算中心最关注算效，通讯时延*对算效影响大Server-to-Server端到端时延每降低1us，有效算力线性度提升3% IB控标静态时延𝑇𝑁i𝑐−𝑆w−𝑁i�<1.2𝑢� TOR 𝑇𝑁i𝑐−𝑆w−𝑁i�<1.2𝑢� Server Server •各项性能指标对比分析 最佳最差一般 *AI训练和推理，对每一次迭代通讯的尾时延敏感；HPC小包通讯，对RTT时延敏感 比较项 RDMASec MACsec ?Sec 加密层级 应用层/传输层 链路层 新层次？ 加密开销 带宽开销增加36% 带宽开销增加30% 接近0？ 加密时延 静态时延增加35% 静态时延增加32% 静态时延增加<10%？ 加密配置 相对复杂O(𝑁2) 简单O(𝑁) 简单O(𝑁)？ 加载难度 Server升级硬件支持 Server升级硬件支持，交换机升级硬件支 持 易升级易部署？ Chapterone 03 PHYSec技术思路 MACIPUDP •探索新层次：网络安全的思想是把密码学技术应用到网络的不同层次；在智算时代，是完善传统安全机制还是探索“更底层的加解密技术”，解决现有技术方案的安全漏洞与性能瓶颈？ TLS/DTLS soft L5ware MACSec Software+hardware IPSec Har PHY L4L3L2 MAC MACIP Hardware MACIPTCP Ciphertext RDMASec dware ？ PHYSec Hardware MAC Ciphertext CiphertextCiphertext Ciphertext 199419952006 2022 Now Time 光模块加密 接口芯片加密 MACSec Packet xAUI / RDSec MA xAUI MAC Packet xAUI or Packet xAU PHYSecI PMA PCS MACSec/RDMASecPHY PP MM AD c e S Y H PMD P PMAPMD PMA MACPCSPMA MACPCSPMA PMAPCSMAC MACPCSPMA •RDMASec在IPSec和TLS基础上优化，基于硬件实现，优势是能够降低部分时延，但功耗、成本较高，时延仍然影响算效；PHYSec在以太网物理层实现加解密，避免两次背靠背转换，具有极低时延、更低功耗和成本等优势 可以在多个参考点实现PHYSec越往下，不同速率PHY实现的方案区别越大 MAC (Preamble+Padding+FCS)RS MAC (Preamble+Padding+FCS)RS MAC (Preamble+Padding+FCS)RS En/Decode (64B/66B) En/Decode (8B/10B) En/Decode (64B/66B) (De)Scramble (De)Scramble MAC (Preamble+Padding+FCS)RS En/Decode (64B/66B) (De)Scramble MAC (Preamble+Padding+FCS)RS En/Decode (64B/66B) 256B/257B MAC (Preamble+Padding+FCS)RS En/Decode (64B/66B) 256B/257B L1.5 256B/257B256B/257B (De)Scramble (De)Scramble CWM AMAM Distribution/Interleave AM Distribution/Interleave AM Distribution/Interleave RS-FECRS-FEC ReorderSymbol distribution Deskew RS-FEC ReorderSymbol distribution Deskew RS-FEC ReorderSymbol distribution Deskew RS-FEC ReorderSymbol distribution Deskew 以太网物理层可实现PHYSec参考点：64B/66B码块和virtuallane是两种比较可行的实现位置；不同层次位置实现加解密具有不同的数据防护特点 PMA PMAPMD 1G/2.5GBASE-X 5G/10GBASE-R CWMLockPMA PMA PMAPMD BlockSync PMAPMD 25GBASE-R AMLock PMD PMA PMA 50G/100GBASE-R AMLockPMA PMAPMD 200G/400GBASE-R AMLockPMA PMAPMD AMLockPMA PMAPMD 800GBASE-R L1 基于“码块”加密的L1.5层PHYsec在PHY芯片内实现Encryption/Decryption功能 MAC (Preamble+Padding+FCS)RS En/Decode Encryption (64B/66B) 256B/257B •技术优势： 安全功能硬化，高吞量 安全加密能力不占用设备CPU资源，安全能力卸载 实现底层光通道不感知(OTN/SPN)的端到端数据加密 加密后的 MAC (Preamble+Padding+FCS)