5G毫米波赋能8K视频制作白皮书

目录 1.背景、商业需求1 2.8K视频用例、协议、需求2 2.1.8K视频无线回传用例描述2 2.2.视频压缩格式3 2.2.1.视觉无损压缩4 2.2.2.深压缩协议6 2.3.8K超高清视频无线传输的KPI8 3.毫米波使能8K视频传输10 3.1.端到端传输方案10 3.1.1.网络架构选择10 3.1.2.核心网方案10 3.1.3.无线网络方案11 3.2.上行传输技术12 3.2.1.大上行帧结构12 3.2.2.MU-MIMO13 3.2.3.高功率终端14 3.3.协议适配和链路聚合14 3.3.1.传输协议背景14 3.3.2.ISSP协议介绍15 3.3.3.ISSP协议小结17 3.4.生态链关键企业调研17 3.4.1.毫米波移动通信产业链成熟度18 3.4.2.超高清编码器成熟度18 3.4.3.基于5G的超高清视频移动回传成熟度20 4.典型传输案例20 4.1基于5G毫米波8K视频端到端传输演示20 4.2基于5G毫米波网络应用的延展性讨论21 4.2.1.各类移动直播报道22 4.2.2.外场制作/车载制作23 4.2.3.远程制作23 4.2.4.风景摄像头慢直播24 5.结束语26 参考文献28 致谢29 1.背景、商业需求 随着5G全方位赋能，“信息视频化、视频超高清化”已经成为全球信息产业发展的大趋势。从增长和规模来看，据预测，到2022年底，超高清占视频点播IP流量的百分比将高达35%，我国超高清视频产业规模将超4万亿元；2021年东京奥运会，中国央视和日本NHK均实现了8K赛事转播。2022年春晚、2022年北京冬奥会已明确将采用8K超高清直播。由此推测，未来最受瞩目的体育赛事直播，包括奥运会、世界杯等，将均采用超高清制作传输。业界对超高清视频业务上行需求的增长不断攀升，中国超高清视频产业发展拥有难得的机遇，同时这也给网络上下行速率及容量带来巨大的挑战。 从产业链角度看，超高清视频产业链条长，发展超高清视频产业将带来芯片、视频制作设备、存储设备、网络传输设备、显示面板、终端整机等产业链各环节产品的升级换代与流程再造。在硬件方面，以8K为代表的超高清视频产业发展将推动投影仪、VR/AR、户外大屏等设备成为新型入口；在应用方面，8K+AI、8K+VR/AR、8K+全息、8K+互动等融合技术的发展将带动家庭、文娱等2C市场的进一步发展，以及安防、医疗、工业控制、精密制造等ToB领域的市场爆发。在我国，超高清终端竞争力、覆盖率持续走高，60英寸以上大尺寸面板将全面实现超高清化，超高清体验“走进千家万户”的基础终端能力已经具备，良好的基础将强力驱动产业和消费全面升级，超高清市场爆发愈加可期，中国将成为最大的超高清市场。 中央广播电视总台在2021年1月颁布的《8K超高清电视节目制播技术要求 （暂行）》[1]中规定： 1）8K超高清演播室或转播车视频系统中的8K设备，直接使用8K基带信号或将8K基带信号转换为SMPTE-2110标准的无压缩IP信号在系统中进行制作。其中，送总控的信号按照SMPTE-2110-20标准，采用4个12Gbps的视频IP组播信号流方式实现8K超高清信号传输。制作域传输采用SMPTE-2110定义的JpegXS等浅压缩协议。 2）8K超高清电视播出信号和互动点播编码压缩技术要求，采用AVS3/H.266/H.265标准，视频编码码率在80-120Mbps。 通过以上数据可以看出，广电标准的8K无压缩信号虽然能够保证超低延时，但是无论是采用基带（12GSDIx4）或者SMPTE-2110标准的IP流，其传输速率要求都是目前无线传输难以承载的，只能通过光纤传输方式。而8K播出和互动点播编码标准目前采用的80-120Mbps左右的传输速率，基本上接近目前公网环境5G上行速率上限；但是采用现有的互联网视频传输编解码方式，编解码延时量基本都在秒级以上，又无法体现5G低延时的特性；另外其码率过低，难以满足母盘制作的需求。 因此，采用JPEGXS编解码技术，通过对8K视频采用浅压缩到吉比特每秒的码率，接近于8K广播级视频10bit记录码率，比播出端传输8K码率显著提高，可以保留更多的影像细节和画质。同时较低的编解码延时量，与5G网络协同，可以获得高速5G+8K传输能力，这也是之前的解决方案不具备的特点。 2.8K视频用例、协议、需求 2.1.8K视频无线回传用例描述 为了传输高达数百兆甚至数吉比特的视频流，传统8K视频在制作域传输通常采用带宽很大的光纤通道。这种传输技术最大的局限是摄像机和编码器需要提前设定好位置，无法灵活移动。这一点不适合移动性很强的体育赛事摄制，特别是移动速度很快，或是户外大范围移动的项目。 采用毫米波的5G技术突破了传输带宽的瓶颈，可以提供吉比特级别的上行带宽，通过移动通信上行链路回传8K大带宽视频成为可能。下图是8K超高清视频通过5G链路传输示意图。8K摄像机将采集到的数据传输到编码器进行编码，编码后的数据通过路由器和CPE作为上行数据发出。信号直接进入边缘计算节点MEC的云渲染服务器。 图1通过5G链路转播回传超高清视频示意图 2.2.视频压缩格式 根据变换域的不同，视频压缩协议通常可分为基于DCT变换和基于小波变换两大类。二者技术特点各有不同，目前压缩率较高的MPEGH.264、H.265、H.266和国内的AVS系列标准都是基于DCT/DST变换；而制作域浅压缩标准TICO、JPEG-XS、JPEG-2000通常采用小波变换。 8K摄像机输出的通常是4路12Gbps的SDI信号，通过制作域的浅压缩编码器后转换为IP码流通常的大小在数吉比特到数百兆比特每秒，远超出目前5G低频（sub-6）商用网络和4G商用网络的能力，在5G毫米波网络商用之前通常只能通过光纤或以太网传输。8K等超高清视频信号传输通常采用H.265等深压缩格式传输，为了适配4G、5G商用网络能力，通常采用较高的压缩比例将码流速率控制在数十兆比特每秒。 图2以小波变换和DCT算法基础的初次编解码图像质量对比 2.2.1.视觉无损压缩 随着网络传输带宽不断提升，无论是有线专用网络还是无线网络，包括无线微波技术和5G毫米波技术的不断推进和施行，数据传输链路带宽随之增加，业界和用户对尤其是文娱和体育赛事直播和视频传输的质量有了更高的要求，对视频传输的时延要求越低越好。 广电行业在追求8K视频的同时，UHDHDR高动态对比度和BT.2020广色域的视频处理成为当下高端专业视频处理的基础，视频高质量也带来了传输链路带宽的高要求。 继TICO格式之后，JPEG-XS成为当前广电和高端视频行业最为合适的8K 或4KUHD视频远程高质量、超低时延传输的最优格式。JPEG-XS（ISO/IEC29170）以低复杂度的次帧内离散小波变换和五层水平、二层垂直为基础做图像压缩，结合熵编码，最后按要求进行码率分配。图像编解码可以分别控制在9~16条扫描线，并且不需要相关图像组的预测变换，从基本上决定了JPEG-XS编解码端到端的时延是目前已知算法格式中最小的。实际可以综合传输带宽和视频质量要求等方面的考量，达到保持视频的整体质量的前提下，适应存储设备或网络传输带宽。 在广电级专业节目制作领域，国际和国内的大型电视台设定的JPEG-XS压缩比典型值为10:1到16:1，通过SMPTEST2110协议将JPEG-XS视频码流与相关音频和辅助数据分别进行传输，充分体现RTP数据组播对高端视音频的灵活性。并且实现以母盘图像质量的端到端时延可以低至0.3ms，满足演播室等视频节目远程传输和制作的需求。 JPEG-XS从算法基础上就决定了成型产品的几大特点： 1)JPEG-XS编解码的视频还原度高，尤其多次迭代编解码后的视频质量稳定。根据波视公司的日本用户以典型视频序列测试，实际得出的经过JPEG-XS二次编解码的PSNR值与第一次相近。这也是相比于基于小波变 换的帧内编码格式JPEG2000，和其他以DCT/DST变换为基础的帧间压缩编码格式最大的优点。 表格1JPEG-XS4K12G-SDI迭代编解码图像还原度对比-PSNR实际测试值 2)端到端传输的视频时延小 3)JPEG-XS编解码时延的算法理论值低于0.1ms，实际成型的链路产品考虑到解码端LineBuffer，端到端时延可小于0.3ms。实际的网络传输系统中的时延会产生3ms~40ms的不同值，需要根据专用有线、或无线网络的链路状况，和ST2059网络时钟和视频传输系统中的参考相位精度而定。 4)JPEG-XS编码数据为恒定码率，对传输链路带宽的需求稳定 5)JPEG-XS视频码流的压缩码率根据图像变换设定后，无需考虑其他相关的预测信息量化和存储，数据占用的带宽是恒定值。通过SMPTEST2110-22协议传输，相比于传统的广电信号传输，超高清UHD信号系统的IP传输链路带宽降低至几十分之一。大大降低了超高清系统的成本，也为IP交互和中央管理系统带来了可靠性和灵活性。随着无线传输可提供的链路带宽增大至几百兆比特每秒甚至1Gbps，JPEG-XS编解码数据的高质量、超低时延和稳定性，带来高端视频传输应用耳目一新的效果。 6)8K/4K超高清信号通过SMPTEST2110协议传输视音频数据流，同时可以采集远程设备、或互动信息，同步进行传输。JPEG-XS码流和异地设备的同步信息或互动信息都可以通过ST2110分别进行同步传输，这种创新可以使VR虚拟现实、超高清远程控制等应用更加逼真和具有时效性。 7)JPEG-XS支持FPGA硬件和软件基于CPU做编解码处理，但是对接口速度和处理资源有相应要求，视频分辨率越高，运算频率越高，处理带宽越大，占用的硬件资源越大。随着支持JPEG-XS的软件产品出现，VSF国际组织针对JPEG-XS码流通过ST2110-22协议传输出台了更加详细的标准和指导规范，并在不断的更新，涵盖了JPEG-XS-22的打包格式和各项数据范围，相对统一了JPEG-XS-22的数据格式，促进了基于硬件和服务器基础的软件的JPEG-XS编解码的兼容性。 2.2.2.深压缩协议 深压缩协议通常针对传输环境变化较大的公网IP链路设计，压缩率高，对链路适应性好。在变化较为复杂的环境中采用深度压缩的视频编码模式，视频压缩应尽可能的采用高效率的视频压缩编码方式，这样可以有效的降低视频码率，降低对网络上行带宽的要求。常用的深压缩编码协议包括MPEG制定的H.265、 H.266和国内制定的AVS3。 1.H265编码 H265编码又称HEVC（HighEfficiencyVideoCoding）是继H.264后的新一代编解码标准，与H.264一样，它由ISO/IEC运动图像专家组和ITU-T视频编码专家组（VCEG）联合制定，压缩效率比H.264高50%，主要应对当前视频应用不断向高清晰度，高帧率，高压缩方向发展趋势而发布。HEVC协议标准第一版与2013年7月发布，实现了在H.264标准复杂度基础上，将压缩率提升了一倍以上。作为新一代视频编码标准，HEVC仍然是预测加变换的混合编码框架，但是其相对于H264在很多方面进行了革命性的提升，其主要技术亮点有： 1)灵活的编码结构 在H.265中，将宏块的大小从H.264的16×16扩展到了64×64，以便于高分辨率视频的压缩。同时，采用了更加灵活的编码结构来提高编码效率，包括编码单元（CodingUnit）、预测单元（PredictUnit）和变换单元（TransformUnit）。 2)灵活的块结构——RQT（ResidualQuad-treeTransform） RQT是一种自适应的变换技术，这种思想是对H.264/AVC中ABT（AdaptiveBlock-sizeTransform）技术的延伸和扩展。对于帧间编码来说，它允许变换块的大小根据运动补偿块的大小进行自适应的调整；对于帧内编码来说，它允许变换块的大小根据帧