视频助理裁判系统测试方法手册 2023

FIFAVAR质量计划 测试手册 2023年12月1日|版本2.0 Contents 1.Introduction2 2.背景和方法2 3.测试和评估4 3.1.同步性试验4 3.1.1.测试设置4 3.1.2.方法论5 3.1.3.结果与评价5 3.2.延迟测试6 3.2.1.试验设置6 3.2.2.方法6 3.2.3.结果与评价6 3.3.视频质量测试7 3.3.1.试验设置7 3.3.2.方法7 3.3.3.结果与评价8 1.Introduction 视频助理裁判（VAR）已获得IFAB的批准，可根据游戏法使用，以在出现明显错误的情况下支持裁判。有权访问所有广播源的VAR可以在以下情况下协助裁判团队： 目标 处罚 红牌犯罪 错误的身份 在实施VAR系统时，必须考虑三个关键部分：系统设置，VAR系统的基本性能要求以及VAR操作员的培训。FIFA质量计划制定了一项测试和认证计划，该计划专门针对VAR系统的基本性能要求。本手册仅旨在提供有关基础VAR技术的技术信息，应理解为全面的实施援助和批准计划（IAAP）流程的一部分。 2.背景和方法 为了建立VAR系统批准的技术指南，开展了一项研究项目，以确定VAR系统的技术重要性的关键领域。这项研究的目的是建立客观的测试方法，以量化相关的技术因素，并设定适当的限制，以确保批准的系统适合使用。 最初的讨论确定了与编码，解码，同步，重新格式化广播馈送和图像处理相关的各种挑战。在此过程中，确定了三个测量点（MP），请参见图1.MP0是摄像机信号在进入视频手术室(VOR)之前离开外部广播(OB)货车/广播提供商的地方，MP1位于VOR(即VAR系统)中的视频服务器之后，MP2是视频被发送回OB货车/广播提供商的地方。 图1：VAR设置的示意图。三个测量点（MP）表示为MP0，MP1和MP2，用于评估延迟，同步和视频质量。 在此工作流程中发现了各种挑战： 在MP1处测量不同摄像机之间的广播图像的时间同步性(对于越位决策非常重要)。 将不同格式（1080，超运动相机，不同频率和格式）和图像源转换和集成到单个系统中，并在MP1处获得输出的质量。 在MP1处测量处理的图像与“实时”馈送的绝对延迟。 测量从VAR系统返回到广播公司的输出视频质量，以便在MP2上进行空中传输。由于这些挑战，已将基本性能要求确定为： 视频馈送的同步性。 VAR系统视频馈送的延迟: oVAR实时馈送与广播视频馈送。 oVAR实时馈送与VAR重播监控馈送。 VAR系统输出的客观视频质量评估。 遵循这些基本性能要求，本手册中描述的测试方法包括： 1.通过分析视频馈送中的内容来测量馈送的同步性。 2.通过使用通过VAR系统摄取的样本视频来测量馈送的延迟。 3.使用具有不同内容的已知和原始质量的样本视频来测量VAR系统馈送的视频质量。 3.测试和评估 3.1.同步性试验 VAR提供商必须能够确保它们显示给VAR的摄像机馈送是同步的。这在检查越位情况时尤其重要，因为捕获正在打球的球的进给和进行越位分析的进给使用相同的时刻是至关重要的。该测试使用具有重复闪光的频闪仪和技术设置来识别闪光灯在每个相机中的哪个帧中可见，从而识别现有的同步性问题。 3.1.1.测试设置 图2：MP0和MP1的同步性测试[蓝色：广播公司，绿色：VAR提供商，橙色：测试机构]。 应使用以下设备评估视频馈送之间的同步性： 4个高清/3GSDI摄像机能够拍摄1080i和1080p 产生四分割的OB货车 表示MP0接口的SDI信号 具有四分割播放功能的VAR重播监视器 表示MP1接口的SDI信号 HD/3GSDI到模拟视频转换器 模拟帧同步提取器 两套高清/3GSDI抓取设备 两台用于记录SDI信号的笔记本电脑 频闪仪，要求在到频闪仪的触发信号和闪光灯之间的强度和延迟方面是可调的。 3.1.2.Methodology 测试设置(图2)由俯仰侧的频闪仪和4个高清/3GSDI摄像机组成，这些摄像机与频闪仪有清晰的视线。在测试开始之前 ，VAR提供商将获得10分钟的时间，在此期间，他们必须使用自己的方法来验证摄像机是否同步并相应地调整其系统上的馈送。一旦完成了这一点,则选择帧速率的1/64的闪光速率,并且在所有视频馈送中针对合适的闪光强度调整闪光强度。使用视频采样设备记录VAR四分割馈送的5分钟长视频。记录被分成2个不同的部分,在第一部分(2.5分钟)中,频闪仪没有闪光延迟,而在第二部分(2.5分钟)中,频闪仪具有半帧的延迟。将使用具有最佳数据的部分。视频分析算法读取所捕获的文件并描述在VAR四分割记录中的四个视频馈送的哪个场/帧中发生闪烁。广播公司为摄像机馈送提供了Ge-loc。 3.1.3.结果和评价 通过识别每个闪光灯的参考相机并测量参考相机闪光灯与其他相机中的相同闪光灯之间的帧差异来评估同步性。参考相机是其中闪光首先发生的具有最低帧号的相机。通过获取每个相机和参考相机之间的帧差来计算每个闪光的各个同步值。为了通过测试,没有单独的同步性值不能大于3。 下面包括示例表,其示出了用于特定闪光灯的参考相机、在每个相机中发生闪光灯的场/帧以及参考相机与其他相机之间的帧差异。 摄像头1 摄像头2 摄像头3 摄像头4 通过/失败 Flash1场 /帧 37 (参考) 38 39 40 通行证 Flash1帧差异与参考相比 0 1 2 3 通行证 … … … … … … 闪存N场/ 帧 38 37 (参考) 38 41 失败 FlashN帧差异与参考相比 1 0 1 4 失败 表1：同步性分析示例表 期望VAR系统能够调整接收到的广播馈送的同步性的不平衡,直到7帧,具有大于7帧的差的去同步广播馈送应该被标记给需要调整同步性的广播商。 摄像机馈送的输出应按以下顺序（图3): 左上：主摄像头 右上：中心俯仰摄像头 左下：左16米 右下：右16米 3.2.延迟测试 图3：同步性测试|VAR重播监视器 正如IAAP技术要求中概述的那样，VAR重播监视器上的VAR实时馈送必须具有3秒延迟。除此之外，VAR在 VOR中具有实时馈送。这样可以再次观看事件，而无需倒带镜头。 此测试是为了确保在将3秒添加到VAR直播Feed时考虑到由VAR系统引起的延迟(摄取、记录和显示Feed),以及确保直播Feed上的事件与VOR中的VAR直播Feed之间的延迟最小。 4.1.4.测试设置 应使用以下设备评估延迟： 与华硕GX501规格相似或更高规格的笔记本电脑（带英特尔i7-7700HQ@2,8GHz，16GBRAM），带 Thunderbolt3连接。 与3GSDI发生器（1080p50）和采样设备兼容的软件，用于摄取（发送盒）和记录（抓取盒）未压缩的视频。 3GSDI发生器(发送箱)和采样设备(抓取箱)。 3GSDI四分割生成器生成4个传入SDI视频的四分割。 4.1.5.Methodology 延迟测试基于通过SDI将已知的未压缩视频摄取到VAR系统中，然后同时记录实时视频和3秒延迟视频。这是通过将两个视频与参考信号的两个副本一起馈送到四分割发生器来完成的。参考视频将在图片的顶部50和底部50行上有一个计数器，因此这些行需要不受来自VAR提供商的图形的影响。将录制两分钟的视频。 4.1.6.结果和评价 图4：延迟测试[绿色：VAR提供商，橙色：测试机构]。 计数器将由分析软件工具读取，然后将实时馈送和3秒延迟的时间标记与参考通道之一的时间标记进行比较，第二个参考仅用于内部测试。将分析所有6000帧（p50）。 同时记录实时馈送和3秒延迟。 实时Feed中的任何帧都不允许超出0.5秒的限制。 3秒延迟馈送中的任何帧都不允许超出2.5至3.5秒的限制，并且在一个系统的最高和最低测量值之内，允许最大差异为0.5秒。 它仍然由国际足联和测试机构自行决定，以评估记录中是否出现黑色，不可读，丢失或重复的帧限制了测试的评估，导致测试失败。 4.2.视频质量测试 ThefinaltestofthetestingprocedureensuresthatthequalityofthefilmesprovidedtotheVARisofsuitablequality.ThisensuresthattheVARhasthenecessarytoolstoassisttheon-fieldreference. 4.2.1.测试设置 图5:用于将测试视频摄取到VAR系统中的设置(上图)和用于从VAR系统记录测试视频的设置(下图)[蓝色:广播器,绿色:VAR提供商,橙色:测试机构] 。 视频质量评估应使用以下设备： 与华硕GX501规格相似或更高规格的笔记本电脑（带英特尔i7-7700HQ@2,8GHz，16GBRAM），带 Thunderbolt3连接 与HD/3GSDI发生器和采样设备兼容的软件，用于摄取（视频播放器）和录制（录像机）未压缩视频 HD/3GSDI发生器和采样设备 4.2.2.Methodology 视频质量测试基于通过SDI将已知的未压缩视频摄取到VAR系统中，然后从VAR系统重播该视频，并在通过SDI或HDMI发送回时对其进行记录（图6）。已知质量的视频在1080i50和1080p50中均可用，并且都应进行测试。该测试不会涵盖检查VAR情况时可能发生的所有操作 例如缩放。它将比较VAR系统对已由VAR系统处理以存储和播放但大小，格式，缩放或分辨率未改变的视频造成的视频质量下降。但是，将比较SDI上1080i50的输入与HDMI上的去隔行输出。 摄取 o将HD/3GSDI发生器的SDI输出连接到VAR系统的SDI输入 o使用视频播放器将测试视频发送到VAR系统。 播放和录制 o将HD/3GSDI采样设备的SDI/HMDI输入连接到VAR系统的SDI/HDMI输出 o在VAR系统中播放测试视频 o将1080p50中录制的视频输出到测试机构提供的录制设备中 然后使用Netflix开发的视频多方法评估融合(VMAF)感知视频质量评估算法来评估输出视频。 4.2.3.结果和评价 在详细探索了可能的分析方法之后，选择了视频多方法评估融合（VMAF）作为视频质量测试的基础。VMAF是由Netflix开发的感知视频质量评估算法。VMAF遵循基于机器学习的方法，首先从失真的视频及其参考全质量视频中提取多个质量相关特征，然后使用非线性回归将其融合到最终质量得分中。 视频质量将在七个14s测试视频上进行评估。评估将通过比较摄取之前和之后每个单独的14s视频的质量来完成。为了避免暂时的毛刺影响结果，摄取和抓取将重复三次。 要求是获得： 平均意见得分(MOSi)≥每组测试视频4个 最小值(MOSi)≥每组测试视频3个 上述两个要求应在三套中的两个或更多个上满足 最终测量值将从得分最高的集合中给出 MOS要求将通过各个测试视频上的以下VMAF分数进行验证。 1080p：平均值(VMAFi)≥92和最小（VMAFi）≥85 1080i:平均值(VMAFi)≥85和最小（VMAFi)≥ 上述两个要求应在三套中的两个或更多个上满足 最终测量值将从得分最高的集合中给出