美联储-光谱回溯测试无界和折叠（英）-2024.7-48页

财经系列讨论 联邦储备委员会，华盛顿特区，ISSN1936-2854（打印） ISSN2767-3898(在线) 光谱回测无界和折叠 MichaelB.Gordy和AlexanderJ.McNeil2024-060 请引用本文为： 戈德，迈克尔·B.，与亚历山大·J.麦凯恩（2024）。《谱回测无界且折叠》。金融与经济讨论系列2024-060。华盛顿：联邦储备系统董事会， https://doi.org/10.17016/FEDS.2024.060. 注意：金融与经济学讨论系列（FEDS）的工作论文是用于激发讨论和获取批判性意见的初步材料。文章中的分析和结论仅由作者提出，并不代表研究团队其他成员或董事会理事的一致意见。在出版物中引用金融与经济学讨论系列（除非是致谢），应与作者联系以确保这些论文的草稿性质得到保护。 光谱回测无界和折叠∗ MichaelB.Gordy 联邦储备委员会，华盛顿特区 亚历山大·J·麦克尼尔 约克大学商业与社会学院2024年7月15日 Abstract 在戈迪和麦宁（2020）提出的光谱回测框架中，使用单位区间上的概率度量来权衡验证预测模型时利用概率整数变换（PIT数据）中最感兴趣的分位数。我们扩展了这一框架 ，允许使用无界分布函数的一般勒贝格-斯蒂尔杰斯核度量，这引入了基于截断位置尺度家族的强大的新测试进入光谱类别。此外，通过考虑保持PIT值均匀分布的变换，测试框架被推广以允许关注预测分布两侧的测试。 JEL代码：C52;G21;G32 关键词：回溯测试;波动性;风险管理 ∗这里表达的意见是我们自己的，并不反映理事会或其理事会的意见工作人员。致约克大学亚历山大·J·麦克尼尔的地址，alexander.mcneil@york.ac.uk. 1Introduction 戈迪和麦克莱恩（2020）研究了一类用于预测分布的回测方法，在这些方法中，测试统计量依赖于一个频谱变换的量纲超越指示函数。频谱变换通过由验证者选择的核度量来加权量纲超越事件 ，该核度量反映了验证者对模型性能的优先级。本文从两个方向扩展了原始处理方式。首先，与戈迪和麦克莱恩（2020）将核度量限制在概率度量类别不同的是，本文允许核度量无界，只要满足可积条件即可。我们证明了无界的核度量能够提供比戈迪和麦克莱恩（2020）研究的有界核度量更强大的测试结果。其次，我们引入了一种数据预处理方法——折叠转换，这种方法不会改变回测的大小，但能显著提高其对抗实践中非常常见的预测波动性误设的能力。 我们的对光谱回测框架的扩展对于任何在预测分布的一端或两端性能特别感兴趣的验证练习都具有相关性。我们的研究动力源于大型银行交易操作资本监管的近期发展。当前的巴塞尔III规则（Basel）背景下，这一研究显得尤为重要。 银行监督委员会,2019年)，银行交易书的最低资本要求由银行自行报告的每日预期短缺（ES）在α确定。1= 97.5%的置信水平。 α时的风险价值(VaR)∗在99%的置信水平下。巴塞尔III中不变的是监管机构通过回测验证银行模型的角色。为此目的，美国的银行每天向监管机构报告与前一天预测分布中实际利润和损失（P&L）相关联的概率，即实际P&L的概率积分变换（PIT）。观察PIT值等同于在每个α水平下观察VaR超过情况。∈[0，1]。除了Gordy和McNeil(2020)，银行报告的PIT数据也被Lynch等人(2023)研究 和Iercosan等人(2023年)。 在基于VaR的制度下，监管机构特别关注测试模型在接近α的某个置信水平范围内的性能。∗。因此，Gordy和McNeil(2020)用内核将质量放在窗口中说明了他们的方法[α1,2]与0<α1<∗<2例如，[0.985,0.995]。在这种情况下，只有有界度量能产生有限的检验统计值，由于我们的检验统计值对窗口的度量不变性，在无损失一般性的前提下，我们可以将注意力限制在概率度量上。因为预期损失（ES）是阈值水平以上VaR的积分，根据新制度考虑在某个阈值以上的每一个α上的连续核是很自然的，例如，α。1在巴塞尔框架下为0.975。在此背景下，即使是未定义的度量也可以保证产生有效的测试统计值。进一步地，由于银行模型在极端市场事件中往往失效 ，且未定义的度量最侧重于这类尾部事件，我们预计未定义的度量将提供更强大的测试。我们在模拟实验中确认了这一直觉，并展示了这种力量不会以牺牲大小失真为代价。 关于预期短尾（ExpectedShortfall，ES）的回测这一话题，引发了有关ES是否适合进行回测的热烈讨论（Gneiting,2011；Acerbi和Székely,2014；Fissler等，2016；Acerbi和Székely,2023）。这一领域正逐渐形成文献体系，其中包括Patton等（2019）和Barendse等（2023）的研究，他们运用可度量性理论来开发VaR和ES的联合回测方法。对于监管用途，通常要求银行提交VaR和ES估计值的时间序列数据，尽管Bayer和Dimitriadis（2022）近期的一篇论文提出了一种替代方案，仅用于测试ES估计值，但可能会牺牲部分模型的准确性。 我们在框架中回避了与回测风险度量（如ES）估计值相关的问题，因为我们测试的是用于估计风险度量的预测分布，而不是估计值本身。值得注意的是，近年来有多篇论文提出了基于PIT的方法来回测预期短缺，并特别利用了Du和Escanciano（2017）提出的累积违反过程，这一过程可以视为一种 特定的光谱转换选择。这些包括Du等人（2023）提出的改进条件ES回测方法，Hoga和Demetrescu（2023）提出的实时监控程序用于ES预测，以及Hué等人（2024）使用正交多项式来联合测试累积违反过程和VaR超越过程的时间间隔过程的时刻条件。 即使监管机构仅关注收益间隔分布的上尾部分，模型在上尾的误设往往也会在下尾产生类似的误设。例如，在风险管理框架下，如果未能捕捉到金融回报分布中的随机波动性，那么将导致极端收益和极端损失的低估。Berkowitz等人（2011）以及O'Brien和Szerszen（2017）通过展示简单的GARCH模型应用于银行利润与损失（P&L）时通常能超越银行内部模型，提供了在银行背景下忽视了随机波动性的证据。以观察到的PIT值表示，这种误设会导致太少的中等PIT值，而太多低和高PIT值。因此，即使监管机构只关注大额损失，对PIT分布下尾分配权重为零的核函数无法捕捉到上尾可能存在的误设数据。我们展示了监管机构可以通过我们称之为“折叠”的预处理操作来处理PIT值，使得原始PIT分布中的左尾和右尾值映射到预处理分布的上尾，同时在零假设下保持测试统计量的分布不变。 合适的预处理器的简单示例将应用v形映射T（u）= |1−2u|到PIT值。在此映射下，预处理的PIT值在上尾的事件T(PIT)∈[v，1]，等效于PIT位于两个尾部的间隔并集的事件，[PIT∈[0−v)/2]𝖴[(1+v)/2,1]]明显可以观察到，如果在回测的零假设下PIT（累积分布函数值）确实均匀分布，那么经过转换后的PIT也同样呈现均匀分布 。线性对称映射T(u)=|1−2u|只是一类非常大的均匀分布保持的一个例子 在(u.d.p.)转换中，实证文献中的一项普遍发现是市场回报分布存在不对称性，即大幅损失的尾部比大幅收益的尾部更重。这一现象导致了引入了杠杆效应和非对称创新分布（如AGARCH、EGARCH、GJR-GARCH等）的不对称GARCH型模型的发展（Engle,1990；Nelson,1991；Glostenetal.,1993）。我们展示了在(u.d.p.)类别中选择不对称成员能够突出模型的偏斜度以及峰度。 在第2部分中，我们扩展了Gordy和McNeil（2020）的回测框架，以允许无界内核和u.d.p.折叠变换。一个关键结果表明折叠并非多余，即预处理能够提供其他方法无法获得的回测结果。在第3部分中，我们引入了两种新型的无界内核家族。蒙特卡洛模拟显示，这些内核能够产生大小适中、对未建模偏峰度高度敏感的回测结果。第4部分介绍了一个简明但灵活的V形预处理器家族 。蒙特卡洛模拟展示了预处理如何进一步突出未建模偏峰度。即使存在未建模的偏斜度，预处理也能有效工作。然而，在不存在显著偏峰度的情况下，选择不当的预处理器可能会掩盖而非增强模型误拟化的特征。第5部分提供了在实际应用中的实施指导。 2扩展光谱回测 2.1备份测试设置 我们假设预报员在过滤的概率空间上对投资组合损失(Lt)进行建模(Ω，F,Ft)t∈N0,P)whereFt表示预报员在时间t可获得的信息，N0=N𝖴0]andN表示非零自然数。1对于任何时间t∈N，损失Lt是一个F具有条件分布函数(df)的t可测随机变量 1Lt是损益的负值，所以大的损失与分布的右尾有关。 Ft(x)=P(Lt⩽x|Ft−1在大多数应用中，这种分布并非时间不变，这主要是由于(Lt)中的序列依赖性以及随着时间推移投资组合构成的变化。 在时间t，预报员根据信息建立Ft的模型bFtFt−1.PIT- 值为通过将\(P_t\)设定为\(F_t(L_t)\)获得的随机变量（\(Pt\)）b。如果模型\(F_t\)形b成了一组 根据Gneiting等人（2007）定义的理想概率预测序列，即对于每一步\(t\)，它们与\(Lt\)的条件法则\(F_t\)相匹配，那么罗森布拉特（1952）的结果表明，过程\((Pt)\)是一系列独立同分布的标准均匀变量。偏差检验（PIT-values）包含... t 关于任何级别u的分位数估计超标的信息：如果VdaRu,t=Fb←(u) 表示使用Ft的广义逆计算的Ft的u分位数的估计值b 概率水平u，则Pt⩾u⇐⇒Lt⩾VaRu,t.d 我们采取外部模型验证者的立场，比如监管机构，利用PIT值（Pt）来决定预测方法论的质量 。为了本文的目的，我们假设验证者仅能访问这些PIT值，尽管这一限制可以显著放宽。关键在于验证者需要能够：1.**评估预测准确性**：通过比较实际观察结果与预测结果之间的差异 ，验证者可以评估预测方法的准确性。PIT值通常用于衡量预测分布与实际数据分布之间的拟合程度，从而帮助判断预测模型的性能。2.**识别模型偏差**：基于PIT值，验证者可以检测模型是否存在系统性偏差或异常行为。如果PIT值分布偏离预期分布（如均匀分布），这可能指示模型在某些条件下的预测能力不足或存在特定类型的错误模式。3.**决策制定**：在决策过程中，验证者使用PIT值来支持或质疑预测方法的有效性和可靠性。这有助于决策者在采纳新的预测模型或调整现有模型参数时做出更为明智的决策。4.**持续监控与改进**：验证者还负责监控预测模型的性能，并根据PIT值的反馈进行必要的调整和优化。通过持续监测，确保模型能够适应不断变化的环境，并保持其预测能力的有效性。5.**合规与标准符合性**：在某些情况下，验证者还需要确保预测方法论符合特定的法规、标准或行业最佳实践。PIT值作为评估工具，可以帮助验证者判断预测模型是否满足这些要求。总之，验证者通过利用PIT值作 为关键指标，能够在不确定的环境中对预测方法论的质量进行客观、系统的评估，从而为决策提供科学依据。 没有观察到整个分布Fbt这反映了大多数监管机构的现实 制度。此外，为了简洁起见，我们仅考虑无条件覆盖的测试。对于条件覆盖的测试，如Gordy和 McNeil（2020）所述，应用未限制度量和折叠预处理器不会带来任何复杂性。 2.2光谱回测 模型验证器采用形式的PIT值的谱变换 Z Wt= I 1[T(Pt)⩾u]dν(u)(1) 其中（i）ν是Lebesgue-Stieltjes度量，称为内核度量，（ii）T：I→I是均匀分布保持(u.d.p.)变换；如果U∼U(0，1)是一个标准的均匀随机变量，T为u.d.p.变换，则T(U)∼U（0，1）。整个 在论文中，I表示单位间隔[