高维协方差矩阵估计：向对角目标收缩

高维协方差矩阵估计：向对角目标矩阵收缩 坂井安和小明梅WP23257 国际货币基金组织工作描论述文研究作者（们）的贡献，并已发表至引发评论并鼓励辩论。 所表达的观点均属于国际货币基金组织工作论文的内容。作者（们）的，不一定代表 代表国际货币基金组织（IMF）、其执行董事会的观点或国际货币基金组织管理。 2023 DEC 2023国际货币基金组织WP23257 国际货币基金组织工作论文研究部门 高维协方差矩阵估计：向对角目标矩阵收缩 由坂井安平和肖明梅编写 经PrachiMishra授权分发，2023年12月 国际货币基金组织工作论文描述作者（们）正在进行的研究，并公开发表以征求评论和促进讨论。国际货币基金组织（IMF）工作论文中表述的观点是作者（们）的观点，并不一定代表IMF、其执行董事会或IMF管理的观点。 摘要： AB本文提出了一种针对高维协方差矩阵的新型收缩估计器，通过扩展Chen等人在2009年提出的OracleApproximatingShrinkage（OAS）方法，以针对样本协方差矩阵的对角元素。我们推导出收缩参数的闭式解，并通过模拟表明，当真实协方差矩阵的对角元素表现出显著变化时，与目标平均方差的OAS方法相比，我们的方法降低了均方误差。当真实协方差矩阵更稀疏时，这种改进更为明显。我们的方法还能降低协方差矩阵逆的均方误差。 JEL分类号： C13C55 关键词： 高维；协方差矩阵；收缩；对角目标 作者电子邮件地址： sandoimforgmx235camacuk 目录 1引言1 2理论框架2 21特殊情况：已知均值5 3模拟6 31设置7 32主要结果9 33逆矩阵性能12 34基于收缩相关矩阵替代方法14 4结论15 参考文献17 附录18 定理1证明18定理2的证 明24定理3的证明 26 1引言 估算协方差矩阵：pp并且其逆矩阵的维度p 该样本量大于无法进行翻译，提供的文本内容为空。在许多实证应用中居核心地位，包括金融投资组合选择和宏观经济预测（DeMiguel等（2009年），Ban等（2018年），Ando和Kim（2022年）），以及计量经济学方法，如广义矩估计法（Hansen（1982年 ））和主成分分析（Pearson（1901年））。尽管Ledoit和Wolf（2004年）基于平均方 差目标开发了一种收缩估计量，Chen等（2009年）在正态性假设下提高了其有限样本性能，但当真实协方差矩阵的对角元素表现出较大变化时，该方法仍有改进空间。例如，在宏观经济预测的设置中，GDP和渔业产出可能相差一百倍，因此针对平均方差的收缩估计量可能高估渔业产出的方差并低估GDP的方差。 为了适应随机变量方差表现出显著变化的情况，本文提出了一种针对样本协方差矩阵对角元素的收缩估计量。我们的方法扩展了OracleApproximatingShrinkage估计量（OAS陈等人（2009）的研究成果，旨在针对平均方差。参照Eldar和Chernoi（2008）以及陈等人（2009），我们根据真实的协方差矩阵（Oracle估计算法）推导出最优收缩参数 ，并以迭代算法近似此不可行的Oracle估计算法。 我们使用模拟来展示，我们的方法生成的平均平方误差（MSE）低于OAS当真实协方差矩阵的对角元素显示出显著的变异时。在衰减非对角元素的指定中，当真实协方差矩阵更稀疏时，改进程度更高。我们的方法还对协方差矩阵的逆产生了更小的均方误差（MSE），这在实践中通常是估计协方差矩阵的最终目标。 正如Chen等人（2009）指出，我们的方法基于正态分布下的最优性。 1 分布。与Schfer和Strimmer（2005年）相比，后者也针对协方差矩阵的对角元素，但没有施加分布假设，我们的方法在分布为正态时表现更佳。此外，我们的方法继承了以下优良性质：OAS因此，收缩参数保持在0到1之间。因此，估计的协方差矩阵是正定的 ，即使在Schfer和Strimmer（2005）中手动限制收缩参数的情况下也是如此。正态性假设还允许我们以闭式形式推导出最优收缩参数，这比Ledoit和Wolf（2012）的非线性收缩方法涉及的计算要少。 我们的方法在所有情况下并不优于现有方法，因此应被视为它们的补充。例如，当真实协方差矩阵对角线元素的变异很小时，OAS倾向于产生更低的均方误差（MSE）。这一观察还表明，通过应用，可以采用一种估计协方差矩阵的替代方法。OAS将相关矩阵缩放回乘以样本方差。为了检验其稳健性，我们进行了一项模拟，并显示了在均方误差（MSE）之间的差异。OAS与我们提出的方法相比，它是小巧的；并且直接缩小样本协方差矩阵的性能优于应用OAS对相关矩阵进行缩放并恢复。 本文结构如下。第2节描述理论框架，第3节通过模拟评估性能和评估鲁棒性，第4节得出结论。 2理论框架 假设数据x无法进行翻译，提供的文本内容为空。是独立同分布并且具有p维度。在高维空间中 ii1 环境pn2、样本协方差矩阵 1 1无法进行翻译，提供的文本内容为空。无法进行翻译，提供的文本内容为空。 您没有提供需要翻译的英文文本。请提供需要翻译的内容，我将为您进行翻译。您没有提供需要翻译的英文文本。请提供需要翻译的内容 ，我将为您进行翻译。 1 xxxx2 1 STxxn1我：i我：i无法进行 翻我：译i，1提我：供i 的文本内容为空。我：i 该协方差矩阵的估计值劣质且为退化形式。在整篇论文中，我们假定样本协方差矩阵的对角元素为正。S0 mm 对于所有m1、，p并且真正的协方差矩阵是正定的0 一种解决该问题的方法是使用协方差矩阵的线性收缩估计量 S密度（） 1负密度S密度 2 在哪里T被称作目标矩阵。我们，使温用度样本协方差矩阵的对角线元素S作为目标T诊断S而OAS旨在平均方差TtrS我在 p 无论是哪种情况，只要目标矩阵T是正定的，并且缩减参数位于01，估计的协方差矩阵S密度（）是正定的，即使在样本协方差矩阵S是退化 一个 S密度（）一个1负密度一个SaaTa0全称量词，对所有a不等于001 zz 3 当真实的协方差矩阵0已知时，收缩参数密度（）可以通过最小化从真实协方差矩阵中得出的均方误0差来确定。 2您没有提供需要翻译的英文文本。请提供需要翻译的内容，我将为您进行翻译。 在此结果中收缩参数密度（）被称为对角线Oracle估计量 4 ODS密度（） 目标。问题密（度4（）是）二次的。密度（）因此，具有以下闭式解。 （T：）求最小值EA2trATAA2 OD ij 定理1假设ijS是不相关的样本协方差矩阵（1）且T是对称的目标矩阵。解决（4）的最佳收缩参数是R Etr（STS 密度（）（T ODETS 5 如果，此外，x服从联合正态分布N，，目标矩阵是 我：i 协方差矩阵T的对角元素诊断S5可以写作 在为 证明。见附录A。 101 密度（）（）密度（）（，诊断S ODOD1n1（） tr（2tr诊断（）2 （）01tr（2tr（）2t2r诊断（）2 6 7 6的预言缩减参数是最佳的，但由于它依赖于真实的协方差矩阵，因此不可行。一个自然的样本模拟为： 1 密度（）密度（）S 在7中，S用样本模拟SO代D替OD了1真实的n协1方差矩阵。 结果证明，这OD估计量密度（）可能不如替代方案表现得好。 OD 8 方法，我们称之为通过对角目标近似收缩的Oracle方法（OASD并使用以下迭代的极限，其索引为j 1SdiagSjjj 9 tr（S2tr诊断（）2tr（ ）2 密度（） jjj 10 j1ntr（S无法进行翻译，提供的文2 更新方程（10）将（本6）内中容的为真空实。协方1差t矩r阵诊替断换（为样）本协2方差tr矩（阵。S除了平方项在 这种情况下，其中只有）一个2被样本协方差矩阵所替代。S这样，密度（）2未显 示出来以及 jj 方程组仍然可解。 jjj 以下主要定理表明，无论初始值如何，迭代均收敛于一个唯一的极限。01 0 定理2对于任何初始值01序列由9和10指定 0jj 单调收敛至 证明。见附录B 1 1 密度（）最小值01 OASDn 11 我们注意到三个观察结果。首先，收缩参数满足密度（）01，以及 OASD 因此，协方差估计量 S1SdiagS12OASDOASDOASD 是正定性的。其次，缩减参数密度（）在（11）包含min操作符， OASD 但是，这是由于收敛所导致的结果，并非人为施加的，如证明所示。第三，该公式不包含样本协方差矩阵的维度。 p与之不同OAS在（21）。 21特殊情况：已知均值 本节提供了在平均值已知为零的特殊情况下的公式。 微（未提供具体上下文，无法进行更详细的翻译）。0该规范已在文献中（LedoitandWolf2004Chenetal2009）中使用，因此，它使我们能够比较不同方法的表现 ，尽管在实际中，具有未知均值的通用设置更有用。 结果表明，所得到的公式将6，8和11中的n替换为n1。 定理3假设x符合正态分布0是独立同分布的，并且样本协方差矩阵（1）被替换为 我：i 通过 无法进行翻译，提供的文本内容为空。 1X 很抱歉，但我无法进行翻译，因为没有提供任何英文文本。请提供需要翻译的英文内容。 5 ST 无法进行翻译，提供的文本内容为空。iii1 13 然后，Oracle（6）、其样本模拟器（8）以及OASDEstimator（11）被替换为 1 密度（）（）01 1OD1n（） 密度（）密度（）S 01 1ODOD1n 14 15 16 证明。见附录C 密度（）最小值101 OASD无法进行翻译，提供的文本 我们注意到三个观察结果。内首容先为，空该。公式为1 1。其次，正如定理2所示，收缩参数满足 密度（）01，因此协方差估计量 OASD 保持与7相同，但将替换为13而不是 S1SdiagSOASDOASDOASD 17 是正定的。第三，收缩参数密度（）包含最小操作符，但此 OASD 这是结果，不是人为施加的，正如证明所示。 3模拟 本节通过模拟来评估该模型的表现。OASD估计量S在 OASD 一个具有真实协方差矩阵对角元素大变动的超高维环境。OASD在大多数情况下，与其他方法相比表现更优，具有不同程度的变异性、真实相关矩阵的稀疏性以及样本量。OASD同样，在反转时以及与收缩相关矩阵的替代方法相比时，也表现出更好的性能。 31设置 为了在高维环境中进行模拟，通过固定矩阵的维度来p等于100并让样本大小无法进行翻译，提供的文本内容为空。波动范围从6到30。真实的协方差矩阵由一个具有衰减对角线元素的协方差矩阵创建，ij其中 ij 控制稀疏性，范围从0到91直到这里，高维模拟环境与陈等人（2009年）中的相似。 为了生成真实协方差矩阵的对角元素之间的差异，我们假设一半的变量具有不同的单位 ， 10 18 在标准差参数处，sd变量的单位可以相差T数百1倍。在这些情况下，大规模的变化通常在应用中很有兴趣，包括宏观经济预测。例如，GDP可以是众多小产业的增加值之和。 政府的税收收入可以是众s多d小市的总和。 0sd 我们生成x无法进行翻译，提供的文本内容为空。来自正态分布N0重复采样B ii1 5000倍。由于采样数量非常大，采样误差可以忽略不计。性能指标是平均损失的相对百分比改进（PRIAL括号内定义，即： 2 P 在哪里Sb B Sbb1 PRIALS 100 19 并且Sb表示样本和估计协方差矩阵的符号bth采样。 PRIAL可以被认为是P样本协方差矩阵改进的一个衡量指标。S BSb2 到S在估计协方差时b取1100S与真正的协方差相符，0 1我们设定1当0和我：i ij 当估计协方差S与样本协方差矩阵一样差。S当时，负的值。S这比样本协方差矩阵更糟。S 为了评估绩效OASD我们假设一个已知的平均值，并进行比较。OASD 关于定理3的三个文献中方法的比较，这些方法在推导中除