海外文献-随机矩阵系列（6）：基于随机矩阵的大型相关矩阵的处理

海外文献-随机矩阵系列（6） 基于随机矩阵的大型相关矩阵的处理 核心观点： 基于随机矩阵的大型相关矩阵的处理。本文综述了利用随机矩阵理论的工具估计大型协方差矩阵的最新结果。本文介绍了几种RMT方法和分析技术,如Replicaformalism和自由概率,重点介绍了Marčenko–Pastur方程,该方程提供了关于矩阵多重去除噪声的信息。特别注意经验相关矩阵特征向量的统计,这对许多应用来说是至关重要的。特别展示了这些结果如何在基础过程的结构上没有优先权的情况下,为大型相关矩阵建立一致的"旋转不变量"估计值(RIE)。本综述的最后一部分专门讨论金融市场中的一些实际应用程序,这就是一个典型的例子。作者根据经验建立了RIE框架的有效性,在这种情况下,它比以前提出的所有方法都要优越。在一个特殊的附录中也处理了加法损坏噪声矩阵的情况。本文讨论了几个尚未解决的问题和其它的技术发展。 风险提示：报告结论基于历史文献，所以报告结论有可能无法正确预测市场发展，报告阅读者需审慎参考报告结论。文中观点仅供参考，不构成投资建议，报告阅读者需审慎参考报告结论。 分析师 吴俊鹏 ：010-8097631 ：wujunpeng@chinastock.com.cn分析师登记编码：S0130517090001 金融工程●跟踪研究 2023年12月31日 相关研究 www.chinastock.com.cn证券研究报告请务必阅读正文最后的中国银河证券股份有限公司免责声明 目录 一、正文3 二、风险提示4 一、正文 作者的目的是回顾几种随机矩阵理论的结果,这些结果利用了问题的高维度性来一致地估计协方差矩阵,包括从MarčenkoandPasturk理论开始的近50年的研究，以及最新的一般协方差矩阵的"局部"最优RIE。作者强调,这次综述并不是为了提供详细的证明(从数学意义上讲),但作者将尽可能多地为可能感兴趣的人提供这种数学文献的参考。 在第二部分,作者介绍了一个详细的但仍不完整的关于rmt的介绍,以及一些可以用来研究大随机矩阵在渐近情况下的行为的分析方法。实际上,大部分的第二部分的将在非常一般的随机矩阵模型下执行,并将在整个下文中使用。第一种方法可以说是物理学文献中最常用的库仑电子气体（Coulombgas）类比法。这对于处理不变的组合体特别有用,这可以得到Boltzmann式的权重,这可以很容易得到众所周知的结果,如Wkinser的半圆定律或Marčenko–Pastur密度。这是2.2部分的主要内容。第二种方法是Voiculescu自由概率理论,它最初是在1985年提出的,目的是通过(freeness)自由的概念来分析理解一类vonNeumann算法。一般来说,两个矩阵和如果它们的特征基础是通过随机旋转相互关联的,或者如果它们的特征向量是不同的,那么它们是相互自由的，即几乎肯定是正交的。1991年Voiculescu发现一些随机矩阵是渐近满足自由关系的,这对rmt有很大的影响。作者在2.3部分对自由度概念的精确定义,然后为计算大类随机矩阵的谱密度提供了一些应用。在2.3部分,在统计物理中无序系统中，作者提出一个更正式的工具,称为"复制法"（Replicamethod）。这种方法虽然不那么严格,但对于计算大型复杂系统的平均行为却是非常强大的。作者将看到这种方法如何使作者能够计算分解一类大的随机矩阵,对于处理特征向量的统计特别有用。 第三部分：大经验协方差矩阵谱和特征向量统计，作者详细研究了大样本协方差矩阵的不同性质。第三部分专门讨论E特征值的统计，特别是作者使用自由概率论的工具提出了Marčenko–Pastur方程的一个非常简单的推导。然后,作者使用E例如矩生成函数和支持的边缘光谱密度，分析了回顾不同的属性。作者讨论了有限元分布的边缘的性质以及异常值。在第四部分,作者重点讨论了关于的特征向量的最新结果。作者区分两种不同的情况。第一个是真实和估计特征向量的存在所谓家教,作者得到一些初步结果。第二种情况是两个独立样本特征向量之间的角度，这一结果使人们能够推断出关于的结构的有趣性质。 在前面三个相对技术性的部分之后,作者接下来将讨论本综述的主题,即估计大样本协方差矩阵。在第五部分作者将协方差矩阵的贝叶斯法形式化。作者提出了一个共轭类,在此之前作者得到了线性收缩，最初由Haff提出。接下来,作者考虑了Boltzmann类,旋转不变量前置分布。然后，作者将贝叶斯最优估计量与的最小二乘最优估计量联系起来。所谓的oracle估计器是第六部分中的主要关注点。特别的，作者使用第五部分中获得的特征向量的结果，证明了该估计器在大维极限下收敛于极限且显著完全可观测的函数。因此,在RIE类内，存在一个大总体协方差的最优估计。第六部分的其余部分专门介绍最优RIE的一些理论和数值应用。 第七部分关注最优RIE在马科维茨最佳投资组合中的应用。特别是,在一些技术假设下,作者明确说明了样本外使用样本协方差矩阵的可能引起的错误。如上所述,E没有精确的零模式（即q=N/T<1)下，这个方差估计会高估（比例为（1-q）-1）。此外，作者将看到，为了最大限度地减少样本外风险，作者所能做的最好的事情实际上是由第六部分的最佳RIE给出的。本节还回顾了先前工作中提出的几种替代 （cleaning“recipes”）方法。 最后,第八部分采用真实金融数据得到的一些实证结果。作者进一步给出如何在实际应用中使用正确的正则化估计。此外,作者还讨论了在有限尺寸效应存在的情况下实现最优RIE的问题（即N是巨大但有限的）。 附录中包含了本文提到的辅助结果。第一个附录处理所谓的Harish-Chandra–Itzykson–Zuber(HCIZ)积分,它通常出现在涉及自由随机矩阵的和或产品的计算中。HCIZ是一组正交矩阵的积分,在这组矩阵中,显式和分析结果很少。第二个附录是对线性代数的一些结果，这对于研究特征向量特别有用。第三个附录是另一个分析工具,为大随机矩阵的解析(或Stieltjes变换)建立自一致方程。这种方法在处理独立项时非常方便,为随机矩阵的中心极限定理提供了很好的说明。最后,作者用一个完整的附录来描述矩阵中的噪音是相加的（而不是相差乘）相关矩阵。（theadditivenoisemodel）加性噪声模型虽然与本文讨论的主要问题没有直接的关系,但它在不同的科学领域有许多应用。 文献来源：《Cleaninglargecorrelationmatrices:ToolsfromRandomMatrixTheory》，JoëlBun, Jean-PhilippeBouchaud,MarcPotters,PhysicsReports9,Volume666,13January2017,Pages1-109 二、风险提示 报告结论基于历史文献，所以报告结论有可能无法正确预测市场发展，报告阅读者需审慎参考报告结论。文中观点仅供参考，不构成投资建议，报告阅读者需审慎参考报告结论。 分析师承诺及简介 本人承诺以勤勉的执业态度，独立、客观地出具本报告，本报告清晰准确地反映本人的研究观点。本人薪酬的任何部分过去不曾与、现在不与、未来也将不会与本报告的具体推荐或观点直接或间接相关。 吴俊鹏，金融工程分析，2015年加入银河证券。 评级标准 行业评级体系 未来6-12个月，行业指数相对于基准指数（沪深300指数）推荐：预计超越基准指数平均回报20%及以上。 谨慎推荐：预计超越基准指数平均回报。中性：预计与基准指数平均回报相当。回避：预计低于基准指数。 公司评级体系 未来6-12个月，公司股价相对于基准指数（沪深300指数）推荐：预计超越基准指数平均回报20%及以上。 谨慎推荐：预计超越基准指数平均回报。中性：预计与基准指数平均回报相当。回避：预计低于基准指数。 免责声明 本报告由中国银河证券股份有限公司（以下简称银河证券）向其客户提供。银河证券无需因接收人收到本报告而视其为客户。若您并非银河证券客户中的专业投资者，为保证服务质量、控制投资风险、应首先联系银河证券机构销售部门或客户经理，完成投资者适当性匹配，并充分了解该项服务的性质、特点、使用的注意事项以及若不当使用可能带来的风险或损失。 本报告所载的全部内容只提供给客户做参考之用，并不构成对客户的投资咨询建议，并非作为买卖、认购证券或其它金融工具的邀请或保证。客户不应单纯依靠本报告而取代自我独立判断。银河证券认为本报告资料来源是可靠的，所载内容及观点客观公正，但不担保其准确性或完整性。本报告所载内容反映的是银河证券在最初发表本报告日期当日的判断，银河证券可发出其它与本报告所载内容不一致或有不同结论的报告，但银河证券没有义务和责任去及时更新本报告涉及的内容并通知客户。银河证券不对因客户使用本报告而导致的损失负任何责任。 本报告可能附带其它网站的地址或超级链接，对于可能涉及的银河证券网站以外的地址或超级链接，银河证券不对其内容负责。链接网站的内容不构成本报告的任何部分，客户需自行承担浏览这些网站的费用或风险。 银河证券在法律允许的情况下可参与、投资或持有本报告涉及的证券或进行证券交易，或向本报告涉及的公司提供或争取提供包括投资银行业务在内的服务或业务支持。银河证券可能与本报告涉及的公司之间存在业务关系，并无需事先或在获得业务关系后通知客户。 银河证券已具备中国证监会批复的证券投资咨询业务资格。除非另有说明，所有本报告的版权属于银河证券。未经银河证券书面授权许可，任何机构或个人不得以任何形式转发、转载、翻版或传播本报告。特提醒公众投资者慎重使用未经授权刊载或者转发的本公司证券研究报告。 本报告版权归银河证券所有并保留最终解释权。 联系中国银河证券股份有限公司研究院 机构请致电： 深圳市福田区金田路3088号中洲大厦20层 深广地区： 程曦 0755-83471683 chengxi_yj@chinastock.com.cn 苏一耘 0755-83479312 suyiyun_yj@chinastock.com.cn 上海浦东新区富城路99号震旦大厦31层 上海地区： 陆韵如 021-60387901 luyunru_yj@chinastock.com.cn 李洋洋 021-20252671 liyangyang_yj@chinastock.com.cn 北京市丰台区西营街8号院1号楼青海金融大厦 北京地区： 田薇 010-80927721 tianwei@chinastock.com.cn 公司网址：www.chinastock.com.cn 唐嫚羚 010-80927722 tangmanling_bj@chinastock.com.cn