替代数据模型：解释大规模机器学习危机预测模型（英）

代理数据模型：解释大规模机 器学习危机预测模型 豪尔赫·陈刘，胡若飞，马克西姆·伊万尼娜，瞿日彤，程忠 WP/23/41 基金组织工作文件描述了作者正在进行的研究，并发表这些研究以征求意见并鼓励辩论。 基金组织工作文件中表达的观点是作者的观点，不一定代表基金组织、其执董会或基金组织管理层的观点。 2023 2月 ©2022年国际货币基金组织(imf)wp/23/41 国际货币基金组织的工作论文 战略、政策和审查部门 代理数据模型：解释由JorgeA.Chan-Lau，RuofeiHu，MaksymIvanyna，RitongQu和ChengZhong准备的大规模机器学习危机预测模型授权供NataliaTamirisa分布 2023年2月 基金组织工作文件描述了作者正在进行的研究，并发表这些研究以征求意见并鼓励辩论。基金组织工作文件中表达的观点是作者的观点，不一定代表基金组织、其执董会或基金组织管理层的观点。 文摘:机器学习模型在预测经济危机方面变得越来越重要。然而，这些模型使用的数据集包含大量预测因子（特征），这损害了模型的可解释性及其在危机预防和危机设计和设计中提供充分指导的能力。 缓解策略。本文介绍了代理数据模型作为大规模危机预测模型中的降维工具。通过将其应用于货币基金组织开发的大规模危机预测模型来评估这种方法的适当性。结果与经济直觉一致，并验证了替代项作为可解释性工具的使用。 冻胶分类数字:C53、C55E37关键词:危机预测;机器学习;代理人;可解释的模型作者的电子邮件地址: 工作底稿 代理数据模型：解释大规模机器学习危机预测模型 由JorgeA.Chan-Lau，RuofeiHu，MaksymIvanyna，RitongQu和ChengZhong编写1 1作者要感谢PeterDohlman，MichaelEvans，XuehuiHan，SandileHlatshwayo，LucaMungo，NataliaTamirisa和WeiningXin的有益评论。任何错误或遗漏均由作者自行负责。请致函所有作者。 内容 介绍3 一个简短的调查预测模型4毫升的危机 使用代理数据模型增强ML危机预测模型的可解释性5 国际货币基金组织申请8毫升危机模型 结论16 数据 1.代理模型和代理数据模型方法7 2.国家组和全球模型的线性组合。10 3.轴瓦交叉验证11 4.VE指数、SDM指数、预测和不利情景12 5.长效磺胺指数:分布的夏普利值15 6.长效磺胺指数:17世鹏科技电子分解 表 1.变量用于代理模型9 2.基于收入的国家组模型的最佳权重11 3.12个样本外表现 4.五年情景：国际货币基金组织（2022年）基线和不利情景13 1.介绍 经济危机代价高昂。在经济活动急剧萎缩之后，投资减少损害了各国的长期增长和生产力前景，并导致永久性产出损失。例如， Barnichon等人（2018）估计，在2017年全球经济衰退十年后，美国的潜在产出收敛到比危机趋势所暗示的水平低约12个百分点的水平 。Romer和Romer（2017）发现，金融危机发生五年后，经合组织国家的国内生产总值下降了约9个百分点。Cerra等人（2021年）对几个国家提出的实证估计表明，金融危机后，十年后产出仍然永久低迷。 为了尽可能减少和避免与经济危机相关的成本，中央银行和决策机构投入了大量资源来开发预警系统和危机预测。模型。首先，这些系统旨在识别经济和金融失衡，使经济 容易受到经济和金融困境的影响，并最终陷入经济危机。其次，通过在危机发生之前确定经济和金融驱动因素，这些系统可以帮助决 策者通过使用目标明确的政策来防止危机的实现。 危机预测模型受益于在 机器学习。其中一些模式已在中央银行和多边金融机构实施，有助于加强政策建议。大多数模型包括许多特征（解释变量）以及适用于捕获危机事件前普遍存在的非线性效应的方法和技术。然而，预测能力的提高是以降低模型可解释性为代价的，这降低了模型对指导政策决策的有用性。如果不了解主要的危机驱动因素及其相互作用，就很难相信模型预测，评估降低经济危机可能性的政策措施的有效性，并获得有利于模型的见解 改进。 本文提出使用代理数据模型（SDM）来降低机器学习（ML）危机预测模型的维数并增强其可解释性。通过将特征集限制为经济分析师通常监控和预测的特征集，替代数据模型可以将模型结果转换为高级政策制定者熟悉的经济领域。此外，这些模型在很大程度上促进了“假设”情景分析。这种说法必须根据实际应用来判断。因此，我们提供了替代数据模型方法的具体说明，该方法应用于国际货币基金组织最近开发的一套ML模型，用于预测部门经济危机（国际货币基金组织，2021年）。 本文的其余部分对最近的ML危机预测模型进行了简短的选择性调查，然后讨论了使用代理模型来增强ML模型的可解释性。讨论描述了代理项数据模型的概念基础。作为一个具体的例子，我们继续将该方法应用于国际货币基金组织开发的一些机器学习危机预测模型，并展示它们在对国际货币基金组织于2022年4月公开发布的经济预测进行情景分析时的有用性。最后，我们列出了从代理数据模型案例研究中推断出的经验教训。 2.短的调查毫升危机预测模型 早期的危机预测研究大量使用概率和/或对数模型（Eichengreen等人，1995年;FrankelandRose，1996）和非参数信号提取模型（Kaminskyetal.1998）。最近在危机预测和预警系统方面的应用工作已经超越了这些传统方法，结合了机器学习方法。这些方法倾向于强调预测能力而不是随意推理，可以处理大量特征（解释变量），并且可以比广义线性模型（如逻辑回归和多项式回归）更好地捕获非线性效应。下文回顾了近期工作的非详尽清单。 Holopainen和Sarlin（2017）对15个欧洲国家银行危机预警系统中的传统统计方法和机器学习方法进行了比较。他们发现机器学习方法，如k-最近邻，神经网络和集成学习模型，在样本外预测练习中优于逻辑回归。 Bluwstein等人（2021年）比较了1870-2016年期间17个发达经济体样本的不同早期预警模型在金融危机预测方面的表现。这些模型包括16个特征（解释变量），旨在捕捉国内和全球经济及信贷周期。除了逻辑回归之外，他们还实现了各种机器学习模型，包括决策树、随机森林、极度随机化树、支持向量机和人工神经网络。除决策树外，所有机器学习模型的性能都优于逻辑回归。有限的特征数量允许应用Shapley回归（Joseph，2020），该回归将信贷增长和收益率曲线的斜率确定为金融危机的主要预测指标。 Fouliard等人（2021年）表明，通过使用一组不同的机器学习模型，可以预测欧盟国家和美国的系统性财务压力事件。他们的方法在数据可用后立即按顺序整合来自经济数据的信息，这是一个在ML文献中称为在线学习的顺序过程。这些模型使用了每季度观测到的244个特征，其中约一半可用于在线估计。 Hellwig（2021）表明，传统的计量经济学模型在预测发达经济体、新兴市场国家和低 收入/发展中国家。另一方面，弹性网络、随机森林和梯度提升树等机器学习技术在预测变量数量较大时可提供卓越的性能。这些模型基于广泛的预测因子集，包括经济、金融、人口和制度变量，以及原始变量的各种特征工程，包括滞后、时间变化和平均值。 国际货币基金组织（2021年）描述了一组不同的ML预测模型，每个模型都旨在预测影响不同经济部门的危机。例子包括：金融危机 、财政危机、对外部门危机（国际收支危机）和实体部门危机。与本文回顾的其他研究相比，该数据集涵盖了更多的国家（所有190个基金组织成员国），每个部门危机模型都包含大量特征，包括几个数据转换。使用的危机事件定义反映了需求政策 国际货币基金组织的面孔。1由于覆盖面广，数据插补技术被用来解决缺失数据的问题。使用合成过采样方法处理由 少数危机观察之间的不平衡。赛马比较表明，ML模型优于传统方法，但外部部门危机除外，信号提取方法仍然是最合适的建模技术。使用SHAP方法评估了特征对危机预测的贡献（重要性）（请参阅下一节关于特征重要性）。 Hacibedel和Qu（2022）研究了系统性非金融企业部门的困境，其特征是经济中企业违约概率普遍升高。通过优化池化梯度提升树、线性判别和对数套索来构建ML模型的集合，以预测一年内痛苦的开始。该模型利用了涵盖国内和国际的总共40个预测因子 来自新加坡国立大学信用研究计划（2019）的宏观经济变量、企业资产负债表变量和基于模型的PD。该论文表明，集成模型在不同时间段和国家组中相对于其单个模型成分具有更好、更稳健的性能。 尽管上述结果表明ML模型优于传统的危机预测模型，但需要谨慎行事，因为结果可能取决于所使用的危机定义和数据样本。Beutel等人（2019年）发现，机器学习模型不一定优于标准计量经济学技术。 在所有情况下。研究人员使用涵盖1971年至2016年45年数据样本的发达经济体样本以及在不同银行危机事件研究中收集的一系列危机事件，发现机器学习模型虽然通常提供良好的样本内拟合，但在系统性银行危机的递归样本外预测中未能满足logit模型的性能。包括2007-8年全球金融危机。 这些结果表明，ML危机预测模型的性能高度依赖于所使用的危机定义、危机和非危机观测之间的不平衡程度以及数据集特征的可用性 。结果还表明，基于手头任务的试错法是合适的。 3.加强毫升危机预测模型使用代理数据模型可解释性 代理模型和特性的重要性 大多数危机预测模型使用的大量特征阻碍了它们的可解释性。如果不清楚地了解评估危机可能性或投入产出关系的特征重要性，就很难将理论危机模型、实证工作和过去政策决策得出的经验教训与高维复杂模型的输出相协调。代理模型解决了后一种模型中缺乏直觉问题的问题。代理模型广泛用于工程设计优化和仿真，是简单的近似模型，可模拟复杂系统和模型在较低 计算成本，并提供更清晰的系统动态基础（Forresteretal.2008）。 见附件1。 在机器学习中，代理模型的使用旨在增强模型的可解释性，包括测量不同特征对模型输出的贡献（Burkart和Huber，2021年）。假设原始 模型类似于黑盒，由于其复杂性和高度非线性的性质，如果更简单的可解释模型（例如线性回归或基于树的模型）足够接近黑盒输出，则更容易理解黑盒输出。在这种情况下，使用更简单的模型来解释黑盒结果。代理模型要么是不可知的——如果它们可以应用，而不管黑盒模型是什么，它们都可以应用。 --或特定于模型，例如专门为决策树开发的几种替代方法。 代理模型可以是全局的，也可以是局部的，具体取决于其预测的范围。全局surrogate模型尝试描述ML模型的平均行为。相比之下 ，局部代理模型仅尝试解释对应于一组特征值的单个观测值的输出。给定数据集X，全局代理模型的构建遵循以下步骤（Kamath和 Liu，2021年;和Molnar，2022年）：（a）获得输出由ML模型F生成;（b）选择一个不同的更简单和可解释的模型，G：（c ）训练G上(;（d）使用G解释模型输出。G越接近F的输出，从G得出的解释就越好。全球代理的例子 模型包括不可知论模型（Ribeiro等人，2016a;霍尔等人，2017年;弗罗斯特和辛顿，2017年;Yang等人，2018年），或决策树特异性替代方法（Andrzejak等人，2013年;巴斯塔尼等人，2017年;原和林，2018）。 对于本地替代模型，步骤是（Ribeiro等人，2016b）：（a）选择感兴趣的实例（观察）;（b）使用随机扰动在所选实例的附近生成合成样本实例;（c）根据新样本与选定实例的接近程度对新样本进行加权;（d）在包含合成实例的数据集上训练一个可解释的局部模型;（e）使用本地模型解释模型的输出。这些方法的显着例子是模型解释系统（Turner，2016），局部可解释模型不可知的解释（LIME，Ribeiro等人，2016b），Shapley加法