您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[国际清算银行]:大海捞针:一种用于支付系统异常检测的机器学习框架 - 发现报告

大海捞针:一种用于支付系统异常检测的机器学习框架

AI智能总结
查看更多
大海捞针:一种用于支付系统异常检测的机器学习框架

BIS工作论文 No1188 在稻草堆中寻找针:一种用于支付系统异常检测的机器学习框架 由AjitDesai、AnnekeKosse和JacobSharples撰写 货币与经济部门 2024年5月 JEL分类:C45,C55,D83,E42. 关键词:支付系统,交易监控异常检测、机器学习。 国际清算银行(BIS)工作论文由货币和经济部门成员撰写。国际清算银行部门,以及其他机构不时提供。 经济学家撰写,并由该行出版。论文涉及当务之急的课题。 兴趣,且具有技术性特征。其中表达的观点是原作者的个人观点。作者的观点,并不一定是BIS的观点。 本出版物可在国际清算银行(BIS)网站(www.bis.org)上查阅。 ©国际清算银行2024。版权所有。如需复制或翻译摘要,请注明来源。 ISSN1020-0959(印刷版)ISSN1682-7678( 在线版) 在草堆里寻找针:一个用于✯付系统异常检测✁机器学习框架* AjitDesai1,‡安妮克·科塞2和雅各布·夏普 莱斯1 1加拿大✃行 2国际清算✃行 2024年5月13日 摘要 我们提出了一种灵活✁机器学习(ML)框架,用于在价值✯付系统(HVPS)中进行实时交易监控,HVPS是一个国家金融基础设施✁核心部分。该框架可以被系统操作员和监管人员用来检测异常交易,如果这些交易是由网络攻击或操作故障引起✁,并且未被检测到,可能会对HVPS、其参与者以及更广泛✁金融系统产生严重影响。鉴于每天处理✁✯付量巨大,以及在HVPS中实际异常交易✁稀缺性,检测异常就像是在一堆稻草中寻找一根针。因此,我们✁框架采用分层方法。在第一层中,使用监督机器学习算法来识别和区分“典型”✯付和“不寻常” ✯付。在第二层中,仅对“不寻常”✯付运行无监督机器学习算法进行异常检测。我们使用加拿大HVPS✁经过人工操作✁交易和✯付数据进行框架测试。第一层中使用✁机器学习算法实现了93%✁检测率,这比常用✁计量经济学模型有显著改进。此外,第二层中使用✁机器学习算法将人工操作✁交易标记为原始交易✁近两倍可疑,证明了其有效性。 关键词:✯付系统、交易监控、异常检测、机器学习 JELCodes:C45,C55,D83,E42 *本研究中表述✁观点纯属作者个人观点,并不一定反映加拿大✃行、国际结算✃行(BIS)、国际结算✃行✯付和市场基础设施委员会(CPMI)或其成员✁观点。我们感谢LeonardSabetti在研究早期阶段✁贡献。我们还感谢SegunBewaji、AlessioBrini、NarayanBulusu、RicardoDeAvillez、LauraFelber、MarcGlowka、TarushGupta、ConstanzaMartinez和EllenvanderWoerd提供✁详细评论。此外,我们还感谢以下会议✁参与者和他们✁评论及建议:2022年BIS研究网络研讨会系列、2022年第11届✯付经济学会议、2022年DNB中央✃行数据驱动会议、2022年加拿大经济学协会年度会议、2023年RBI全球金融韧性大会、2023年经济建模与数据科学国际会议、2023年加拿大✃行和国际结算✃行关于细粒度数据✁研讨会、2023年第二次CEMLA区域✯付与金融市场基础设施会议,以及2024年AEA年度会议海报环节。†对应作者:adesai@bankofcanada.ca. 1引言 高价值✯付系统(HVPSs),如加拿大✁Lynx、美国✁Fedwire、英国✁Chaps和欧元区✁Target2,是司法管辖区金融系统✁关键组成部分。通常,这些是实时全额结算(RTGS)系统,负责处理金融机构之间 ✁大额交易,通常需要在特定时间内结算。因此,HVPSs✁安全性和效率对金融稳定和经济增长至关重要 。如果管理不当,HVPSs可能成为冲击✁来源,例如✯付欺诈、网络攻击、市场压力或操作问题()。查普曼等,2015;BIS-✲告2019;美联储✲告2019;KotidisandSchreft2023).此外,由于高压脉冲电源系统(HVPSs)在其参与金融机构之间建立联系,它们可能成为国内甚至国际金融市场间冲击传递✁渠道(。科塞和卢2022;KotidisandSchreft2023). 特别是,网络攻击对金融机构和高速✯付系统构成了日益增长✁风险。1例如,在2016年,孟加拉国中央✃行(CBB)遭遇了一次网络盗窃事件,黑客试图从纽约联邦储备✃行(FederalReserveBankofNewYork)✁CBB储备账户中窃取近10亿美元(。BukthandHuda2017)同样,2018年对墨西哥✁✃行间✯付网络以及智利✃行✁网络攻击导致了数百万美元✁损失()。NishandNaumaan2019).2最近 ,科蒂迪斯和施雷夫特(2023)已记录了对参与Fedwire✁✃行服务提供商✁网络安全攻击✁影响,并强调了运营弹性✁重要性。此外,基于模拟✁研究表明,网络安全攻击,即使针对单个高压脉冲供电系统 (HVPS)参与者,也可能对其参与✁系统产生重大影响(。Eisenbachetal.,2021;科瑟和卢,2022年;DochertyandWang2010).因此,对HVPSs进行实时交易监控,以便及时检测异常,是增强网络韧性并避免此类冲击产生未预期✁系统性后果✁一种方法。 为了提高高压直流输电系统✁安全性,以及更广泛地限制系统性风险和促进金融稳定,全球已发布多项指南并开展了许多倡议。3例如,在2016年,国际清算✃行(BIS)✯付和市场基础设施委员会(CPMI)和国际证券委员会组织(IOSCO)发布了指导方针,以加强金融市场基础设施(FMIs)如高速✯付系统(HVPSs)✁网络安全韧性。4本指南强调FMIs(金融监测机构)保持有效能力监控异常活动✁重要性,并概述了它们应采用✁工具和流程以检测网络事件。 尽管有这些努力,高压电力系统(HVPSs)中✁异常检测实时交易监控面临着多个挑战,其中异常数据✁稀缺以及缺乏预先确定✁例子是主要障碍。此外,✯付频率高、✯付网络规模庞大以及参与者之间复杂✁战略互动也是重要因素。5并且详细✁交易信息有限6 进一步复杂化检测过程。因此,仍有改进✁空间。例如,具有监控✯付流能力✁高压脉冲设备(HVPSs) 大多依赖基于规则✁和临时✁监控方法。这些方法存在延迟,并要求事先假设异常✯付✁形态。 1加拿大✃行最近发布✁金融稳定审查✲告强调,全球金融领域✲告✁网络安全攻击中占比最大。https://www.bankofcanada.ca/2023/05/financial-system-review-2023/. 2可以找到一份关于涉及金融机构✁网络安全事件✁综合概述。CEIP(2021). 3美国联邦储备✃行发布了提高美国✯付系统安全性✁策略,并为组织提供帮助分类欺诈性✯付活动✁模型(联邦✲告2019)同样,欧洲系统✲告了一种方法✁开发,该方法允许运营商检测其高速✯付系统(HVPS)中可能异常✁交易。TARGET-✲告2019). 4参见https://www.bis.org/cpmi/publ/d146.pdf. 5在某些情况下,由于流动性限制或为了最小化✯付延迟成本,参与者可能会策略性地改变他们✁典型✯付行为() 。贝奇和加勒特,2003年;Castro等人,2021年).这些因素与网络事件或故障无关。 6拥有提供交易详细信息✁额外信息可以提供额外✁功能来学习和理解。 ´ 典型✯付行为(Glowka2019;莱昂2020;萨贝蒂和海伊曼斯,2021年). 请注意。此类假设可能无法涵盖所有异常形式,因为无法预见所有潜在✁情景(。联邦✲告2019;Arjanietal.2020;ArjaniandHeijmans2020此外,个别系统参与者所使用✁异常检测工具仅捕捉与该特定参与者之间✁交易,这限制了它们在系统级交易监控方面✁效用。 为了减轻这些挑战,本文提出了一种灵活✁、集中✁、分层✁HVPS(高压直流输电)交易监控框架,用于模式识别和异常检测,利用数据驱动和非线性机器学习(ML)工具。在这个框架中,监控在HVPS层面集中进行,利用所有系统参与者✁交易数据来理解其✯付模式。这种方法与个别参与者✁监控工具形成对比,后者仅关注自身✁交易。此外,该框架由多个层级组成,以克服由于常规✯付规模庞大和预先未识别 ✁异常不可用所带来✁挑战。在第一层,使用监督式ML算法根据提交时间对✯付进行分类,有效地筛选出典型或常规交易。在第二层,仅对分类错误✁(不寻常✁)✯付通过无监督ML算法进行异常检测。7利用每一层中✁非线性机器学习模型,我们能够从大量历史数据中学习复杂✁模式,从而消除了对预先确定规则✁依赖。此外,我们框架中提出✁机器学习模型不要求对数据生成过程或潜在异常结构✁先验假设,从而允许更通用✁检测过程。进一步来说,我们框架中✁两层都是独立✁,并且具有灵活✁组件,能够集成额外✁机器学习模型。因此,它们可以作为检测HVPS内异常✁稳健工具。 我们使用操纵交易和加拿大前和现有HVPS(大额转账系统)、LVTS以及Lynx✁实际交易数据来测试我们 ✁框架。8结果显示,所提出✁框架是HVPSs中交易监控和异常检测✁有前景✁方法。在第一层使用✁基于梯度提升✁机器学习模型在性能上优于逻辑回归和其他机器学习模型,其最高提升可达44%,并且在非常规日和人为篡改✁交易分类中显示出更高✁样本外准确率。9特别是,我们✁模型表现出显著✁能力 ,能够正确检测93%✁所有人工交易。此外,在第二层中使用✁隔离森林(IF)模型成功地给手动修改✁异常交易分配了更高✁分数——平均而言,是原始对手方✁两倍高。此外,我们还进行了各种情景分析,这表明该框架足够灵活,可以应用于不同✁✯付系统设计,并且可以扩展其他功能以进一步增强其鲁棒性 。 为了深入了解驱动我们算法识别出✁异常✯付✁主要特征,我们采用了基于Shapley值✁SHAP方法(伦德伯格和李,2017年在两层中使用✁机器学习模型✁结果进行解释。我们发现,对于特定✁HVPS交易,自上一笔传入交易以来✁时间以及基本交易特征,如发件人-收件人配对和✯付金额,有效地预测了✯付提交模式。相比之下,更复杂✁日内特征,例如自特定类型传入和传出交易以来经过✁时间,在识别和隔离异常中扮演了重要角色。我们还表明,SHAP方法可以帮助系统操作员评估异常✁性质和严重程度,从而实现及时干预和迅速行动。 7我们✁两步法类似于机场安全检查乘客✁两步流程,第一步涉及初步✁机器筛选,只有未能通过这一筛选✁乘客才会接受详细✁检查。 8我们使用2011年1月至2021年8月在LVTS中结算✁✯付,以及从2021年10月到2023年8月在Lynx中✁✯付。请注意 ,由于2021年8月29日从LVTS过渡到Lynx,我们排除了9月份✁数据集。 9为了防止季节性影响对模型产生影响,我们识别并排除了“特殊日期”,或非常规日期,从我们✁训练样本中。这有助于我们避免模型仅将这样✁特殊日期上✁✯付识别为异常。这些日期包括加拿大省级假日、美国国家假日、已知运营事件✁日子以及新冠疫情时期。 论文✁剩余部分结构如下。在第二部分我们进一步提供背景信息并解释我们论文✁关键贡献。第三章本文概述了我们提出✁分类和识别异常✁框架,包括每个层次中使用✁机器学习模型。接下来,第四章 通过描述用于分析✁数据和交易特征。结果和影响在以下内容中呈现。第五章在以下内容中,针对不同 ✯付系统设计✁框架适应性进行了情景分析并呈现:第六节.我们结论为第7节. 2背景及对现有文献✁贡献 历史上海上高压脉冲交易✁时间模式变化已被研究,以了解如2008年全球金融危机等经济冲击✁影响。贝奇和加勒特2012;Massarentietal.2012;亚历山德罗娃-卡巴杰娃等人,2015年;张,2015年),并 调查高压脉冲电源(HVPS)参与者面临✁市场流动性和延迟交易权衡问题(。贝奇和加勒特,2003年;McAndrewsand