大海捞针：一种用于支付系统异常检测的机器学习框架

摘要

本文提出了一种灵活的机器学习（ML）框架，旨在实现实时交易监控，特别是在高价值支付系统（HVPS）中。该框架适用于系统运营商和监管者用于检测异常交易，这些交易可能由于网络攻击或运营中断而未被发现，如果未能及时发现，可能会对HVPS及其参与者乃至整个金融体系产生严重后果。鉴于每日处理支付交易的巨大数量以及HVPS中真实异常交易的稀缺性，检测异常类似于在一堆干草中寻找一根针。因此，框架采用分层方法。第一层使用监督式ML算法来识别并分离“典型”交易与“异常”交易。第二层仅对“异常”交易通过无监督的ML算法进行异常检测。

关键点总结：

1. 框架概述：提出了一种用于实时监控高价值支付系统的机器学习框架，以检测可能由网络攻击或运营中断引起的异常交易。
2. 挑战与解决方案：面对实际异常交易数量稀少和难以预知其形式的挑战，该框架采用分层方法，通过第一层的监督式ML算法和第二层的无监督ML算法相结合，提高异常检测的准确性和效率。
3. 测试与验证：通过人工操纵的交易数据和加拿大HVPS的实际支付数据进行测试，以验证该框架的有效性。第一层ML算法的检测率达到了93%，显著优于常用的经济计量模型。第二层ML算法将人工操纵的交易标记为比原始交易更为可疑，证明了其有效性。
4. 关键词与分类：关键词包括支付系统、交易监控、异常检测、机器学习；JEL分类包括C45、C55、D83、E42，分别涉及统计方法、经济计量学、组织经济学和金融稳定性等领域。
5. 贡献与应用：此框架不仅提高了异常交易的检测能力，还提供了更全面的视角来理解和管理HVPS中的风险，有助于增强金融系统的安全性和稳定性。

结论：

本文提出的机器学习框架为高价值支付系统的异常交易监测提供了创新的方法，通过分层ML技术，实现了对异常交易的高效检测，对于提升金融系统的安全性、稳定性和抵御网络攻击的能力具有重要意义。