摘要
金融机构正开始在反金融犯罪(AFC)系统中部署具有自主性的AI,而监管环境仍在不断演变。现有的模型风险管理(MRM)监管指南、横向AI治理框架以及行业在金融犯罪中应用AI的原则,都提供了重要的治理原则。然而,这些都没有为具有自主性的AFC系统提供一个完整的框架,后者的自主规划、工具使用、动态工作流程和授权决策带来了独特的治理问题。
本文提出了一种适用于机构当前应用的自主金融科技公司(AFC)系统的实用治理框架。该框架并非取代现有指导方针——包括跨机构模型风险管理指导、沃尔夫斯贝格人工智能原则以及金融行动特别工作组(FATF)关于人工智能的工作——而是确定了在现有监管指导方针中仍然适用的治理原则,并引入了管理在AFC环境中运行的自主系统所需的额外控制措施。
全文中,我们以美国货币监理署(OCC)跨机构模型风险管理指南为例,因其提供了一个为许多合规和模型风险团队所熟悉的治理生命周期,阐述了现有治理原则如何扩展应用于自主式自动柜员机(AFC)系统。由此产生的建议旨在本身作为一个治理框架,适用于自主式自动柜员机系统,并可适用于不同的监管和监管体系。
核心论点是,有效的监督必须从管理独立模型转向管理更广泛的代理系统。该系统的固有物质性由业务用例决定,但其残余风险以及其所需的相应治理和控制可以通过围绕自主性、工具权限、工作流约束和运行时安全措施进行的工程选择来塑造。采用这种更广泛的治理视角的机构将能更好地部署安全、有效且符合不断变化的监管预期的代理式人工智能。
定义代理式AFC系统:AFC代理被定义为一种有边界、具备人工智能的系统,该系统在批准的数据源和工具中追求调查或控制目标。AFC代理执行的活动可以包括,例如,收集和交叉引用证据、总结警报、排序调查步骤、识别类型、建议升级、起草可疑活动描述,或质疑案例的逻辑。
将现有治理原则应用于能动型AFC:现有的模型风险管理、横向AI治理框架以及行业原则的监管指南,都包含共同的主题:基于风险的治理、明确的责任、验证、持续监控、文档记录和独立监督。自主式AFC系统并未使这些原则失效,反而揭示了现有框架的不足之处。自主规划、工具使用、动态工作流程和授权决策带来了治理问题,这些问题在传统模型治理中基本缺失,在更广泛的AI治理框架中也仅得到部分解决。
代理风险与基于风险的实质性框架:在AFC领域,将统一治理模式应用于人工智能在操作上效率低下,甚至可能存在风险。机构需要建立一个基于风险的实质性框架,该框架能够根据代理活动的重要性来校准验证和监督。这种方法要求区分两个核心概念:风险是对不确定性的前瞻性衡量,它是发生概率(系统故障、幻觉或执行错误的概率)和影响(该故障带来的下游运营、财务或监管后果)的函数;重要性是主要的筛选标准。
代理开发与系统使用:现有的监管指南始终强调,人工智能系统在部署前应明确其目的、预期用途、已记录的限制,并经过适当测试。治理应要求发展达成既定目标集,而非强制指定特定的系统构建方式。机构必须能够证明其代理满足这些目标;其实现方式是一种工程选择,这种选择会因具体应用场景、供应商以及机构的风险偏好而有所不同。
代理验证与监控:验证从未局限于模型本身。它还包括影响系统运行方式的数据、处理步骤、接口和控制。对于自主系统而言,该范围更广,因为代理可能依赖多个数据源、调用工具或服务并启动操作。因此,验证应涵盖用例和章程;数据和工具访问;指令和检索设计;输出质量与证据溯源;升级和人工审批点;以及变更管理、监控和结果。
治理、控制及权限:现有的监管指南始终强调人工智能系统需要清晰的治理架构、明确的问责机制、独立的质疑环节、资产清单以及文档记录。以OCC框架为例,这些治理原则通过类比仍适用于代理式AFC系统,但已超越底层模型,扩展至更广泛的代理式工作流程。角色、职责和人机协同决策权限必须明确:谁有权授权哪些代理行为,以及在何种重要性级别下授权。
供应商和第三方代理解决方案:第三方采购并不能转移治理责任。虽然一个有能力的供应商可以通过提供成熟的测试工具、标准化的证据和可重用的控制组件来减轻机构的保证负担,但内部开发可能提供更直接的系统行为、配置和证据的访问途径。在任一模式下,验证、持续监控、结果分析以及干预的能力仍然是机构的责任。
示例:反洗钱调查代理:AML调查代理,该代理负责对一级警报进行研究和草拟。它不监控实时交易流;一旦该机构的主要检测系统发出警报,该代理就会在机构配置的工作流程中对该特定警报进行深入调查。
从框架到制度实践:机构不太可能一步到位达到目标状态。一个务实的实施路径始于建立可见性、所有权和边界明确的权限;然后标准化可重用的控制措施和证据;最终将保证和执行嵌入到机构的技术平台中。
结论:金融机构无需等待专门的代理式人工智能监管,即可在金融科技领域部署代理式系统。现有的监管指南和行业框架已提供可类推适用的有用原则,尽管它们并未为代理式人工智能建立一套完整的治理标准。挑战并非要取代这些原则,而是要将它们从治理单个模型扩展到治理更广泛的代理式系统——包括其编排、工具、数据访问、授权委托、人工监督和审计追踪。无论是内部构建还是向第三方采购,每个实质性代理都应连接到企业代理保障层,以便机构能够对其进行测试、观察、质疑、约束和停止。