2024年外部数据管理平台建设项目报告

北京农商银行软件开发中心张祎俊 时间2024年11月 项目背景及目标 总体架构与业务功能 创新点与项目成效 经验总结 主要问题由于数据获取渠道众多、多部门各自引入的原因，存在数据管理分散、数据难于整合共享、数据资产价值利用低、行内计量计费难等问题。 以“安全用数、高效用数、用优质数”为目标，整合现有外部数据资源，建立健全外部数据管理机制，梳理外部数据服务流程，搭建外部数据管 目标 理平台，实现“统一采购、统一接入、统一存储、统一共享”的外部数 据管理模式。 总体架构与业务功能 创新点与项目成效 建立健全外部数据管理机制 梳理外部数据服务流程，建设外部数据管理平台，实现“统一采购、统一接入、统一存储、统一共享”的外部数据管理模式。 采用缓存机制 在同一个时点周期内，查询相同内容外部数据，可以通过查询缓存数据实现节约成本。 采用消息组件 实现了调用接口数据计费、结构化存储与下游业务系统调用请求异步操作，节省了整个数据流转周期。 外部数据管理平台接入了天眼查、元素征信、百融、百行、百望云、金控大数据、农信银等多家供应商数据，涉及60余个接口供20多个业务系统调用。同时，加解密工作由外部数据管理平台统一完成，减少了下游业务系统的工作量。部分业务系统根据需求加入了缓存周期，通过查询缓存数据实现了成本节约。本系统也记录了每个接口各业务系统的调用次数及费用、协议到期提醒等功能模块方便业务查询使用。 经验总结 项目采用先试点再逐步推广的方式分步投产 在首个版本对API接口调用和批量文件各安排了一个试点，并对存量接口的调用采取自动开关的方式以保证外部数据平台和原链路均可使用，最大程度化解了存量外部数据切换的风险。在试点运行稳定后逐步完成存量外部数据使用切换，保证了外部数据平台稳定性，同时实现了存量外部数据切换的无缝衔接。 国产化适配 外部数据管理平台采用主流微服务架构进行搭建，支持不停机横向扩展。数据采用OceanBase集群式数据库进行数据结构化存储，接口缓存采用宝兰德进行数据缓存。 项目价值 该平台提供联机/批量接口为各业务系统提供服务。实现全行外部数据的统一采购、统一接入、统一存储、统一共享，提高外部数据的使用率，降低外部数据的服务费用，避免各部门反复购买同类数据。 软件开发中心 时间2024年11月