2024年外部数据管理平台建设项目报告

项目背景与目标

北京农商银行软件开发中心针对数据管理分散、整合共享困难、价值利用低等问题，以“安全用数、高效用数、用优质数”为目标，旨在整合外部数据资源，建立健全管理机制，梳理服务流程，搭建外部数据管理平台，实现“统一采购、统一接入、统一存储、统一共享”的管理模式。

主要问题

数据获取渠道众多、多部门各自引入导致数据管理分散，难以整合共享，数据资产价值低，行内计量计费困难。

目标

通过整合外部数据资源，建立健全管理机制，梳理服务流程，搭建外部数据管理平台，实现统一管理，提高数据使用率，降低服务费用。

总体架构与业务功能

1. 建立健全外部数据管理机制：采用缓存机制和消息组件，实现调用接口数据计费、结构化存储与下游业务系统调用请求异步操作，节省数据流转周期。
2. 梳理外部数据服务流程，建设外部数据管理平台：实现“统一采购、统一接入、统一存储、统一共享”的管理模式。
3. 平台接入与功能：
   • 接入天眼查、元素征信等多家供应商数据，涉及60余个接口供20多个业务系统调用。
   • 统一完成加解密工作，减少下游业务系统工作量。
   • 部分业务系统加入缓存周期，通过查询缓存数据实现成本节约。
   • 记录每个接口各业务系统的调用次数及费用、协议到期提醒等功能模块。

创新点与项目成效

1. 采用缓存机制和消息组件：实现数据计费、结构化存储与异步操作，节省数据流转周期。
2. 先试点再逐步推广：首个版本对API接口调用和批量文件安排试点，存量接口调用采取自动开关方式，最大程度化解切换风险，保证平台稳定性。
3. 国产化适配：采用主流微服务架构，支持不停机横向扩展；数据采用OceanBase集群式数据库存储，接口缓存采用宝兰德。

项目价值

• 提供联机/批量接口为各业务系统服务。
• 实现全行外部数据的统一管理，提高数据使用率，降低服务费用，避免各部门重复购买同类数据。