2024年云原生体系在中小金融机构的实践与创新报告

无锡农村商业银行 云原生体系在中小金融机构的实践与创新 2024.8 主讲人吕太原 01建设背景 目录02 建设现状 03规划演进 01建设背景 企业云化演进路径：融合池化->自动化与敏捷->智能化 融合资源池 •多种烟囱整合成池管理 •统一管理 •统一运维 敏捷创新 •应用架构微服务治理、 DevOps敏捷转型 •PaaS池化重构 •混合云业务形态运营 •云备份，容灾 传统烟囱架构• • 利用率低 能效低 虚拟化 部分上云 •业务系统虚拟化部署 •提升利用率 •简化运维 •互联网业务上云 •按需使用 •以租代建 自动化 •提升资源管理效率 •分工自助 •向服务化运营转型 业务智能化 •技术中台向业务中台转型 •建设数据中台 •智能化 我行科技建设三大阶段-平台化->服务化->云化 PhaseIII–迭代演进、云上智能化 应用开发微服务化 PhaseII-服务建设 服务封装标准化，使用微服务的架构进行能力复用，快速开发，提效提质 •基于PhaseI建设提供的能力，集中输出基础能力如：DevOps，数据库，中间件能力，并支持业务API管理 •基于技术平台，结合实际的规划，进行业务组件、API的封装 平台基础服务能力输出 服务治理管理 规划业务架构和数据架构演进中台服务化 PhaseI-平台建设 形成以PaaS平台为核心服务能力，基于PaaS之上企业级技术平台快速搭建应用服务 提供企业级的消息、数据库、存储服务能力提供企业级的大数据计算、分析平台能力 基础开发平台、开发框架的统一 数据分析平台 用户行为分析 业务数据分析 平台核心建设 •基础设施云平台建设 •基础服务技术平台选型 •平台研发运维管控平台选型 •基础技术平台搭建 组织建设 •敏捷研发导入 •组织架构调整 •研发流程调整 •CICD流程建设 业务上云 新业务云上建设 完整建设DevOps端到端的能力 业务服务的能力建设 抽象业务场景需求，搭建业务中台服务设计数据架构，建设数据中台服务 数据开发数据服务 数据模型 部分老业务云内部署再分层改造 建设企业级能力开发平台 数据治理 全面研发运维自动化平台建设 自动化运维监控平台建设 业务分阶段迭代云化API组件的封装 建设APIGateway平台能力 业务创新 研发流程自动化平台工具体系建设 定义并封装各业务服务API 基于业务接口的创新 资源调度、统一配置、统一日志、集群管理、编排管理等基础管理平台建设 基于数据接口的创新 基于分析产生第三方应用创新 生态建设 通过服务能力开发建设生态业务圈 云原生建设-微服务+容器+DevOps 没有DevOps实践的微服务实施是运维（应用和基础设施）人员的灾难 微服务 容器 服务独立部署 独立部署 快速水平扩展 天然支持秒级服务启动 服务实例多 额外开销少 DevOps 平台 容器化 微服务DevOps 容器云+CI/CD解决方案，支撑全场景微服务业务上线需求 三者有所侧重，又紧密关联 02建设现状 我行整体建设架构图 外部生态接入 电商平台企业平台 政府平台 保险平台 银行平台 券商平台 理财平台其他第三方平台 开放平台 开发者门户API管理中心文档及下载运营管理反向路由协议适配报文转换业务鉴权 安全防护缓存机制数据校验服务生命周期管理数据/日志脱敏防重放共计终端仿真沙箱模拟环境 DevOps平台 项目协同 代码管理环境管理制品管理可视化流水线版本管理测试管理度量分析权限管理驾驶舱日志管理平台管理 敏态分布式平台开发平台运行平台 前端开发框架微服务治理 移动H5开发框架移动开发框架小程序开发框架服务治理负载均衡链路拓扑 H5离线化应用发布热修复链路跟踪配置中心管理注册中心管理 基础组件移动分析组件化研发管理网关管理框架治理服务路由 后端开发框架网关管理 开发脚手架基础组件代码版本管理和构建API发布API审核API编排通用用户权限管理API文档管理服务关系管理协议转换访问日志访问认证SDK/边车集成可视化组件视图组件库管理API管理API监控路由管理 标准化规范 技术选型标准规范开源技术版本规范应用开发标准规范 技术组件标准规范 服务接口规范服务调用路由规范研发过程管理规范中间件使用管理日志、监控规范UI设计规范数据模型规范代码管理规范 容器(A配置中心ap)网络驱动负载均衡日志中心（监控告警）（H应用商店or） pollo/Configm（Nginx）（EFK+）Prometheuselm/Operat 集群调度高性能容器计算状态管理镜象仓库计算存储驱动 kubernets胖容器EtcdHarbor/Artifactory/nexusDockerNAS/Ceph 微服务架构建设历程 跨系统全链路、交易日 志关联技术应用 虚拟化服务网格试 点系统投产 微服务治理业务级细粒度监控告警应用 2021年2月 2021年9月 2022年6月 2023年2月 2023年5月 完成微服务SDK系统改造与API网关大量对接 2023年8月 完成微服务开发与运行平台建设 微服务持续治理项目投产 完成敏态微服务运行体系建设 开源生态百花齐放 银保通 理财 后管 批量 平台 以GXP为中心的线性架构 门户网站 网上银行 手机银行 直销银行 ATM 柜面系统 ... 核心信贷 系统管理 信贷互联网 核算收单 大小额 黄金互联网 信托信贷 理财代收付资金 基金 后管 内联GXP ECIFCRM 报表财务管理 系统管理会计 大运管平台 基础大数 绩效 考核 审计 系统 数据据平 平台台 智能网格 化营销 项目管 理 科技管 理 呼叫中心 资本充足率 银监 EAST 自助终端 人力资 OA源 ... 去中心化微服务运行生态 网关模式对接存量系统 核心系统信贷系统中间业务 微服务运行平台 服务网 关 服务治 理与管控中心 统一 电子凭证理财系统… 内联GXP GXP模式存量系统 手机银行微信银行网上银行 智能授信 中台 企业网银 平台 流程注册中心 智能 柜台 远程 银行 数字人民币 CRM 边车 互联网信贷 边车 多渠道 边车 风险 决策 边车直销银行 链路追踪 SpringBoot+SpringCloud 监控中心 小程序直销银行… 微服务治理体系建设 健康检查 链路追踪 实时监控 1、注册中心服务健康状态心跳检测 2、边车与应用双向健康检查 1、基于skywalking的微服务应用调用拓扑与关联关系展示 2、基于skywalking的微服务应用链路追踪，API级别的交易全链路展示 1、skywalking监控：应用级别监控采集2、prometheus监控：机器监控采集 3、自实现监控：API网关、文件网关、边车、分布式定时任务 告警中心 性能分析 日志分析 1、针对应用、系统、文件交互、接口交互 等不同维度的监控与统一告警能力 2、告警信息汇总运维平台提供统一的基于业务场景下的明细化告警输出，具备API级别响应异常与耗时异常分析与告警能力 1、基于prometheus的虚拟机/容器层面的系统层面监控（CPU、内存、网络IO、文件IO、磁盘等） 2、基于skywalking的应用层面监控 （API响应率、慢交易、接口耗时统计等） 1、汇总微服务日志信息，打通链路追踪中的唯一traceid，快速关联API接口与业务场景，实现跨系统全日志链路打通 2、快速可视化日志检索（ELFK），提供快速便捷的日志检索能力，日志关联链路 微服务跨系统全链路+日志性能分析 建设成果 应用架构微服务化 边车模式去中心化 微服务网关高效化 治理运维标准化 新信贷、新核算、营销管理平台、企业网银、远程视频银行等超30套高频核心类业务系统微服务化改造。 边车模式试点了直销银行、互联网信贷系统、风险决策平台、多渠道数据中心4套常用业务系统。 微服务网关共计230个新、老应用系统接入使用，3451个接口精细化治理。API网关的集群交易数据日均300万+笔，高峰日均1600万+笔。整体的网关性能与TPS通过压测可达6000+笔。 全行级注册中心、配置中心、分布式定时任务 、监控中心等一系列微服务治理套件进行统一 ，既节省大量的资源，还简化了运维操作。 容器云建设历程 容器云平台升级 敏态分布式运行平台试点迁移灰度验证 2021年11月 2023年4月 [有状态容器云] 云原生中间件平台投产 [无状态容器云] 容器云平台投产 2023年6月 2023年8月 远程银行、智能柜台 2023年10月 2021年2月 2021年6月 2022年6月 应用系统上云最佳实践方案设计 启动容器平台调研与建设 统一用户中心系统 容器云建设背景 VS 传统虚拟化技术容器化技术 1、传统虚拟机启动慢，空间占用大 2、资源利用效率低 2、单物理机多应用无法有效隔离 （进程空间，cpu资源，磁盘） 1、秒级启动，秒级停止，空间资源占用少 2、共享宿主机资源 3、实现进程级别的隔离 容器的优势及问题 更轻 量化 快速 启动 资源 利用 编排 管理 轻量化：每个容器都共享同一个宿主机操作系统和硬件资源，因此更加轻量化。 快速启动：利用镜像的分层存储机制，容器的启动速度 很快。 资源利用：多个容器可以共享同一个宿主机的资源，因此资源利用率更高 编排管理：应对多服务容器协同工作能力不足，需要编排能力DockerCompose×Kubernetes√ 容器云平台多中心部署架构 主中心灾备中心 容器管理平台 CI+部署机-1 镜像仓库1 镜像仓库2 管理 网口 管理 网口 管理 网口 CI+部署机-2 管理节点1 管理 网口 镜像仓库 负载 管理 网口 管理节点2 管理管理节点3 网口 容器管理平台 负载 管理 网口 服务器 主中心 K8SNode 服务器 管理业务 网口网口 管理业务 网口网口 服务器 服务器 管理业务 网口网口 管理业务 网口网口 服务器 灾备中心-业务区 K8SNode 服务器 管理业务管理业务 网口 网口 网口 网口 服务器 服务器 管理 业务 管理 业务 网口网口 网口网口 服务器 主中心 K8SNode 服务器 管理业务 网口网口 管理业务 网口网口 服务器 服务器 管理业务 网口网口 管理业务 网口网口 服务器 灾备中心-业务区 K8SNode 服务器 管理业务 网口网口 管理业务 网口网口 服务器 服务器 管理业务 网口网口 管理业务 网口网口 K8SMaster 服务器 管理业务 网口网口 服务器 管理业务 网口网口 服务器 管理业务 网口 网口 服务器 主中心 K8SNode 服务器 管理业务 网口网口 管理业务 网口网口 服务器 服务器 管理业务 管理业务 网口网口网口网口 服务器 灾备中心-业务区 K8SNode 服务器 管理业务 网口网口 管理业务 网口网口 服务器 服务器 管理业务 网口网口 管理业务 网口网口 管理区 业务区 K8SMaster 服务器 管理业务 网口网口 服务器 管理业务 网口网口 服务器 管理业务 网口网口 OA区 K8SMaster 服务器 管理业务 网口网口 服务器 管理业务 网口网口 服务器 管理业务 网口网口 DMZ区 生产环境按两中心三个区域进行规划 两中心：主中心、灾备中心 三区域：业务区、OA区、DMZ 区 运管区部署容器管理平台和镜像 仓库 各网络区按需部署容器业务集群 每个业务集群包含主中心和副中心计算节点 容器云逻辑架构调整 应用场景 容器云 IaaS虚拟化 容器云 架构 应用场景 IaaS虚拟化调整 提升资源使用率 物理基础设施 物理基础设施 资源调整 容器云标准化输出与赋能 无状态容器云建设成果 目前容器云平台已接入企业手机银行、统一消息融合平台、远程视频银行、智能柜台等6套常用业务系统与敏态运行平台、统一门户等4套管理类系统正式试点使用，为后续信创云建设奠定基础。 有状态中间件云化建设背景 ■各业务系统自行搭建：中间件搭建、运维工作量大，任