云和恩墨 zCloud白皮书 v3.5 - 2022 版

zCloud ⽩⽪书 数据库云管理平台 2022-07-30V3.5 云和恩墨（北京）信息技术有限公司 ⽬录 Contents 01平台介绍01 1.1平台简介02 1.2核⼼价值03 1.3核⼼功能04 1.4应⽤场景13 1.5产品架构14 02平台部署15 2.1⽹络拓扑16 2.2硬件环境16 03关于云和恩墨17 01 平台介绍 ProductIntroduction 1 01平台介绍 1.1平台简介 zCloud是⾃治智能的数据库云管平台，以智慧即服务（WaaS-WisdomasaService）为产品理念，持续汇聚专家知识和经验，融合⾏业标准和最佳实践，提供云化⾃治的部署能⼒、智能巡检和诊断能⼒、知识即代码的沉淀能⼒，通过多元数据库统⼀纳管，实现服务化、⾃动化、智能化的数据库全⽣命周期管理。zCloud的核⼼功能还包括统⼀监控、性能容量管理、SQL审核、⾼可⽤管理、备份恢复管理、智能诊断等，通过持续构建稳定、安全、可靠、⾼性能的数据库运⾏环境，zCloud可以将单位时间内数据库资源交付效率提升10倍、管理成本降低60%，⾼效助⼒⽤户数字化体系建设和升级。 图1-1zCloud产品架构图 1.2核⼼价值 图1-2zCloud核⼼价值 1.3核⼼功能 1.3.1统⼀资源及多租户管理 zCloud构建了统⼀的数据库资源管理平台，实现多种类型数据库的统⼀管理和运维，通过资源的统⼀调度管控和按需分配，帮助⽤户提升资源利⽤率，降低企业IT运营成本。数据库资源的易扩展性，可以帮助⽤户持续构建满⾜业务性能需求的数据库环境。 zCloud具备私有云平台特性，构建全⾯的租户管理、⽤户管理、权限管理、项⽬管理体系，不仅实现了灵活的资源分配和隔离，并基于租户模式输出平台数据库服务能⼒（标准API开放）。 资源类型 资源说明 主机 Power服务器、x86物理机、x86虚拟机、鲲鹏物理机 数据库 Oracle、DB2、MySQL、Redis、PostgreSQL、SQLServer、MongoDB、openGuass、MogDB、达梦、OceanBase、GBase、KingbaseES、TiDB 标准API OAuth2、LDAP、RESTfulAPI 表1-3资源⽀持分类 图1-4平台资源管控 表1-5平台数据库 ⽀持列表 1.3.2⾃动安装部署 数据库⾃动安装部署，不仅帮助⽤户实现企业标准化的数据库服务交付，并⼤幅提升交付效率，避免产⽣ ⼈为原因导致的数据库安装配置问题、安全性问题和性能问题。 ❖⽀持主流商业数据库、多种开源数据库、国产数据库的不同架构类型⾃动化安装部署，融合了多种最佳实践配置模板，快速构建标准的符合最佳实践的数据库。 数据库 版本 架构 Oracle 11g、12c、18c、19c 单实例、RAC集群、Standalone MySQL Community5.7/8.0、 单实例、主从复制、双主复制、MGR集群、Galera集群 MariaDB 10.2 主从、Galera集群 PostgreSQL 9.6、10.7、11、12、13 单实例、主从复制 MongoDB 4.2.8 单实例、副本集、分⽚架构 SQLServer 2012、2014、2016、2019 enterprise版本和Standard版本 Redis 3.2、4.0、5.x 单实例、主从、集群、哨兵 ❖企业标准化的安装部署、服务创建，不仅快速完成数据库服务交付，⽽且⽀持多种数据库架构，⽆需 关注底层设施，即可获得稳定可靠、⾼性能的数据库服务。 图1-6数据库服务交付过程 1.3.3监控巡检 实时监控告警，提供不同维度的数据库运⾏指标监控及变化趋势分析，快速发现数据库各种异常并实时告警，将⼤部分数据库问题扼杀在开始阶段，减少或规避故障的发⽣，降低故障带来的业务影响。 智能健康巡检，通过对数据库运⾏状态数据的判断，以及指标关联分析，根据专家视⻆⻆并结合算法知识库，全⾯检查数据库存在的健康隐患，帮助⽤户更好的了解数据库运⾏状态，并提出改进建议，周期性持续进⾏数据库优化改进，显著减少DBA⼈员⼯作量。 图1-7监控架构设计 监控中⼼ 监控统计 ❖⽬标数据库及主机数量、类型❖⽀持⾃动排序、⽬标筛选（资源使⽤、压⼒等） ⽬标监控概览 ❖运⾏时⻓、资源利⽤率、会话统计、锁和阻塞❖⾼可⽤状态、数据库⽹络拓扑❖告警数量统计及告警内容快速预览 性能详情 ❖标准性能监控指标及图表展示❖⾃定义监控指标及图表展示 表1-8监控中⼼ 告警中⼼ 告警配置 ❖可⽤性、性能、安全、空间容量等❖标准告警模板❖⾃定义告警（阈值、告警级别等）❖插件式告警发送通道 告警统计分析 ❖按告警对象、类型、次数、级别等进⾏分析统计❖图表化展示统计结果 告警列表 ❖指定时间段内的告警信息列表❖告警详情（告警时间、次数、级别、类型、对象等）❖告警确认（已处理告警确认后不再显示） 表1-9告警中⼼ 巡检中⼼ 巡检设置 ❖⾃动巡检策略❖⼿动巡检（⾃定义巡检项）❖预设巡检场景 巡检概览 ❖巡检对象、巡检时间、巡检结果❖综合健康评分、历史健康评分❖巡检结果统计分析（各巡检项问题统计） 巡检报告 ❖巡检报告详情查看（参数配置、对象、安全、权限等）❖巡检项⽬、健康状态、问题描述、影响范围、优化建议❖针对部分巡检项⽬，提供推荐的改进命令或SQL 巡检历史 ❖巡检历史查看❖不同巡检报告综合健康评分对⽐ 表1-10巡检中⼼ 1.3.4性能及容量管理 性能管理，通过对数据库性能指标和相关对象的分析，快速定位数据库性能问题，提升数据库运⾏稳定性和可靠性，帮助运维管理⼈员快速解决问题，改善终端客户服务体验。 数据库容量管理，帮助⽤户进⾏⾼效容量管理，减少前期的硬件投⼊，在业务快速增⻓⻓，数据库容量发 ⽣变化的情况下，通过⾃动化扩容或⼿动⼀键扩容的⽅式进⾏容量扩容。 通过持续的性能、容量管理及优化，不仅提升了业务承载能⼒，改善了前端客户体验，也降低了企业IT运营成本。 ❖SQL是引发数据库性能问题的主要因素，因此zCloud提供了全⾯的SQL性能下钻分析能⼒。 64/ਧ֖64/௔ᚆړຉ64/ս۸ 72364/ 723(YHQW ᳩԪۓ/ᳩտᦾޞᦄ64/ ܲݥ௔ᚆහഝ ಗᤈᦇښ ੒᨝מ௳઀ᐏ ᨮ᫹ܛྲړຉ ௔ᚆහഝᧇఘ ᕬਧಗᤈᦇښ64/ս۸ୌᦓ๊ഘᕬਧݒᰁ೮ᖅս۸᪙ᬰ 图1-11SQL性能分析 ❖通过实时监控以及告警信息，快速发现数据库存在的会话锁，通过图表化清晰地展示阻塞与被阻塞会话之间的关联关系，运维⼈员可以查看锁详情并进⾏必要的⼈⼯⼲预，减少会话阻塞带来的数据库性能问题。 64/ᴥलޞᦄ ᲁړຉ ᲁᴥलىᔮ ӞᲫ.LOOտᦾ 图1-12锁会话及阻塞分析处理 ❖数据库性能分析，通过存储和管理数据库历史运⾏数据，构建基于时间线的性能变化趋势，便于运维 ⼈员查看不同时间、不同维度的的关键性能数据，帮助DBA进⾏数据库性能优化、容量管理、问题持续跟进等。 ӫӱD%$ ᬩᖌD%$̵୏ݎՈާ̵ၥᦶՈާᒵ ӥ᫹/ࣁᕚັ፡ 64/௔ᚆݒ۸᩽۠ҁࢶᤒ઀ᐏ҂ $:5ಸޞ ೰ਧ෸ᳵྦྷ72364/ ݱ௔ᚆ೰ຽܲݥහഝ ܲݥፊഴහഝҁ๋ᳩכኸ2ଙ҂ 图1-13数据库性能分析统计 ❖数据库存储对象的多样性和复杂性，可能导致⼀系列的数据库性能问题或者稳定性问题。为了保障存储空间的业务需求、⾼性能，zCloud通过对底层存储资源、数据库空间、数据库对象进⾏全⽣命周期管理，实现⾼效的资源分配，降低企业IT运营成本。 قኞ޸ޮ๗਻ᰁᓕቘ ਻ᰁֵአፊഴ ਻ᰁ᩽۠ړຉ ਻ᰁֵአޞᦄ ਻ᰁᓕቘ ᤒᑮᳵ አಁᑮᳵ ਂؙ੒᨝ $60ᏺፏᑮᳵԆ๢ᏺፏᑮᳵ୭໩෭ப ෭ीᕹᦇړຉ ޮीᕹᦇړຉ์ीᕹᦇړຉᑮᳵीᳩᶼၥ ୑ଉीᳩݎሿ ᩻ڊᴇ꧊ޞᦄ ୑ଉीᳩ൉ᯯ ᛔۖ਻ᰁಘ਻ ಘ਻ᥢڞᦡᗝಋۖ਻ᰁಘ਻ 图1-14全⽣命周期容量管理 1.3.5⾼可⽤管理 数据库⾼可⽤模块，通过⼀键部署⾼可⽤数据库架构，实时探测和⾃动故障诊断，快速发现业务节点异常状态，在保障数据完整性、⼀致性的前提下，快速进⾏⾼可⽤切换，保障业务的连续性。⽀持⾃定义⾼可 ⽤策略，满⾜不同场景、不同业务的⾼可⽤及容灾管理需求。 原点管理，满⾜⽣产环境⾼可⽤管理和容灾切换演练等场景。 图1-15Oracle⾼可⽤管理 ❖Oracle数据库，可快速完成DataGuard⾼可⽤环境搭建，⽀持⼿动Switchover及Failover操作，⽀持还 Ӥ੶ଫአ݊ਮಁᒒ᧗࿢ ᡦ೙๐ۓ,3ᕹӞفݗ ਮಁᒒ හഝପଫአ ᡦ೙๐ۓ,3ҁ9,3҂ KHHS$OiYHG++$3UR[\ KHHS$OiYHG++$3UR[\ 1.ᡦ೙๐ۓ࢏,3ᛔۖඳᵑᄈᑏҔ2.᫨ݎ9,3᧗࿢ 3UR[\64/ Ӿᳵկ๐ۓ࢏1 Ӿᳵկ๐ۓ࢏2 3UR[\64/ ᧛ٟړᐶ+ᨮ᫹࣐ᤍ හഝପ 0*5ᵞᗭ̵Ԇ՗॔ګ̵݌Ԇᵞᗭ Ԇᜓᅩ ՗ᜓᅩ ՗ᜓᅩ 64/ 64/ ❖MySQL数据库基于成熟稳定的数据库中间件（HAProxy、KeepAlive、ProxySQL、ShardingSphere等），满⾜MySQL集群的⾃动⾼可⽤、负载均衡、读写分离、分库分表等⾼级特性。MySQL⾼可⽤管理，不仅⽀持⾃动⾼可⽤切换、⼿动切换、数据校验，且可以快速搭建跨机房、跨地域的可靠容灾环境，帮助企业⽤户构建⼤规模的业务集群。 图1-16MySQL⾼可⽤架构场景 1.3.6备份恢复管理 针对MySQL数据库，通过zCloud⾃动部署备份服务器，实现数据库的全量、增量备份、Binlog连续备份、逻辑备份和备份数据集校验，保障备份数据的安全性、有效性、正确性，实现了备份数据的⽣命周期管理，减少运维⼈员的⼯作量。 恢复管理及⾃动恢复演练，⽀持数据库异机和原机恢复，满⾜⾼安全性、重要业务系统的数据保护及恢复到指定时间点（秒）的要求，减少企业数据库的系统⻛险。 图1-17数据库备份恢复管理 1.3.7SQL审核 数据库SQL审核模块，覆盖⽣产运维SQL审核场景和全⽣命周期SQL审核场景。 ⽣产运维SQL审核场景：提供标准的⼯单流程，对⽤户发起的SQL变更进⾏合规性审核，从⽽杜绝危险变更影响到数据库运⾏的安全性和稳定性。 SQL变更发布时，由于设计⼈员没有严格遵守表结构设计和变更规范，⽆法全⾯评估结构变更⻛险，经常会因为变更导致数据库性能异常、数据误删误改等情况发⽣。SQL审核功能通过系统⾃动审核->DBA复核 ->开发⼈员修改提交等流程步骤，使得变更SQL得到流程化妥善处理。通过开发⼈员、SQL审核模块、DBA协同⼯作，规范了⽣产环境上的操作，确保最终执⾏的SQL是通过审核后的SQL。同时，SQL脚本审核功能可以根据开发规范及DBA管理经验，定制审核规则及对应的处理建议，结合⽣产库上SQL-对象关联关系，评估变更对象所影响的⾼频SQL，结合⽣产库的对象依赖关系，评估变更操作所影响的对象范围，并给出相应的解决建议。 图1-18变更管理 全⽣命周期SQL审核场景：⻓期以来，⼤部分数据库性能问题由应⽤开发产⽣的不良SQL、低效和不规范的表设计所致，并且在测试、开发过程中缺乏有效的审核管理和流程规范，导致SQL问题不能及时有效解决以致应⽤发布上线后，业务爆发各种SQL性能问题和安全问题。 zCloud融合了覆盖应⽤全⽣命周期的SQL审核管理平台，能够⾃动抓取数据开发与运⾏环境中的对象设计与SQL信息，并依据既定的审核规则进⾏分析，发现潜在问题，给出专业改进建议，规避应⽤性能和稳定性⻛险，包括连库审核、静态脚本审核、⽇志审核、Java应⽤审核、Jenkins插件、IDEA插件、元数据管理、⼯单审核、审核对⽐等功能。可⽀持应⽤开发、测试、上线、⽣产不同阶段的SQL质量管控要求，前置性地保障应⽤稳定、⾼效运⾏。 图1-19全⽣命周期SQL审核 1.3.8智能诊断 智能诊断模块将数据库核⼼监控指标纳⼊数据库健康评分模型中，提供统⼀视