1-2 苏鹏-大模型与向量数据库：敏捷运维的创新引擎

Gdevops 全球敏GlobalDe捷vOpsSummit运维峰会 大模型与向量数据库：敏捷运 维的创新引擎 演讲人：爱可生苏鹏 ACTION 公司概况爱可生 爱可生，国内开源数据库服务及数据库平台解决方案的龙头公司，致力于数据库领 域，为客户提供企业级的数据库全生态软件产品和服务。 产品主要涵盖：多数据库自动化运维管理平台（云树DMP）、数据库云服 务平台（云树RDS），分布式数据库（云树Shard）、SQL审核平台 （SQLE）、向量数据库（TenSorDB）等软件产品，以及多中心容灾✁设 数据迁移等解决方案 爱可生成立于2003年，总部和研发中心位于上海，下设北京，深圳等分公司，拥有15+年大型系统平台运维经验，位列全球TOP10规模的系统✁设及运维经验，1000+运维项目经验。 Gdevops全球敏捷运维峰会北京站 近3年私有云市场MySQL产品&运维服务领导地位，得到行业 客户的广泛认可，拥有多家世界500强客户及大型银行客户 在金融行业树立标杆地位 ACTION 开源生态爱可生 技术文章社区热度 爱可生开源社区发清息 累计1000+篇平均阅读量 3务，每年1024开3款比费监，并博益营指每日一更 702%原谢内容52个期关注1000+ i2号:simplelogic《大智小技》粉丝量破 共推出四册 按术干货 大智 8.0件公开泽 总发送数量破6000+13000+ 公开预计ALTUN 技术专栏 E解MySQL—实路 MySQL MySQLO 小技 大智小技 tsPrometheutClickHnuse多列MusQL大智小技 社区信息 开漫产品社区活动社区宫网关于爱可生 爱可生开源社区 Gdevops全球敏捷运维峰会北京站 ACTION 数据库解决方案直签标杆客户案例爱可生 十五年磨砺，厚积薄发400+大B用户45世界五百强 金融行业广电通信行业其他行业 银行互金保险证券广电通信零售政企制造 KEC中D国工自银行PICC①中央结事公司国家广场电社总展中国移动绿地集团NARI E光大证券CCTV.中国电信重庆市气余局eSIC 中国航信 全中国杰甲 SMG LI-NING 中国城查工业集限公司 Traveisky 江莎有线 招商银行阳光保险亚太電信 ③兴业银行 中国大地际险中国外汇交器中心JSCN 国 中国结典GRT广东广告电维 天安和屋CSDCfrancetekecom 财贷证通股份NOS 中国 中国商方航空 采亲银行 C华慕银行 中信银行 宜人贷新 百年人寿 黑圳证券变界 STOCX 米O古 ZTE中兴 UEKS FiberHome CHMSETHES 厦门航空 国家能源集团 ociclo uyeel FWDt西泽lenovo 索隆银行 中国银联 BCS长M58 （）前群人荐 万达集团金凤科技 H3CGOLDWNO Gdevops全球敏捷运维峰会北京站 爱可生 ACTION DBA的常见困扰 网上流传的双主架构，数据 业务增长太快，数据库该如何扩展， 经常不一致，复制老中断， 开发drop库了，恢复起来太费劲，有 读写分离、分库分表该怎么选？多大该咋整？没有快速恢复的方案？的表该做拆分，怎么拆呢？数据咋 迁移呢？安全扫描又来，数据库又要升级，有 没有批量自动化的升级方案？ Oracle是去掉了，用了一堆开源 库，运维太麻烦了。业务要用的数据库种类太多了 MySQL、Redis、MongoDB、 开源数据占比越来越大，怎么样PostgreSQL、TiDB，能不能统 维护起来？ 前期没有做标准化，现在数据量增业务抱怨数据库运行缓慢，没有足够长太快，运维效率下降，问题信息采集，该如何诊断？ 越来越多。 Gdevops全球敏捷运维峰会北京站 ACTION SQL质量管理存在问题：发布不规范，事前无控制，事后少跟踪爱可生 管理人员 开发/测试人员远维人员 存在问题：存在问题 线上性能问题排查同期长 审核如何与CI/CD 持续集成流程对接5QL问题占比大，疲于效火 AP业务影响TP业务性能 SQL上线流程 需求创迪代码开发持续集成创✁像测试环境生产行 存在问题： （）韶晋河试 发布上线上线后（事后） 存在问题： +什么是好SOL存在部门份歧，存在问题：审核上线工作量大，常常加班 +开发人员对SQL的知识储备有限·关注业务功能，难以发现低效审核优化需要高级DBA，人力成本 大 申核✁议不专业，问既太多，无问题SQL 法整改 变更SQL如何获取？ Gdevops全球敏捷运维峰会北京站 申擦✁设落地国难 ·DBA对业务数据熟练程度有限，无法有效数发现问题 ·开发线下找DBA上线，无法管控 ACTION 云树DMP一多数据库自动化运维管理平台爱可生 云树DMP（自动化运维管理平台 MySQL业务1业务2业务3业务N 主机管理实管理业务区 副本集群 监控告警备份恢复高可用集群读写分高高可用排 读马分离分库分表H 灾备管玛 日志管理5QL申校--+ MorgoDeueaten RedisCluster Redi:集祥 MongoDB 智理节点集群 主从RedsSentinelTiDB分布式 集群高可用集群集群 openstack感拟化 rkt 公有云主机 Gdevops全球敏捷运维峰会北京站 ACTION 系统运维的稳定性从规范化的部署开始爱可生 配计算资源运维效率整组安装数据军组 裸机资源 虚拟机资源 分钟级别交付 支持批量安装部器 适 标准化交付数据库类型 标准架构MySQL 标准配置Redis 标准模板MongoDB 标准➓管TiDB Oracle 路口号： -glibe2.12-x86_54.r.g 批量➓普数提库实例0CPU使用量D染ACPU变用 本地文件·造媒文件未造任男文件 内例(M8) 女装联构· Gdevops全球敏捷运维峰会北京站 ACTION 备份、转储、恢复、演练一套完整闭环的备份恢复系统爱可生 备份策珞 下发备演练DB 份任务下发恢复 备份代理端管理装任务 DB1备份代理蜡演练 开始炭复 备份故障 -. 备份集恢复 如果本 转储地没有 归档空间则拷贝 新DB1 编排 备份 转储 恢复演练 灾备报告 自动编排所有备份任务 ●全量/增量 ●ftp、磁盘、带库 ·自动恢复演练 展示RTO、RPO ·发送每天编排报表●异常编排任务告警 ●物理备份/Binglog备份 ·备份自动回收 ●自动转储，故障无忧●NBU/S3备份对➓ ·指定时间点恢复 。故障恢豆预测 ●备份数据有效性验证 Gdevops全球敏捷运维峰会北京站 ACTION 定时健康巡检，快速诊断数据库，将故障隐患杀在摇篮里爱可生 链使诊断报告（自动化时+手工实时）库表检查 错误日志&DDL进度分析图形化锁分析慢日志分析 连➓分析磁盘空间分析图形化锁分析慢日志分析库表检查健康报告 分析当的谨按势,行的SQL检高出不合理的库表没计多练掌我效车的✁康 情况，找出运行时股长无主健表影响间步性骼清泥 的连拨，kill高负概的连换完余引影聘入性 主uid影腺通入性陷 Gdevops全球敏捷运维峰会北京站 ACTION M 成实例规模，成万监控指标，实时指标展示，告警异常及时爱可生 ? 监控数据采集 数据库探活 可用性、资源、性能、容量指标采集告警推送高可用架构探测 自动发现监控对象，无需额外配置操作监控管理 可扩展 可视化展示 API调用 服务网关直➓ 采用云原生监控构，支持监控数据发现收集收集 sharding，可监控上万个监控指标； 采用错峰采集机制，减小被监控对象的负载监控 压力集群 告警处理 升级变更期间可设置告警静默，避免无效告警 告警适道可灵活配置，支持邮件、企 业微信、短信平台等告警通道 监控节点监控节点 Y 监控 监控节点 目标网络数据库主机存储其他服务 Gdevops全球敏捷运维峰会北京站 ACTION SQL治理需要考虑SQL全生命周期爱可生 软件生命周期 开发测试人员运维人员 需求分析代码开发持续集成测试环境UAT环境上线部婴业务运行问题处理 设计与实现测试部署与发布生产与运维 SQL流转方向 几天，不影响生产 几小时，不影 几天或几周，影响项自周期 几周或几个月，影响生产 问题越早解决成本越低！ 第三方统计数据显示：49.4%的数据库故障是由于SQL不规范、效率低等问题引起 Gdevops全球敏捷运维峰会北京站 ACTION 标准发布：上线工单变更发布标准化，杜绝问题SQL流向生产爱可生 变更SQL上线发布流程 SQLE 上线申核流程 足SQLESOLE SQL热行 预申上绒工 变更SQL否申核结果申批 手动/自动热行执行失败执行 回滤语句通过回浓 开发人员运维人员，烧 发布效率提升，发布留痕 变更SQL一链执行上线，提升发布效率手动上线/定时上线 发布留痕，可追溯 ✁立标准化发布流程 所有发布必须通过平台执行 线下人情上线减少100%，问题SQL引起的性能问题减少60% Gdevops全球敏捷运维峰会北京站 ACTION 多种模式发布，批量上线，满足不同场景上线诉求爱可生 ：批量上线需求，涉及多个数据库 ●分环境域上线场景：生产环境/预发布环境上线MHSQL 分区域上线场景：国内/国外环境 批量上线/ @TIDB 功能ASQLE是 SQLE 独立上线OCEANBASE 变更SQL工单上线手动上线/生产环境 自动上线 UAT环境 否国内环境 国外环境 TELBZRLA Gdevops全球敏捷运维峰会北京站 ACTION 事后SQL审核爱可生 业务库SQL获取与审核审核结果预警 （质量报告）（发给相关人员） 问题SQL优化 APP 生产运行SQL 101 分优先级 优化✁议威便开发协同优化 数据库 数据库 采集获取 SQLE 反馈管理员 TOPSQL采集审核 慢日志采集审核 审计日志采集审核 库表元数据审核 1.根据采集宽期SQLE定期获取 1SQLE实时获联数据库费目志 1.SQLE通过喜户进程序实时 1.据采集周期SQLE定期 数起库TOPSQL语句 SQL语包 获取数据库懂日志SQL语句 获取数抵库库表元数落信 2.使用语法解析塞解析SQL语句 2.定期审核：使用语法解析塞解 2.定期中核：使用语法解析器 ，获取SQL执行计划 析SQL落句，获取SQL执行计划 解析SQL语句，获取SQL执行 2.使用语法解析器解析SQL 3.基于规则和热行计划别断SQL 3.基于规则和均行计划渐断SQL 计划 语句，获取SQL执行计划 是吾存在风险， 是否存在风险。 3.基于规则和执行计划判断 3.基于规则和势行计划判断 SQL是再存在风险 SQL是吾存在风险， 云数据库审核 1SQL用RDS的慢日志 审计日志等AP联取运行SQL 信惠 2.SQLE使用语法解释析器解析SQL语句，获取SQL势行计划 3基于规则和势行计划判断 SQL是否存在风验， Gdevops全球敏捷运维峰会北京站 SQLE:多元异构数据库SQL管理方案 ACTION 爱可生 试能开发测试审核标准发布生产审核优化申核结果可视化高效数据查询 IDE审核CI/CD持续集成审自动上线发布慢日志审核SQL风险展示CloudBeaver客 脚本审核（SQ 核手动上线发布TOPSQL审核SQL分析优化户端无缝集成 语句、文本、慢日志审核对➓发布流程审计日志审核SQL下钻分析业务开发查询即 时审核 MyBatis)TOPSQL审核 审计日志审核 无锁发布 多库发布 API审核图表展示 java应用审核报表展示 两系统单点登录 API审核多区域发布 java应用审核多环境发布 SQLE 中核 TiDBRDSOCEANBASEPolarBPostgreSQLIBMDB2F3LSenver Gdevops全球敏捷运维峰会北京站 ACTION 自前还存在什么问题？爱可生 故障定位后需要大量人工操作 多表关联SQL开发复杂SQL审核规则多样 刚上手一款新的数据库不知道该如排查问题 如何对SQL进行优化观点不 现场交付人工成本高 Gdevops全球敏捷运维峰会北京