潘强-江苏电信PaaS上云实践

GOPS全球运维大会 GOPS全球运维大会 江苏电信PaaS上云实践 01江苏电信上云之路 目02PaaS运营管理体系建设 contents GOPS全球运维大会 录03PPaaaSS运智营能管运理维体平系台建设 04结束语 PART01 GOPS全球运维大会 我们的上云之路 •上云：企业要完成数字化和网络化 •用数：大数据的融合运用 •赋智：企业智能化改造 企业通过“上云”才能将经营管理过程中的数据积累下来，是“用数”和“赋智”的基础和前提条件 上云用数赋智 GOPS全球运维大会 上云背景 国外96%的企业已使用云服务 国内40%的企业已使用云服务 上云是企业数字化转型的必经之路 4%4% 21% 22% 只使用公有云 60% 3% 上云 技术 互联网化 数据业务 中台化 人工智能 使用混合云 只使用私有云 15% 71% 未使用 来源：IDC研究 上云是企业数字化的必经之 路 上云是企业数字化的必经之路，上云是用数和赋智的基础和前提条件 制定上云的标准和策略 统一规划，分类实施 同步推进，清单管控 2020年 •启动全面系统上云 •启动外围系统规模化去IOE试点 •外围系统20%上云 2021年 •全面上天翼云 •外围系统基本去IOE •具备系统上云能力 •外围系统80%上云 2022年 •全面上天翼云 •全面去IOE •掌控上云核心能力 •外围系统100% L1级 去IOE L2级 云化改造 L3级 上云标杆 上云标准：分级牵引，可实施可评估 GOPS全球运维大会 天翼云 天翼云 天翼云 去IOE 去IOE 去IOE 统一Paas 统一PaaS 应用云化 应用云化云原生 新建系统：100%上云 •核心系统：L3/L4级，规划内投资 •外围系统：L3级，规划内投资 存量系统：迁移/改造上云 •核心系统：L3/L4级，规划内投资 •外围系统：L1/L2级，追加投资50W-100W 上云策略：业务驱动系统上云选高配 打造一套平台 打造统一的PaaS平台、企业应用开发云道平台、智能运维平台，全面支撑新系统上云和老系统迁移上云，打造全集团上云生态，提升业务敏捷交付上云速度 业务系统 持续改进 CRM计费 应用开发过程编排（CI/CD）上云 迭代上线自动化测试 服务激活人力账务企业应用…… 迭代测试迭代开发 代码安全审查 用户自助资源开通 安全隔离、资源共享 升级不停业、业务可连续 云翼 统一PaaS平台 代码自动化打包发布 GOPS全球运维大会 接口及性能自动化部署 多资源池按需部署，一站式业务交付 支撑代码的安全漏洞审计 云道 DevOPS应用开发平台 端到端监控AI问题智能预防 分钟级故障定位 全网协同运维开发 云眼 AIOPS智能运维平台 分层解耦、能力沉淀一点注册、能力黄页一点签约、全网通行 实时接口、秒级生效 云桥 DCOOS能力开发平台7 GOPS全球运维大会2024·深圳站 GOPS全球运维大会2024·深圳站 8 GOPS全球运维大会 ① •明确上云标准 •全面分析调研 •上云清单管控 ② •业务需求驱动 •局部性能不足 •底线思维限制 •维护力量不足 •安全隐患驱动 上云需求与驱动力 上云系统清单 ③ •应用深度重构 •数据模型 •去Oracle •分表分片 •局部改造 •能力开放 •去I、去E •安全保密 •专用系统 •依赖厂商强弱 确定上云模式 ④ •选清单内组件 •资源估算/备份/容灾 •机房/安全/资源池 ⑤•集成商 •安全设计 •PaaS底座承载多业务 •PaaS组件集群设计 •数据库模式设计 •物理机、容器、虚机 架构设计 技术选型 ⑥ •云上云下网络打通 •申请PaaS服务/开通 •IaaS拉通后 ⑦ •使用统一PaaS平台 •遵循云原生/微服务等 •开发框架/规范等 •去O/去存储过程等 ⑧ •数据割接 •数据迁移 数据迁移/割接 应用改造 架构部署 ⑨ •应用测试CI等 •应用发布CD等 •使用云道平台 ⑩ •对接监控数据 •利用已有工具 •自主开发监控工具 •使用智能运维平台 上云运维 上云交付 第四步 上云实施与部署 第三步 技术选型与设计 第二步 确定上云模式 第一步 系统上云分析 第五步 上云交付与运维 形成一套方法论 PART02 GOPS全球运维大会 打造PaaS运营管理体系 PaaS治理八统一 运营三统一 统一PaaS清单 GOPS全球运维大会 统一技术检测 统一北向接口 维护三统一 统一PaaS配置 统一版本运营统一集中监控 统一集约平台 GOPS全球运维大会 PaaS运营规范 8 分布式任务调度 9 10  跨IDC数据同步 Devops套件 CTG-DTTSCTG-IDC-SYN 云道 自研组件北向接口采集系统 11北向接口 原生开源组件北向接口采集系统 序号 组件类型 组件名称 10 Hadoop 11 数据仓库 YarnmapreduceHDFS Hive GOPS全球运维大会 上云系统组件选型 IT系统上云涉及PaaS组件的清单30类48种（自研组件11类16种，原生组件19类32种） 常用组件：TELEDB/TELEPG/UDAL/IDC/CCSE/CTGMQ/CTGKAFKA/ELK/CTGLB/CTGCACHE/CTGDFS/CEPH 序号 组件类型 组件名称 1 数据库 CTG-TELEDBCTG-UDAL Hbase 2 分布式缓存 TelePGCTG-GDBCTG-CACHE 3 分布式消息中间件 CTG-MQ 4 分布式小文件系统 CTG-DFS 5 密集计算框架 FM-MJJS 6 容器管理框架 CCSE 7 负载均衡组件 CTG-SLB 序号 组件类型 1 时序数据库 2 分布式消息中间件 组件名称 OpenTSDB kafka 3 分布式服务框架 4 并行计算框架 5 高可用 6 Web容器 7 8 基础环境 日志处理 9 运维工具 SpringCloud DubboStormSpark KeepalivedTomcatapache CentOS ELK Zabbix Pinpoint ZipKinAnsibleprometheus Grafana 12 数据查询 Impala Kerberos 13 大数据安全组件 OpenLdap sentry ranger 14 流处理框架 Flink 15 机器算法类 TensorFlow 16 分布式协同 ZooKeeper 17 图形化工具 Hue 18 分布式对象存储 Ceph 19 开放平台 istio 12 建立PaaS运营工具体系 PaaS智能运维平台 面向运维、研发、管理三类人群，构建统一PaaS运维平台 GOPS全球运维大会2024·深圳站 GOPS全球运维大会 凤凰监控平台 IaaS/PaaS/SaaS三层监控平台 风险协议代理 通过风险操作管控代理提高 风险操作管控能力 单击添加标题 容灾管理平台 容灾切换可视、可管、可控 数据集中处理平台 关系型数据库和大数据平台的数据操作平台 PART03 GOPS全球运维大会 PaaS智能运维平台 GOPS全球运维大会 研发背景 交付时间长 运维效率低 故障定位难 应用发布慢 运维风险高人员流失大经验未沉淀 痛点 盘古智能运维平台是一个集成化、流程化、可视化的Paas运维管理平台，解决企业运维难题，提升运维的质量和效率，提供常用的十几类PaaS组件开通、监控、运维、故障处理等全方位的服务。 打造“盘古”平台，提供PaaS组件全生命周期管理 一屏掌控 GOPS全球运维大会 一站申请 PaaS组件智能运维平台 一键排障 一点开通 一站运维 一栈部署 用户对象 产品架构 租户 运维人员 管理人员 三类服务用户、四层产品架构 统一PORTAL自服务门户运维门户领导视图 自服务应用运维操作应用 管理应用 租户 自助门户，实现自助管理用户、权限 规范业务流程，实现云资源一点申请 支持服务部署、灰度发布、弹性扩缩容能力 资源服务视图、关键指标及告警等 GOPS全球运维大会 统一账号 资源监控 应用管理 门户集成 服务部署 运维工具 资源申请 镜像管理 异常告警 订单管理 配置查询 租户视图 一键部署 制品管理 脚本管理 全景视图 智能运维 基础服务 作业配置 作业执行 集群管理配置变更全景视图 容器部署变更管理辅助诊断 任务编排 健康巡检知识库 任务调度 资源分析运营报告 运维人员 组件部署，实现界面化快速部署能力 配置管理，支持在线配置，比对，回退 运维视图，提供分类、分层指标监控 工具打造，提供巡检、诊断、自愈等 运维操作数据采集 PaaS组件 IaaS基础设施服务 集团组件原生组件省内自研 计算 存储 网络 安全 其他设备 6月发布 管理人员 全景视图，支持平台健康度的数据可视化，一屏掌控 10月发布 资源分析，提前做好资源统筹 运营报告，实时掌控系统状态 GOPS全球运维大会2024·深圳站 风险协议代理 整体功能介绍 KIBANA 运维 TeleDB TelePG ctg-cache ctg-kafka ctg-lb CCSE ctg-mq 开通 风险识别+警示提醒+拦截+操作审计 数据集中处理 Jedis 更丰富的运维场景 mongoDB rabbitMQ JDBC GOPS全球运维大会 翼龙开源 K8S MySQL PostgreSQL ELK Kafka TELEDB KUBCTL 用户创建 database管理 赋权操作 表空间管理 主键检查 大事务 长事务 锁分析 冗余索引 无效索引 索引碎片 会话分析 会话查杀 实例大小 ZK Redis 大对象分析 Nginx ...... GOPS全球运维大会2024·深圳站 组件一键开通、业务随享即用 开通高效：专注于一站式开通，提供在线自助式、向导式、模板化的组件服务申请，和传统的离线人工管理模式相比可以实现分钟级开通，全程可视化，操作自动化，简化开通流程 组件齐全：支持组件多、范围广，涵盖常用的绝大部分组件，如数据库、消息、缓存、容器、负载均衡、ELK、ZooKeeper等 运营规范：组件开通结合专家经验和一线运维最佳实践，发挥组件最佳性能，降低组件运营风险——“别人踩过的坑我们坚决避开” 组件管理员 可用性测试 资源开通 组件资源 调度执行 制品下载 部署开通 订单预览/提交 需求规格配置 环境检查 订单拆分 （按动作拆分） 订单分析 （开通扩缩容） 组件选择 硬件资源 领导审批 资源申请 GOPS全球运维大会 统一入口智能派单自动执行 一站式申请 开通扩容 缩容 回收 运维全程可视 操作可视：运维百宝箱 •封装174个基础运维操作，聚焦运维场景，可视化、 一键化、流程化，打造专业、安全运维百宝箱，让 运维人员摆脱专家经验依赖，新员工能够快速成长，从而提升整体运维效率 配置可视：配置小管家 GOPS全球运维大会 •改变原有的人工线下修改模式，实现一点配置、批量发布；一键回退、快速恢复，配置过程可管、可控、可回溯，降低操作风险，提升运维效率 变更可视：变更放大镜 •根据租户/运维人员操作日志、组件错误日志、慢查询日志等，提供多维度操作日志的关联分析与展现，方便快速问题定位 健康可视：全景气象台 •232个组件指标，提供一屏健康视图，实时掌握系统健康状态，直观透明、健康检测、风险识别、全局管控、辅助决策 门槛高、风险高、效率低 操作可视 –运维百宝箱 日志分散、无法串联 变更可视 –变更放大镜 配置复杂，不可回溯 配置可视 –配置小管家 场景不聚焦、专业化不够健康可视 –全景气象台 统一容器框架 统一门户 服务启停 服务扩缩容 容器终端网络探测 服务网格切换 服务升级 服务监控 dump文件下载 污点设置 服务网