党受辉-从SRE体系锻造的平台工程

中国DevOps社区峰会2023·广州 从SRE体系锻造的平台工程 腾讯IEG技术运营部党受辉 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 eKing腾讯蓝鲸智云 党受辉 lutB en nc Te 腾 TencentBlueKing腾讯蓝鲸智云 腾讯互动娱乐事业群技术运营部助理总经理 TencentBlueKing 讯蓝鲸智云 腾讯蓝鲸负责人 CC CP CI（持续集成）研发人员 CD（持续部署）运维人员 CO（持续运营）运营人员 CE TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 DevOps CI+CD SRE理论针对“运营质量” 在CD阶段对运行环境做全方位深度埋点及控制，可以使得后续CO过程中软硬件层的可靠性风险清晰可见 DevOps理论面向“软件效率” 通过CICD的整合，在编译加速、代码分析、微服务、容器等新技术的加持下，大幅提高游戏制作效率 TencentBlueKing腾 智云 TencentBlueKing腾讯蓝鲸智云 CD+CO 鲸 蓝讯 TencentBlueKing腾讯蓝鲸智云 智蓝鲸 讯g腾in eK lutB en nc Te 更高阶的模式，是Gartner在2023年倡导的平台工程 CI-CD-CO体系的PaaS化工程，实现原子复用及业务定制化组装，融合用户与账号管理体系，降低成本提高安全性 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 CC CP CI（持续集成）研发人员 CD（持续部署）运维人员 CO（持续运营）运营人员 CE TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 发行 •开发商交付版本包，我们拿不到源代码 •我们做CD-CO 外包 •乙方写代码，并交付源代码 TencentBlueKing腾讯蓝鲸智云 •我们扫描代码质量，做CI-CD-CO 共研 •我们和乙方各负责一部分模块代码编写 •我们扫描代码质量，做CI-CD-CO TencentBlueKing腾讯蓝鲸智云 自研•CI-CD-CO TencentBlueKing腾讯蓝鲸智云 作为运维团队，我们尝试过各种转型方案 烟囱运动 •补丁式采购或自建烟囱设施 •相互对接打通形成网状体系 DevOps •研发团队引入DevOps模式 TencentBlueKing腾讯蓝鲸智云 •运维管理资产和成本 SRE •转型服务SRE团队 TencentBlueKing腾讯蓝鲸智云 •组建平台SRE团队 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 IaaS 业务4 业务6 业务5 业务7 业务中台1 业务8 业务10 业务9 业务11 业务中台2 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 业务1 业务2 业务3 业务12 业务14 业务13 业务15 业务中台3 IaaS2 需求管理 自动化流水线 代码静态扫描 各种测试 制品库 发布变更 业务监控 故障自愈 工单 多云管理 版本管理 业务用户体验 运营门户 绩效考核 例会管理 成本管理 OA …… TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 业务门户 编译构建系统 代码检查 版本仓库 编译构建 编译加速 凭证管理 版本体验 容器编排 流程引擎 文件传输 脚本执行 版本发布系统 预发布环境更新 生产环境发布 版本管理 配置存取 容器编排 流程引擎 文件传传输 脚本执行 运维监控系统 监控视图 告警策略 指标查询 告警通道 日志监控 告警屏蔽 数据采集 实时计算 离线计算 数据存储 数据分析系统 数据视图 数据集市 BI引擎 数据查询 笔记服务 全文检索 数据采集 实时计算 离线计算 数据存储 版本管理 自助发布 版本视图 配置刷新 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 ...... 周报邮件 临时活动 TencentBlueKing腾讯蓝鲸智云 ...... 同一场景多套系统 跨系统重复模块 混合场景定制 人不够钱不够时间不够 版本发布系统 选择发布范围 备份业务程序和数据屏蔽监控告警 关闭游戏入口停游戏进程更新程序包更新数据库启动游戏进程测试验证 游戏开放 修改官网流程工单 开新区系统 获取资源新建大区实例 主机注册创建DB部署程序 初始化数据拉起业务进程部署监控 测试验证清理脏数据对外开放 官网推荐去 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 故障机替换系统 获取新主机CMDB注册信息新机器初始化新机程序部署业务配置修改大区服务重启测试验证 故障机回收部署监控通知&公告 流程工单 数百种场景的流程 … … … … 个性化场景跨多个 系统功能实现闭环 故障机替换系统 获取新主机 版本发布系统 选择发布范围 CMDB注册信息新机器初始化新机程序部署业务配置修改 大区服务重启 更新数据库 测试验证 故障机回收蓝鲸配置平台 部署监控 启动游戏进程 测试验证 游戏开放 通知&公告 修改官网 流程工单 流程工单 开新区系统 获取资源 拉起业务进程部署监控测试验证 清理脏数据对外开放 官网推荐去 备份业务程序和数据 新建大区实例 屏蔽监控告警 主机注册 关闭游戏入口 创建DB 停游戏进程 部署程序 更新程序包 初始化数据 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 数百种场景的流程 … … … … 个性化场景跨多个 系统功能实现闭环 版本发布系统 选择发布范围 备份业务程序和数据屏蔽监控告警 关闭游戏入口 停游戏进程更新程序包更新数据库启动游戏进程测试验证 游戏开放 修改官网流程工单 开新区系统 获取资源 数百种场景的流程 新建大区实例主机注册 创建DB … … … … 部署程序初始化数据拉起业务进程 部署监控 测试验证 清蓝理脏鲸数据作业平台 个性化场景跨多个 对外开放 系统功能实现闭环 官网推荐去 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 故障机替换系统 获取新主机CMDB注册信息新机器初始化新机程序部署业务配置修改大区服务重启测试验证 故障机回收部署监控通知&公告 流程工单 蓝鲸讯 g腾 原子B 原子C 原子D TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKin 智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 故障机替换 新版本发布 基础监控系统 …… 扩容管理系统 企业服务总线（ESB） 集成组件A 集成组件B 集成组件C 集成组件D Ia原aS子管A理 配置平台 作业平台 容器管理 D原B子管E理 …… TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 扩容管理系统 TencentBlueKing腾讯蓝鲸智云 故障机替换新版本发布基础监控系统…… 讯g腾in eK Gateway TencentBlu 蓝鲸智云 aPaaSiPaaS 原子B TencentBlueKing腾讯蓝鲸智云 Ia原aS子管A理配置平台作原业子平C台容原器子平D台D原B子管E理…… TencentBlueKing腾讯蓝鲸智云 基于IaaS的研发模式 基于aPaaS的开发模式 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 应用需求 应用需求 资源 环境 公共 资源 环境 公共 准备 构建 组件 准备 构建 组件 日志追溯 应用开发 日志追溯 应用开发 监控告警 代码部署 监控告警 代码部署 前端拖拽 后台FaaS TencentBlueKing腾讯蓝鲸智云 基于AI的研发模式 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 运营数据 TencentBlueKing腾讯蓝鲸智云 1.累计1100+人参与SaaS开发 2.目前活跃SaaS800+，累计上线SaaS6000+ TencentBlueKing腾讯蓝鲸智云 3.为IEG相关系统纳管350w+条权限策略，日均鉴权请求1亿+次 4.应用网关日均请求量3.6亿次 elu tB en nc Te 智云蓝鲸 讯g腾in eK lutB en nc Te 智云蓝鲸 讯讯 g腾g腾 inin eKeK Blu TencentBlueKing腾讯蓝鲸智云 TencentBlu King腾讯蓝鲸智云 Tencent 蓝鲸智云 蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 故障机替换新版本发布业务指标视图自助发布系统 秒基智级础能监控系统 腾讯 服务组件A服务组件Bg服务组件C服务组件D ineK Gateway TencentBlu aPaaSiPaaS 扩容管理系统 数据驱动扩容 智能预测扩容 日志分析系统 用户分体析验系分统析……游戏DevOps工具链…… TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 IaaS管理 配置平台 作业平台 容器平台 监控平台 DB管理 AIOps平台 … 需求管理 代码仓库 编译构建 代码扫描 测试工具 编译加速 制品仓库 … TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 编译 智云蓝鲸 讯g腾in eK lutB en nc Te 收尾 集成测试 代码检查 验收环境 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 TencentBlueKing腾讯蓝鲸智云 单元测试 智云蓝鲸 腾讯 TencentBlueKing腾讯蓝鲸智云 流水线代码分析 编译构建 制品库 智蓝鲸 讯g腾in tennc Te gin eK lutB TencentBlueKing腾讯蓝鲸智云 TencentBlueK 云 BlueKing Tencen 腾讯蓝鲸智云 协同人员 1600+ 每年修复代码缺陷 186w+ 日构建量 百万级 存储总量 32PB+ 使用人数 6.7万+ 每年修复安全漏洞 312w+ 节省编译时间 70w+小时