云原生时代中间件的演进之路

云原生时代中间件的演进之路 主讲人：裴明明网易数帆资深云原生架构师 CONTENT 1 从传统基础设施到云原生架构 2 云原生中间件最佳实践 3 云原生技术体系下的中间件发展 数字化基础软件自主创新分享周 1 从传统基础设施到云原生架构 数字化基础软件自主创新分享周 NETEASEDIGITALSAIL 从传统基础设施到云原生架构 什么是云原生 无服务 Kubernetes 服务网格 Operator 云原生 集群联邦 DevOps 边缘计算 数字化基础软件自主创新分享周 传统基础设施到云原生平台 数字化基础软件自主创新分享周 云原生平台和生态 基础设施层 PaaS层 应用层 基础设施层 应用层 数字化基础软件自主创新分享周 云原生生态下的中间件 弹性 •中间件有状态集群自动扩容 •中间件有状态集群垂直升级 自愈 •中间件集群状态自检 •中间件集群故障自愈 标准化 •基于CRD的集群定义 •监控日志网关等生态标准化 •基于代码的资源编排能力 利用率 •资源池共享和租户级别隔离 •计算资源动态管理 •资源超售提升整体利用率 数字化基础软件自主创新分享周 NETEASEDIGITALSAIL 云原生中间件最佳实践 2 云原生中间件最佳实践 数字化基础软件自主创新分享周 传统中间件业务痛点 •面对高速增长的业务，原有的中间件在规模扩展、高并发场景下问题频发，阻碍业务增长，无法满足业务发展和快速创新需求。 无法支撑业务高速发展需求 •中间件作为系统核心组件，直接影响整个业务系统的稳定性，同时中间件类型繁多，技术栈复杂，稳定性保障需要大量的研究和长时间积累。 业务规模不断扩大，中间件稳定性有较大风险 •采用闭源方案，厂商锁定；采用开源方案，中间件技术栈复杂，导致选型、集成整合、维护升级存在诸多困难，中间件运维没有标准，难以落地到生产环境。 迫切需要自主可控，构建生态、人才 •规模不断增长的集群， IT人员手工满足高可用、升级切换、扩缩容等需求，必然导致集群愈加复杂，资源利用率不断走低，IT成本失控。 数倍规模增长带来的IT 成本增加 数字化基础软件自主创新分享周 轻舟云原生中间件架构 中间件集群支持多种数据访问方式，以及平台能力对接 统一接入层 LoadBalancer Nodeport OpenAPI 中间件服务层 支持多品类中间件 企业级能力和通用 认证鉴权 平台能力建设 数字化基础软件自主创新分享周 云原生基础平台 多平台兼容、容器管控等 Kubernetes 基于多种容器云平台构 建中间件能力 中间件管控服务完善的中间件运维能力 统一管控 健康报告 定期巡检 根因分析 水平扩容 故障自愈 在线升级 一键部署 操作审计 日志采集 概览 统计 监控告警 基础设施层 轻舟云原生中间件技术实现 基于Kubernetes的OperatorCRD技术实现中间件集群自动运维管理 构建于标准Kubernetes之上，具备灵活调度、故障恢复、弹性伸缩等特性 声明式定义，基础设施即代码，标准统一，易于编排 两地四中心，可观测，可运维，企业级特性完备 数字化基础软件自主创新分享周 轻舟云原生中间件特性-高性能 LoadBalancer和NodePort模式实现云上服务外部访问的性能提升 本地磁盘管理系统实现本地磁盘生命周期动态管理，显著提升磁盘型中间件性能 中间件相关系统内核调优 提供配置参数模板能力，内置中间件参数的高性能模板，网易经验的输出 数字化基础软件自主创新分享周 轻舟云原生中间件特性-高可用 单集群Pod通过节点反亲和或者拓扑分区调度实现节点的互斥 提供中间件实时备份和一键恢复能力 基于Kubernetes集群联邦的中间件两地四中心模式 多类型中间件双活架构和单元化 数字化基础软件自主创新分享周 轻舟云原生中间件特性-可观测可运维 基于部署架构和业务特征的运维采集系统 轻舟日志自动化采集系统，对中间件集群进行无侵入日志采集和管理 基于云原生事件，建立中间件事件管理能力，实现事件监控告警 中间件稳定性巡检系统，提供稳定性巡检和根因分析能力，增强运维能力，降低运维门槛 数字化基础软件自主创新分享周 运维经验 •监控告警 •自动化 轻舟云原生中间件特性-海量经验沉淀 中间件配置模板云原生控制器 定制化监控项 云原生智能日志采集中间件巡检平台 轻舟云原生中间件平台 使用经验 •高性能 •高安全 运维人员 数字化基础软件自主创新分享周 业务赋能-数字化转型 统一平台 高效运维 数字化 快速接入 稳定保障 数字化基础软件自主创新分享周 业务赋能-能效提升 自动化 人效提升 弹性调度 资源利用率提升 混合部署，资源超售 数字化基础软件自主创新分享周 4 云原生技术体系下的中间件发展 数字化基础软件自主创新分享周 NETEASEDIGITALSAIL 云原生技术体系下的中间件发展 云原生中间件-网格化 Sidecar App3 Sidecar App2 Sidecar App1 RocketMQ集群 ES集群 Kafka集群 Redis集群 应用通过sidecar对接中间件集群 应用和中间件集群解耦，接口统一，接入统一管理，变更无侵入 代理层，流量控制，安全控制 等控制增强 数字化基础软件自主创新分享周 云原生中间件-无服务化 基于实时负载伸缩 基于交易量伸缩 基于请求伸缩 秒级扩容/缩容 自动伸缩 低成本运行 针对无状态服务（云原生中间件趋势） 自动扩缩容 提升资源有效利用率，降低成本 数字化基础软件自主创新分享周 云原生中间件-AIOps 故障发现 根因分析 故障自愈 基于监控告警，发现故障收集告警项相关的状态信息， 进行关联分析，找到根因 根据根因分析结果找到对应自愈组件进行故障自愈 训练模型 交叉验证网格搜索验证曲线等 训练算法 回归分类聚类等 机器学习 深度学习智能分析场景沉淀 数字化基础软件自主创新分享周 THANKS 感谢观看