轻舟中间件产品介绍手册

轻舟中间件 产品介绍手册 2022 CONTENT 目录 前言 产品简介 产品全景 核心优势产品种类 轻舟分布式缓存中间件Redis04 轻舟分布式协调中间件ZooKeeper05 轻舟分布式搜索中间件Elasticsearch06 轻舟分布式消息中间件Kafka07 轻舟分布式消息中间件RocketMQ08 轻舟分布式路由中间件Nginx09 轻舟中间件运维稳定性管控服务10 客户案例 PREFACE 前言 网易数帆是网易集团旗下TOB企业服务品牌，定位于领先的数字化转型技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一代信息技术下实现数字化转型的需求。 网易数帆旗下轻舟一站式云原生软件生产力平台，覆盖开发、构建、发布、上线运行、治理和运维等环节，源自网易内部的大规模互联网业务实践，经过金融、制造、物流等行业客户的生产环境验证。 01 02 产品简介 轻舟中间件是基于云原生强大的编排能力和Kubernetes通用接口，通过自定义Operator实现状态从而构建的云原生PaaS平 台，提供基于容器的数据库、缓存、消息、搜索、协调等分布式中间件服务。相比于云主机虚拟化而言，轻舟中间件具有更加强大的性能、更加经济的IT成本、更加轻量的资源管理、更加灵活的调度策略、更加可靠的服务保障、更加迅速的故障自愈能力。 轻舟中间件不仅支持多云集中部署与管理、自动化运维、弹性扩缩容、故障自愈等云原生特性，还提供了完善的租户隔离、用户权限管理、操作审计、日志采集、监控告警等企业级增强能力。能够帮助企业构建运维简单、性能卓越、成本节约、安全可靠的云原生中间件PaaS平台，从而帮助企业彻底解决传统IT环境下部署和运维中间件所存在的SLA保障难、运维难、成本高、资源利用率低等一系列问题，进而帮助企业以更经济的IT成本实现业务的敏捷、高效支撑。适用于企业数字化转型、业务中台、工业互联网、集团云、行业云等多种场景。 产品全景 物理机/裸金属服务器 虚拟机 容器 公有云 私有云 基础设施层 Operator应用市场 Operator管理 仓库管理 云原生中间件服务 更多云原生中间件 Pulsar ActiveMQ RocketMQ ZooKeeper Elasticsearch Kafka Redis 中间件统一管理 细粒度操作审计 多角色用户权限管理 指标/事件告警 多维度监控 日志查询 数据备份容灾 高可用故障自愈 资源配置变更 在线扩缩容 可视化生命周期管理 运维稳定性管控 集群异常故障自愈 异常事件因辅助定位 运维稳定性经验引擎 稳定性巡检与预警 中间件服务层 控制面访问方式 Kubectl API 控制台 数据面访问服务 NodePortService LoadBalancerService 接入层 03 核心优势 轻舟中间件基于云原生时代的事实标准Kubernetes的通用接口打造，帮助中间件平滑、稳定地运行在多种基础设施之上，同时基于KubernetesOperator的高可用调度能力，保障中间件集群具备高可用、故障容忍、弹性扩展等能力。另一方面，轻舟中间件基于开源生态构建，同时融入网易核心技术，并且经过网易内部十余年大规模集群运维场景考验和打磨，为生产环境业务提供了稳定性可靠的中间件服务。 稳定可靠 轻舟中间件沉淀了网易集团内部十余年大规模中间件集群运维和管理经验，并且经过了诸多内外部真实生产环境大规模、高并发场景下稳定运行的考验，不仅支撑了网易严选、网易云音乐、网易传媒等互联网业务，也在大量金融级客户中验证了产品的成熟度。 成熟验证 轻舟中间件为企业客户提供了一站式中间件集群管理平台，提供主流消息、缓存等中间件服务，支持以统一可视化方式管理集群生命周期，提供了自动化运维能力以及弹性扩缩容能力。一方面，大大降低了技术栈选型开发以及运维等人力成本；另一方面，基于云原生特性实现的弹性扩缩容以及资源混部，大大提升了集群的资源利用率。 降本增效 轻舟中间件提供了强大的运维稳定性管控能力，将网易内部十余年的运维经验体系化输出，赋能客户以低成本快速掌握中间件稳定性运维最佳实践。稳定性巡检能力帮助运维人员“防患于未然”，在故障发生之前感知潜在风险并提前介入处理；异常事件辅助根因能力帮助运维人员在异常事件告警发生的时候，通过运维经验沉淀的根因分析引擎辅助快速定位造成异常告警事件的原因，降低故障带来的损失。 稳定性管控 Redis轻舟分布式缓存中间件 轻舟中间件Redis兼容开源标准Redis协议，支持多可用区高可用、自动化运维、故障自愈、平滑扩展等云原生特性。基于高可靠 双机主从热备和可平滑扩展的集群架构，满足高性能场景以及弹性变配的业务需求。 产品架构图 KubernetesCluster Pod Pod Pod Pod Pod Pod Explorer AlertsManager Prometheus RedisNode2’ RedisNode1’ RedisNode0’ KafkaOperator API Server RedisNodeN RedisNode1 RedisNode0 核心功能 数据库缓存 满足低时延、高并发访问要求，减轻数据库负载，适用于直播、大促、秒杀等场景 排行榜 提供有序集合数据结构，实现如游戏积分实时排行榜、电商月度销量排行榜等复杂排行榜应用 浏览器实时计数 为浏览量、播放量、广告点击量、库存计数提供高性能的实时计数功能 核心优势 双主机从热备集群故障自愈高可用容灾调度自动化运维 04 ZooKeeper轻舟分布式协调中间件 轻舟中间件ZooKeeper是基于开源分布式协调组件ZooKeeper研发的高可用的云原生中间件产品，提供了强大的分布式协调能 力以及数据一致性解决方案。 产品架构图 ZookeeperCluster Pod Pod ZooKeeperZooKeeper LeaderFollower2 KubernetesCluster API Server ZooKeeperOperator Explorer Prometheus AlertsManager Pod ZooKeeperFollower1 核心功能 服务注册与发现 提供稳定可靠的ZooKeeper集群实现服务注册与发现 分布式协调 典型的分布式数据一致性解决方案，实现分布式配置管理、系统协调等，例如：HBase、Kafka等 核心优势 高可用容灾调度弹性扩缩容数据节点管理可视化数据备份与恢复 05 Elasticsearch轻舟分布式搜索中间件 轻舟中间件Elasticsearch是基于开源分布式搜索引擎Elasticsearch研发的一种高性能、高可用的云原生中间件产品，提供了 强大的全文检索及数据分析能力。 产品架构图 KubernetesCluster DataNodes Pod MasterNodes Pod Master AlertsManager Prometheus Pod MasterFollower2 MasterLeader Pod MasterFollower1 Pod DataNode2 DataNode1 Pod DataNode0 ClientNodes Pod ClientNode2 Pod ClientNode1 Pod ClientNode0 Elastic-searchOprator API Server Kibana 核心功能 日志分析 最易实施和扩展日志记录的解决方案之一，快速对接各种数据源，借助Kibana的丰富图表高效可视化分析日志 全文搜索 仅需几毫秒，即可从PB级数据中找到匹配信息，并支持排序、分组、聚合，满足各种搜索场景需求 数据分析及可视化 Elasticsearch配合Kibana提供开箱即用的可视化组件和图表模板，简化了数据分析及可视化的难度 核心优势 高可用容灾调度弹性扩容索引生命周期管理可视化数据备份与恢复 06 Kafka轻舟分布式消息中间件 轻舟中间件Kafka具有容器化、高吞吐量、高扩展性、可容错等特性，能够提供提供安全访问、多可用区部署、机架感知、服务 自愈、快速扩缩容、Topic管理、集群数据同步、全方位的状态和性能数据监控等功能。 产品架构图 KubernetesCluster ZooKeeperOperator KafkaCluster Explorer AlertsManager Prometheus KafkaOperator Pod KafkaBroker2 Pod KafkaBroker1 Pod KafkaBroker0 API Server ZookeeperCluster Pod ZooKeeperNode1 Pod ZooKeeperNode2 Pod ZooKeeperNode0 核心功能 异步消息通信 相比传统消息代理系统，Kafka具有更高的吞吐量、内置分区、冗余、固有容错等能力。 网站活动追踪 Web或APP活动跟踪的最佳工具，实现网页浏览、操作等信息的实时处理、监控或离线统计分析等。 构建日志分析平台 日志聚合的最佳解决方案，数据采集业务无感知，对接Hadoop等离线仓库存储、Spark等实时在线分析平台。 核心优势 高可用容灾调度弹性扩缩容多种认证机制支持集群间数据同步 07 RocketMQ轻舟分布式消息中间件 轻舟中间件RocketMQ是容器化、高吞吐量、高扩展性、可容错的分布式云原生消息中间件，提供安全访问、多可用区、服务 自愈、快速扩缩容、全方位的状态和性能数据监控等功能。 产品架构图 KubernetesCluster BrokerCluster Pod Explorer AlertsManager Prometheus Pod RocketMQBroker0Follower Pod RocketMQBroker0Leader RocketMQBroker0Follower NameServerCluster Pod Pod RocketMQNameServer2 Pod RocketMQNameServer1 RocketMQNameServer0 RocketMQOperator API Server RocketMQConsole 核心功能 异步解耦 实现上下游系统松耦合设计，下游系统出现异常或宕机不会影响更多系统 削峰填谷 上游系统出现访问流量高峰时，将业务罗逻辑异步化，避免流量冲击下游业务，适用于电商秒杀，抢红包等场景 分布式事务消息 即实现上下游解耦，又引入分布式事务，确保数据最终一致性。适用于交易、支付等场景 核心优势 统一的消息管理丰富的消息类型数据安全高可用调度能力 08 Nginx轻舟分布式路由中间件 轻舟中间件Nginx是基于开源Nginx代理服务方案研发的分布式路由中间件，提供更加成熟、灵活、易用的分布式高可用云原 生路由网关服务，具备容器化、高扩展性、可容错、配置变更实时更新等特性。 产品架构图 KubernetesCluster Pod AlertsManager Prometheus Pod NginxNod2 Pod NginxNod1 Pod NginxNod0 KafkaOperator API Server CustomResource Config 核心功能 反向代理 提供非阻塞、高并发支持的反向代理能力，具有配置方式灵活且可以热生效、内存消耗小、网络带宽节省且稳定性高的特点。 负载均衡 提供多种负载均衡算法，可将大量请求进行分布式处理，从而最大程度地提高响应速率和容量利用率。 访问控制 提供多种访问控制方式，可以通过