全球组网和高可用设计最佳实践

小红书全球组网和高可用设计最佳实践 程俊峰 小红书基础网络负责人 2024/09/19 小红书的业务版图和发展历程 2015 海外购物社区 2021 另类、不一样、有用 3亿+ 2013 出境游购物攻略 2019 时尚生活方式分享平台 2023 海外华人圈爆火 月活用户 小红书是一个年轻人展现生活方式的平台，用户可以通过短视频、图文等形式记录生活点滴，分享生活方式，并基于兴趣产生互动，其中大部分用户为90后。小红书业务包括推荐、社区、搜索、广告等核心板块。 高速业务发展对基础网络架构产生巨大挑战 精细化-网络的成本管理和容量规划 可观测、自服务-网络需要具备可观测、可预期 全球化-支持业务的快速出海 性能-全球化的网络资源、低延迟、低抖动的公网能力 规模化-应用支撑亿级用户的访问 稳定、性能、安全-网络需要高弹性、安全、高可靠多活设计 上云-多链路保障业务平滑上云 稳定-网络链路需要快速切换，保障高优先级业务 上云-多链路QoS容灾设计，保障业务平滑上云 混合云链路支持快速切换，专线QoS保障在线业务优先 华东1-VPC 华东2-VPC VBR*N VBR*N 高速通道*N 高速通道*N 专线 BGP+BFD 高优队列 在线业务 普优队列 离线业务 普优队列 离线业务 专线 BGP+BFD 高优队列 在线业务 普优队列 离线业务 普优队列 离线业务 专线 BGP+BFD 自建互联节点 IDC节点1 IDC节点2 对混合云网络的需求 •支持快速的网络资源扩容，应对快速业务发展 •端到端分层的高可用设计保障上云业务的稳定性 •支持QoS特性，实现不同业务的优先级区分 高可靠的混合云互联 •高可用设计：通过多专线接入节点、多设备、多线路等多维度深度的高可用设计保障上云，使用BGP+BFD+快速倒换组实现毫秒级别的快速切换 •关键业务优先：对比传统自建，通过业界领先的专线QoS方案可以做到更高的带宽利用率，在不影响到高优先级业务的情况下，让资源利用率更加极致 规模化-弹性可靠的企业级网络，支撑亿级用户访问 多地域单元化部署提供全链路高可用，流量网关提供极致的弹性扩容能力 客户端 应用型负载均衡ALB 应用型负载均衡ALB 原生DDoS 原生DDoS 华东1 华东2 业务流量100wQPS 服务化WAF 业务流量100wQPS 服务化WAF 可用区A 可用区B rgw用户网关 可用区A 可用区B rgw用户网关 社区、推荐、搜索 注册信息保存 社区、推荐、搜索 注册信息保存 对客户端访问入口的需求 •公网应用入口提供极致的弹性能力 •支持安全产品的完美的适配提供安全访问 •提供多地域、多可用区部署的高可用性能力 弹性可靠的企业级网络 ECS(mysql) ACK ECS(redkv) ECS(mysql) ACK •弹性：应用型负载均衡ALB、网络型负载均衡NLB可支持单实例百万级别的QPS，上亿的并发连接能力，极致的弹性能力支撑小红书从容迎接流量洪峰 •可靠：多可用区、多地域的单元化部署，提供多层级的高可用设计和容灾逃逸能力 •安全：访问入口可以和DDoS、WAF等安全产品进行适配 全球化-高效构建全球一张网，让海外业务上线更加敏捷 自动化构建全球组网，高质量EIP链路保证海外业务用户体验 英国 德国 韩国 美东 日本 美西 上海 迪拜 印度 中国香港 泰国 马来西亚 新加坡 印尼 澳大利亚 审图号：GS（2016）1611 30% 部分地区公网延迟优化 77% 内网链路收敛时间优化 99.99% 内网SLA保障 2s 内网链路故障收敛缩短 对出海网络的需求 •客户端海外高质量的公网接入 •基础网络要快速匹配业务布局 •在不同地域之间、云和IDC间自动化组网构建混合云 高质量的出海网络 •公网访问：借助阿里云丰富的海外节点资源和公网调度能 力实现用户的就近接入，提升用户的访问体验 •高吞吐专线：借助阿里云Tbps级别的跨地域带宽，实现全 球资源快速的跨地域互联 •低延迟专线：依托ZooRoute重路由技术，实现跨地域链路抖动的有效减少，提高跨地域业务访问的稳定性和确定性 精细化-构建可观测网络，让成本管理和容量规划有据可依 使用VPC流日志和网络智能服务NIS工具，通过结合时序性预测算法，辅助动态扩缩容决策 对可观测可预期的需求 业务目标 应用场景 底层能力 成本管理 时序性流量预测 VPC流日志 容量规划 流量路径透视 PingMesh探测 •网络情况可观测可视化，实时感知异动 •通过日志手段为内部的成本分摊提供依据 •场景：成本分摊、流量调度、削峰填谷、流量规划预测 可观测可预期的智能网络 •成本管理：通过VPC流日志等工具，让网络的消费更加可观测、可预期，基础网络团队可以对云产品的资源消耗进行跨业务团队的成本分摊，更好做成本预测和成本管理 •容量规划：VPC流日志、网络智能服务NIS帮助业务实现分账、成本预测、容量的管理，帮助参与到网络规划和弹性扩缩容的决策 笔记发布量 150+万条 直播间互动 1.7+亿次 高可用的弹性网络从容应对春晚流量洪峰 观看人数 2700+万人 社区 直播间 电商 云网络架构建设助力小红书支撑业务发展 谢谢 ThankYou