0-4 李庆丰-微博亿级用户高可用架构体系建设

Gdevops 全球敏GlobalDe捷vOpsSummit运维峰会 微博亿级用户高可用架构体系建设 演讲人：李庆丰 内容大纲 dbaplus 》微博的业务场景和挑战AiOps 严禁商业用途 dat 产如何构建高可用架构体系ta √容量问题 √性能问题 √依赖问题 √容灾问题 →新的探索与展望 Gdevops全球敏捷运维峰会北京站 仅供学习不得转载， 微博的业务场景和挑战 O 新浪微博15急管理修企险化学品量大6总零全业售导领查 weibo.com 仅供学习不得转 微博，随时随地发现新鲜事 Gdevops全球敏捷运维峰会北京站 微博的业务场景和挑战 170622:38 18:55 2)关注·推荐 18/8 CBABRBE 乐的主安者目有只会格 更多用屋 D =净冶 @5/126 业务功能越来越多，突发热点流量大，服务治理能力要求高Gdevops全球敏捷运维峰会北京站 微博的业务场景和挑战 月活跃用户增长趋势（单位：亿） 5.93 月活跃用户 业用日途活跃用户 5.30 5.82 ta 5.93亿2.55亿 2021年Q12022年Q1数据米源：2023年第一季度财报 生产微博，评论，赞内容亿级/天，新增关注订阅关系千万级/天用户规模大，需要具备海量数据存储能力 用户日常的高频应用，需要具备容灾能力 Gdevops全球敏捷运维峰会北京站 微博的业务场景和挑战 12/1420:002/15.00:0 日常业务场景元旦春节场景 运营活动场景突发热点场景 用户请求量大性能要求高，热点峰值流量不可预测高可用挑战大 Gdevops全球敏捷运维峰会北京站 微博的业务场景和挑战 olUs 微博场景下，高可用架构体系面临的挑战： →数据存储不下了？请求扛不住了？ 容量问题 →服务相应太慢了？资源成本太高了？性能问题 +个别非核心资源拖死整个服务？ →机房，专线故障导致服务不可用？ tab 依赖问题容灾问题 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 √容量问题 ·存储容量一一监控，海量数据存储架构Ops 商业用途 ·请求容量--监控、高并发架构、快速扩缩容能力 √性能问题 ·监控、分布式缓存架构se 依赖问题得车 ·监控、微服务架构、容器化、SLA体系、服务治理 √容灾问题 ，监控、多机房部署架构 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题 分布式缓存架构 依赖问题微服务容器化 容灾问题 监控体系 多机房部署架构 服务治理 SLA体系 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题 分布式缓存架构服 依赖问题微服务容器化 监控体系 容灾问题多机房部署架构 数据存储是系统服务的基础 Gdevops全球敏捷运维峰会北京站 务治理 A体系 构建高可用架构体系 海量数据存储架构 ·容量预估一-评估业务场景，数据规模和读写比例 ·存储选型--关系型数据库vsNosgI数据库（成本&效率） ·性能基准-建立读写安全指标，监控及报警阈值 ·扩展预案存储容量扩容预案，请求容量扩容预案 单机性萨SASS5D 写入性能 600ps 2kps 2wps 读取性能成本 3kps 2wpi MysqlvsRedisvsHbase Mysql不同存储介质的读写性能对比 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题应对方案： 1，读写分离2，水平拆分 ta 3，垂直拆分 web veb reoc 检时间维度访间 rtpliceriosp sos_201801 tous_201802tehs_20180370810z~0% iaw stous_201805tos_201806 741/41,/4 itos_db 按月分表整据存储设计 应对读写比例失衡问题应对单机容量瓶颈问题应对数据累积引起的容量问题 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题 分布式缓存架构服 依赖问题微服务容器化 监控体系 容灾问题多机房部署架构 分布式缓存打造高性能系统服务 Gdevops全球敏捷运维峰会北京站 务治理 构建高可用架构体系 分布式缓存架构 ·容量预估--评估业务场景，缓存时长及缓存数据规模 ·缓存选型--本地缓存vs分布式缓存 ·性能基准-建立读写安全指标、监控及报警阈值 ·扩展预案缓存容量扩容预案，请求容量扩容预案 对比RedeMemachnd 读写性能10w/s10/s 钱程安全单线程多线程 LocalCachevsDistributedCache 数据结构UistSetHeshK-V 持久化sncpthot/aof无 过期机制可配置LRU 不同缓存功能特点对比 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 性能问题应对方案： 1，LocalCache优先 web 业用3，主备模式 O 应用服务器 readwrite LotalCache read 应国服务站 得Cache_moCachs_ml Cethe_a0Cushe_a1Ceche_2Ceche_13 Cothe?CochelCache2Ccche3 DataBase Catcease 简单、高效，性能更好应对缓存容量瓶颈问题应对HA问题 思考：sharding越多越好吗？ Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题分布式缓存架构 依赖问题微服务容器化 监控体系 容灾问题多机房部署架构 微服务和容器化技术实现服务的松耦合高内聚 Gdevops全球敏捷运维峰会北京站 服 务治理 A体系 构建高可用架构体系 微服务架构的优势： ·促进服务的松耦合，高内聚 *RPC的调用方式提升调用效率 Http feonB ervika 客 心特心 思考：微服务拆分是越小越好吗？ Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 从Motan到ServiceMesh mmotan 微博开源的跨语言服务化框架Motan： https://github.com/weibocom/motan Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 WeiboMesh决策系统 数据采集管理中心监控报警业用途 ServiceAServiceMesh DataMesh 缓存资源 ServiceB数据库 Gdevops全球敏捷运维峰会北京站 WeiboMesh服务网格 构建高可用架构体系 微服务架构带来的问题： 业用途 ModuleNum 2 MaintenanceComplexity-f(MachineiNum,ModuleNum) 运维复杂度模型 MachineNum 微服务解决了服务依赖耦合的问题，但也让运维复杂度急剧增加。 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 Docker容器化的优势： ·隔离环境差异 ·统一部署方式Feed服务Feed理务Fordu务Ctherl服务 ·：没有额外消耗 Jpool服务部务系统拉镜像、启动Dacker 3分钟搞定 Other服务 DockerRegistry docker Feed服务Feec银务Feed服务Feed服务Other服务 Docker容器化技术很好的解决了运维效率问题 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 微博混合云架构： 异常峰值应对 混合云日常 收益 峰值 成本 Privat公有云A运维动态 效率流量 提升调整 容器化+混合云技术助力微博实现实时可伸缩的弹性系统，低成本应对突发热点峰值， Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题分布式缓存架构 依赖问题微服务容器化 监控体系 容灾问题多机房部署架构 多机房部署是大型服务必须考虑的事 Gdevops全球敏捷运维峰会北京站 服 务治理 A体系 构建高可用架构体系 分布式系统的CAP理论： olus sdo! Partition Consistency（—致性）： 更新操作一旦成功，所有节点数据在同一时间保持一致：web_Aweb_A 田田 Availability（可用性）： 读和写操作一直可以成功； Partitiontolerance（分区容忍性）： 得转DB_AO 数据同步 DB_A1 比如网络故障导致分布式节点不能通信，系统是佛可用；机房0机房1 一般社交服务场景，舍弃C，把一致性变成最终一致性： 一般电商金融场景，舍弃P，CeII化有强一致诉求的数据服务； Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 新浪微博多机房技术架构： 1、把C从强一致性降低到最终一致性 2、用MC和WMB解决同步数据效率问题 3，用Mysql主从同步保障数据最终一致性 读取写人读取 WebWeb MCOMEMCO MySolMySq A机房B机房 以双机房架构为例，说明数据流转处理过程 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 新浪微博多可用区部署架构： 可用区A 专线专线 可用区B专线可用区C iops 可用区内形成资源和服务依赖闭环：核心服务采取多可用区部署； 依托混合云架构，每个可用区可独立扩容； 建立流量调度机制及容灾切换预案，定期演练； 公有云DNSvsHttpDNS Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题 分布式缓存架构 依赖问题微服务容器化 监控体系 容灾问题多机房部署架构 Gdevops全球敏捷运维峰会北京站 服务治理 SLA体系 构建高可用架构体系 Service-Level-Agreement: 量化指标，明确职责 666 AiOps S 具体工具 1.性能指标（如：99.9%<100ms）O量化容量指标（如：单机QPS，集群容量） +体系 确保上下游团队建立良好的默契 明确演练 SLA是高可用技术体系的关键 Gdevops全球敏捷运维峰会北京站 构建高可用架构体系 容量问题海量数据存储架构 性能问题 分布式缓存架构 依赖问题微服务容器化 容灾问题 监控体系 多机房部署架构 服务治理 SLA体系 Gdevops全球敏捷运维峰会北京站 新的探索与展望 微博Paas平台 K8SFacade:SingleClusterView 多集群管理标准化 TrafficControlGatewayFailfast ArgoCD CapacityPlanningSovcManigeServiceDependancy He:sae /PA:Scaloup Runtime 弹性扩缩容标准化 CI/CD HarbarReg'stry ServiceMesh JavaGoPustC/C++Php OPS Tomas-Cl LogMetrics DataMeshRuntime标准化 ETCD&Vintage gitlab.intr PaaSlet ParfCgroupCpuScheduler Node标准化 DCP:VMProviderVM标准化 IDCAlyunHuaweiYun gitpush Gdevops全球敏捷运维峰会北京站 Gdevops 全球敏GlobalDe捷vOpsSummit运维峰会 THANKYOU!