黄朝伟-海量存储平台容量管理

腾讯对象存储容量管理

01 腾讯对象存储介绍

• 存储类型与特点：
  • 文件存储：以文件为单位，协议标准，适合多用户访问。
  • 对象存储：唯一标识符索引，可扩展性强，适合海量存储。
  • 块存储：低延迟，适合系统盘和数据库。
• 腾讯对象存储：腾讯内部最大存储平台，承载80%在线存储需求，服务社交、视频、云盘等业务。
• 架构：
  • 接入服务：用户管理、数据转发、配置管理，特点为平行拓展、功能时效性差异。
  • 数据底座：数据存储与索引，特点为节点状态、纠删码算法、灵活编码、共享存储池。

02 存储系统容量管理主要机制

• 相关维度：QPS（信令/计算）、带宽（接入/转发）、存储容量（索引/数据）。
• 机制一：优先级避让与饱和度：
  • 特点：穿插放大，通过饱和度控制。
  • 方案：计算文件QPS（带宽+平均文件大小）、IOPS饱和度、带宽饱和度。
• 机制二：可用天数计算模型：
  • 空间净消耗速率：拉取历史数据拟合斜率。
  • 可用天数：正消耗速率才占用物理空间，按规格分配空间。
• 机制三：按规格自动化分配。
• 机制四：占用率与使用率：
  • 占用率：预先分配，保障新增请求。
  • 使用率：实际已用空间。
  • 占用率 ≠ 物理总容量：规格独立、需求不可预测、极端突发缓冲。

03 突发场景下容量保障

• 场景归类：
  • 可预知突发：节日（元旦、春节）、护航促销（618、双十一）。
  • 不可预知突发：社会热点、极端故障、客户放量。
• 典型突发—2022年世界杯：
  • 常规扩容不足，需内部挖潜：
    • 高优保障核心请求、避让异步请求（沉降调度、生命周期、跨区调度）。
    • 停止离线请求（搬迁腾挪、业务备份、空间整理）。
• 跨年突发：
  • 需保障集群整体带宽和容量。
• 容量管理总结：
  • 快速补给：秒级扩容或降负载，部分场景可预知，大部分不可预知。
  • 高效运维：可持续增长，风险零容忍，逻辑空间自动扩容，物理资源10分钟内完成扩容。