1-1 张云龙-爱奇艺账号数据存储体系建设实践

爱奇艺账号数据存储体系建设实践

业务背景：

• 截至3月31日，爱奇艺订阅会员数为1.2亿。
• 一季度日均订阅会员数达1.29亿，较上季度净增超1700万。

系统需求：

1. 用户规模与活跃度： 亿级用户体量，活跃度高。
2. 系统流量与访问量： 百万级/秒的系统流量和访问量。

演进之路：

1. 存储架构演进：
   • 从单库单表发展到分库散表。
   • 拆分后业务操作相应变化，但面临一致性问题。
2. 一致性保障：
   • 单一宽表时：数据库写入失败则操作整体失败，无脏数据问题。
   • 分库散表后：需解决脏数据问题，保障一致性。
   • 解决方案：
     • 模式一：核心操作提炼（未详细展开）。
     • 模式二：循环重试保障（未详细展开）。
     • 异步同步：DBIO保障最终成功。
       • 基于阿里开源的Canal和Otter实现，实时解析数据变更并同步。

系统设计标准：

• 存储部署： 两地三中心部署。
• 设计要求：
  • 全流程不依赖DB单点。
  • 读流程：IDC内自活。
  • 写流程：主库分片故障时，影响时间<2min，影响流量<5%。
• 缓存优化：
  • 增加Cache提升性能。
  • 缓存循环重试保障最终一致。

总结：

• 爱奇艺账号数据存储体系通过分库散表演进，解决了高并发、大数据量下的性能与一致性挑战。
• 关键技术包括DBIO（基于Canal和Otter）的异步同步，以及两地三中心的高可用部署。
• 通过核心操作提炼、循环重试和缓存优化，实现了系统的高性能与最终一致性保障。