1-4 BookKeeper：Apache Pulsar的存储实现

Apache BookKeeper概述

• 特性：

  • Entry, Ledger & Log：每个记录称为一个Entry，多个Entry组成一个Ledger，多个Ledger构成Log。
  • 灵活的一致性和性能配置：
    • Ensemble: 控制一个Ledger的读写带宽。
    • Write Quorum: 控制一条记录的复本数量。
    • Ack Quorum: 写每条记录需要等待的Ack数量。
  • 读写高可用性：
    • 写高可用 - Ensemble Change: 最大化数据放置可能性。
    • 读高可用 - Speculative Reads: 对等副本都可以提供读，通过Speculative减少长尾时延。
  • 一致性：
    • LastAddPushed: 最后一个写入的Entry被推送到所有副本。
    • LastAddConfirmed: 最后一个确认的Entry。
    • Fencing: 避免脑裂。
  • IO读写隔离。

• 存储介质的演进：

  • Pulsar与BookKeeper结合：通过使用Persistent Memory (PMEM) 作为Journal Disk，提高了Pulsar的吞吐量和降低发布延迟。
  • 案例：Verizon Media将Kafka用例迁移到Pulsar，通过使用PMEM，整体成本降低了50%，吞吐量提升了5倍，并实现了<5ms的写延迟。

社区资源