下一代万亿级实时搜索引擎的设计与思考

Medcl@INFINILabs 研报总结

公司概况

• 成立于2021年12月3日，团队成员具备深厚的搜索行业背景。
• 致力于解决客户实际搜索需求，打造易用的数据探索与分析体验。
• 公司网址：https://infinilabs.cn/

产品与解决方案

• 解决方案：
  • Elasticsearch企业级平替综合解决方案
  • 一站式企业搜索基础设施平台建设方案
  • 核心业务场景的海量数据实时搜索方案
• 产品：
  • INFINIEasysearch：分布式近实时搜索与分析引擎，基于开源ApacheLucene，提供自主可控的轻量级Elasticsearch替代版本，支持国产化替代迁移、技术兜底和长期售后支持。
  • 位列墨天轮搜索型数据库排行榜第1名。
• 成功案例：日均写入量15TB。

技术架构与设计

• 起源：为应对挑战，开发分布式纯实时搜索与分析引擎。
• Pizza的技术选型与架构思考：
  • 接口、语言、框架：未详细说明。
  • 总体程序架构：未详细说明。
  • 数据的组织：
    • Pizza数据逻辑组织：采用Rolling和PackagedPizza两种方式。
    • Rolling：单个最大容量42.9亿条记录，自动切换，无限增长。
    • PackagedPizza：固定大小，便于分发和资源承载，可无限水平扩容，读写性能稳定可预测。
  • 分片的设计：
    • SlicingPizza：单个Rolling默认最多256个物理分区，逻辑分区与物理分片通过查找表维护关系，可动态分拆、组合。
    • 自定义ID或系统ID与分区的Hash对应关系：HASH(UUID)/SYS_ID%256=PARTITION_ID。
  • 分布式的设计：未详细说明。
  • 实时的设计：未详细说明。
• Shard的动态拆分：写入压力大时分区可拆分到不同节点并行分担，压力过后可合并。

核心观点与结论

• INFINIEasysearch作为Elasticsearch国产平替方案，具备自主可控、高性能、可扩展等特点，满足企业搜索需求，并提供长期技术支持。
• 公司技术架构设计灵活，支持海量数据实时处理，具备市场竞争力。