INFINI Pizza：一个分布式的纯实时搜索与分析引擎

INFINI Pizza 研报总结

1. 公司与产品概述

• 公司背景

  • 成立时间：2021年12月3日
  • 核心成员：搜索行业背景深厚
  • 定位：解决实际搜索需求，打造易用数据探索与分析体验
  • 融资状态：未融资，目前盈亏平衡
  • 联系方式：medcl@infinilabs.com

• 产品定位

  • INFINIEasysearch：分布式近实时搜索与分析引擎
  • 核心引擎：基于Apache Lucene
  • 目标：自主可控的轻量级Elasticsearch替代方案，支持企业级功能
  • 服务：国产化替代迁移、技术兜底、长期售后支持

• 市场表现

  • 墨天轮搜索型数据库排行榜#1（总榜#33）

2. 产品核心优势

• 国产化替代

  • 自主可控、可信
  • 解决Elasticsearch依赖问题

• 实时性

  • 从近实时到纯实时搜索
  • 满足高频修改、实时可见需求

• 性能优化

  • 资源利用率提升：Scale up before scale out
  • 架构改进：CPU密集型、IO密集型优化
  • PB级数据处理：超大规模分布式支持

3. 技术架构设计

• 整体架构

  • Pizza：分布式纯实时搜索与分析引擎
  • Pizza-as-Feature：模块化设计（API、语言框架、程序架构）
  • Pizza-as-Service：可插拔组件

• 数据组织与存储

  • PizzaDoc Store：
    • 支持Parquet等外部存储
    • 列式存储，压缩率高
    • 存储与索引分离，按需构建索引
  • PizzaIndex Store：
    • 倒排索引为主，可扩展其他索引类型（向量、地理等）

• 分片与分区设计

  • PizzaID：
    • 唯一ID（系统ID+文档ID）
    • 支持自定义ID映射
  • Rolling：
    • 最大容量42.9亿条记录
    • 无限增长，自动扩容
  • Partition & Shard：
    • 单个Rolling最多256分区
    • 动态分拆/组合，支持并行写入
    • 自定义ID/系统ID哈希映射分区

• 实时性设计

  • 毫秒级响应：优化写入与查询性能
  • 插件扩展：支持向量索引、大模型Pipeline等
  • 跨Collection操作：JOIN、物化视图等

4. 关键数据与指标

• 客户集群规模：156个节点（150个data节点）
• 硬件配置：30台高配置物理机（256C/1TB内存）
• 分片优化：
  • 避免重建索引，支持海量分片
  • 动态调整分片大小与数量

5. 产品特性与功能

• 架构：Share-nothing设计（参考ScyllaDB、Redpanda）
• 数据格式：JSON（支持嵌套、动态Schema）
• 扩展性：支持Parquet、HBase等外部存储
• 性能：写入/查询性能可预测，支持Kernel bypass/DPDK/SPDK

6. 开源与社区

• 开源平台：GitHub（https://github.com/infinilabs/pizza/）
• 社区支持：Discord（https://discord.com/invite/4tKTMkkvVX）
• 官网：https://pizza.rs/

格式说明：

• 加粗：关键数据和核心优势
• 模块化：按功能分层，逻辑清晰
• 简洁：忽略边缘内容，聚焦核心信息