下一代万亿级实时搜索引擎的设计与思考

大数据 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 下一代万亿级实时搜索引擎的设计与思考 大数据技术标准推进委员会 大数据技术标准推进委员会 Medcl@INFINILabs 据技术标准推进委员会 大数据技术标准推进委员会 自主·创新·引领 大数据 大数据技术标准推进委员会 大数据技术标准推进委员会 极限科技，让搜索更简单，更智能。 大数据技术标准推进委员会 大数据技术标准推进委员会 公司成立于2021年12月3日，公司成员搜索行业背景深厚。 公司致力于帮助客户解决实际搜索需求，打造极致易用的数据探索与分析体验。 大数据技术标准推进委员会 公司网址：https://infinilabs.cn/ 大数据技术标准推进委员会 总部分布式团队 据技术标准推进委员会 北京北京/上海/广州/深圳/长沙/郑州/唐山/波士顿 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 产品 解决方案 ●Elasticsearch企业级平替综合解决方案 ●一站式企业搜索基础设施平台建设方案 ●核心业务场景的海量数据实时搜索方案 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 我们的产品和解决方案 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 Elasticsearch国产平替解决方案 大数据技术标准推进委员会 INFINIEasysearch是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的ApacheLucene。Easysearch的目标是提供一个自主可控的轻量级的Elasticsearch可替代版本，并继续完善和支持更多的企业级功能，为国内Elasticsearch客户提供国产化替代迁移、技术兜底和长期售后技术支持服务。 大数据技术标准推进委员会 墨天轮搜索型数据库排行榜#1 大数据技术标准推进委员会 大数据技术标准推进委员会 落地成功案例 ES国产化平替，自主可控可信 几十个 业务场景 700+ 节点 15TB 日均写入量 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 第一部分起源 大数据技术标准推进委员会 大数据技术标准推进委员会 WhywebuildanotherSearchEngine? 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 挑战已接下！ 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 一个分布式的纯实时搜索与分析引擎 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 第二部分Pizza的技术选型与架构思考 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 接口、语言、框架；总体程序架构；数据的组织；分片的设计；分布式的设计；实时的设计 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 CPU0 CPU1 CPU2 CPU3 Data (a)Shared-everything. CPU0 CPU1 CPU2 CPU3 Data Data Data Data (b)Shared-nothing. DRAM DRAM 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 Gateway GatewayGateway 大数据技术标准推进委员会 DistributedQueryEngine SSuubbqquueereryry11 Dispatching SSuubbqquueereryry21 SSuubbqquueereryry31 DataNode2 大数据技术标准推进委员会 DataNode1 CPU-1 … Coroutine CPU-2 … Coroutine CPU-3 … 大数据技术标准推进委员会 Coroutine Coroutine Coroutine Coroutine 大数据技术标准推进委员会 MemoryData MemoryData MemoryData WAL DataIndex Meta … WAL DataIndex Meta … WAL DataIndex Meta 大数据技术标准推进委员会 … 大数据 据技术标准推进委员会 PizzaRuntimeInstance PizzaRuntimeInstance PizzaRuntimeInstance Data IndexViewCollection Namespace Namespace Tenant2 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 Data IndexViewCollection Namespace Namespace Tenant1 Cluster Zone Region Namespace Collection Rolling Shard Document Field Store Index 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 Pizza数据的逻辑组织方式 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 namespace:your-tenant LoadBalancer 创建infinilabs:pizza RegionA CatalogManager 创建pizza Gateway Manager Manager Manager 返回成功 Gateway 分配资源给pizza 缓存查到infinilabs DataNode DataNode DataNode DataNode DataNode namespace:infinilabs TopologyManager Manager Manager Manager 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 RegionB 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 Pizza名称的来历！ 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 MorePizza-Rolling 0 0 1 … 0 1 2 3 4 •单个Rolling的最大容量默认为42.9亿条记录； 大数据技术标准推进委员会 •超过Rolling的容量，自动切换到下一个Rolling继续写入； 大数据技术标准推进委员会 大数据技术标准推进委员会 •Rolling可以无限增长，满足持续增长的需求。 大数据 据技术标准推进委员会 大数据技术标准推进委员会 大数据技术标准推进委员会 PackagedPizza 大数据技术标准推进委员会 ●每个Rolling大小尺寸固定 ●便于分发和物理资源承载 大数据技术标准推进委员会 ●分片的个数和大小可预测 ●按需生成，无需提前规划 ●可以无限水平扩容 大数据技术标准推进委员会 大数据技术标准推进委员会 ●读写性能稳定可预测 大数据 大数据技术标准推进委员会 大数据技术标准推进委员会 SlicingPizza-Partition&Shard 大数据技术标准推进委员会 单个Rolling默认最多能拆分为256个物理分区（创建时可以配置最大的分区参数）； 采用查找表来维护逻辑分