热门搜索：

火山引擎（桂峰）：火山引擎云搜索服务大规模技术应用实践

信息技术2024-08-25桂峰-墨

AI智能总结

火山引擎云搜索服务大规模技术应用实践

1. 云搜索服务

火山引擎云搜索服务是一款全托管的一站式分布式搜索服务，兼容OpenSearch和ElasticSearch。该服务已为头条、抖音、飞书、懂车帝等字节跳动内部核心业务提供搜索服务支持，积累了丰富的业务实践经验。

2. 高可用架构

AZ容灾：
- 数据节点多AZ部署，确保同一Shard的主、副分片分配到不同AZ。
- 支持EBS云盘容灾，单EBS集群故障时集群仍能正常工作。
- 支持AZ容灾，单AZ故障时集群仍能正常工作。
多活方案：
- 使用Ebus组件进行订阅消费集群的Translog。
- 防止循环写入，通过给业务写入数据打Tag并在消费侧过滤。
- 实时增量数据一致性检验，确保双向同步的可靠性。

3. 向量搜索引擎

常用ANN算法：
- 基于空间划分和向量压缩方法，如Kd-tree、K-Means、PQ/OPQ、SQ、NSW和HNSW等。
- HNSW算法在业界应用最广，具有较高的搜索效率和召回率，但索引空间较大。
DiskANN：
- 内存Cache用于存储PQ压缩向量及候选节点。
- 原始向量和邻居节点存放在SSD上，以提高召回率和搜索速度。
- 相较于HNSW，进一步裁剪短边，置换为长边，提高搜索效率。
引擎演进：
- 引入HNSW Lib构建Native图检索引擎。
- 引入FAISS实现PQ压缩编码。
- 引入DiskANN和FAISS构建HNSW/NSG和Lucene。

4. 混合搜索

关键字搜索：
- 搜索效率高，精确匹配，但仅支持结构化文本数据。
- 对拼写错误和同义词的支持不足。
语义搜索：
- 支持多模态数据，理解查询意图和上下文。
- 需要引入Embedding模型，成本较高。
- 搜索结果可能需要人工干预。
混合搜索：
- 将关键字搜索和语义搜索候选集合融合打分并重新排序。
- Rerank阶段采用加权融合策略，如RRF融合。
RAG结合OnCall：
- 前置拦截率达到+15%，提升搜索效果。

感谢聆听

大数据大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会火山引擎云搜索服务大规模技术应用实践大数据技术标准推进委员会大数据技术标准推进委员会桂峰｜火山引擎云搜索资深架构师据技术标准推进委员会大数据技术标准推进委员会自主·创新·引领大数据大数据技术标准推进委员会大数据技术标准推进委员会目录Contents 大数据技术标准推进委员会 01云搜索服务大数据技术标准推进委员会 02高可用架构大数据技术标准推进委员会 03向量搜索引擎据技术标准推进委员会大数据技术标准推进委员会 04混合搜索大数据技术标准推进委员会大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会 Chapter01 大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会云搜索服务大数据大数据技术标准推进委员会火山引擎云搜索服务大数据技术标准推进委员会 •全托管一站式分布式搜索服务，完全兼容搜索引擎OpenSearch、ElasticSearch。大数据技术标准推进委员会 •多年来持续为包括头条、抖音、飞书、懂车帝等字节跳动内部核心业务提供搜索服务支持。历经多年业务发展，云搜索服务累积丰富的业务实践并提供给内外部客户。大数据技术标准推进委员会大数据技术标准推进委员会全文检索向量检索云搜索服务 Geo 结构化搜索据技术标准推进委员会大数据技术标准推进委员会其他大数据技术标准推进委员会大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会 Chapter02 大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会高可用架构大数据据技术标准推进委员会大数据技术标准推进委员会 AZ容灾方案 •数据节点多AZ部署：每个AZ一组k8sStatefulSet，存储使用同AZ的EBS云盘大数据技术标准推进委员会 •结合ESAllocationAwareness，保证同一Shard的主、副分片分配到不同AZ 大数据技术标准推进委员会容灾能力大数据技术标准推进委员会 •支持EBS云盘容灾，单EBS集群故障时集群可正常工作大数据技术标准推进委员会大数据技术标准推进委员会 •支持AZ容灾，单AZ故障时集群可正常工作大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会常见多活方案单向同步双向同步 MQ多写业务多写业务改造中难系统复杂性数据一致性高弱高弱 CCR同步 - 低高大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会局限性：无法满足业务单写场景双向同步需求大数据技术标准推进委员会大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会 Ebus多活双向同步方案大数据技术标准推进委员会 •Ebus组件:订阅消费集群的Translog •防回环：针对业务写入数据打Tag&消费侧过滤大数据技术标准推进委员会大数据技术标准推进委员会 •实时增量数据一致性检验大数据技术标准推进委员会大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会 Chapter03 大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会向量搜索引擎大数据技术标准推进委员会大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会向量搜索引擎：大模型时代重要的存储大数据大数据技术标准推进委员会 ANN算法：决定向量搜索引擎的应用数据规模、查询效率和召回率大数据技术标准推进委员会基于空间划分 K=3 大数据技术标准推进委员会 •常见有Kd-tree、K-Means等算法；高维场景下，搜索效率较低向量压缩方法大数据技术标准推进委员会 •常见有矢量压缩（PQ/OPQ）或标量压缩（SQ）；主要降维方式减少计算/内存占用，但召回率低大数据技术标准推进委员会基于图据技术标准推进委员会大数据技术标准推进委员会 •主要有NSW和HNSW等算法，当前HNSW业界应用最广；搜索效率和召回率高，但索引空间大，占用较大内存大数据大数据技术标准推进委员会大数据技术标准推进委员会 DiskANN 大数据技术标准推进委员会搜索快召回率高百亿级向量内存消耗低大数据技术标准推进委员会索引构建 •构建原始向量的PQ压缩向量 •相比于HNSW进一步裁剪短边，置换为长边，搜索效率高大数据技术标准推进委员会 •原始向量以及图索引存储于SSD,原始向量和邻居节点存放一起查询大数据技术标准推进委员会 •内存Cache:PQ压缩向量以及与查询入口节点保持3跳内的向量节点 •相似度计算仍使用原始向量，保证高召回率据技术标准推进委员会 •并行从候选节点中搜索邻居，减少IO等待时间微软DiskANN论文:FastAccurateBillion-pointNearestNeighborSearchonaSingleNode 大数据技术标准推进委员会大数据技术标准推进委员会引入HNSWLib 构建Native图检索引擎引入FAISS实现PQ 压缩编码减少HNSW图内存大数据技术标准推进委员会大数据技术标准推进委员会 1234 大数据技术标准推进委员会据技术标准推进委员会大数据技术标准推进委员会引入FAISS构建HNSW/NSG和Lucene构建HNSW 引入DiskANN 大数据大数据技术标准推进委员会大数据据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会 Chapter04 大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会混合搜索大数据大数据技术标准推进委员会适用场景大数据技术标准推进委员会 •搜索效率高大数据技术标准推进委员会 •精确匹配，用户很明确搜索意图大数据技术标准推进委员会局限性大数据技术标准推进委员会 •仅支持结构化文本数据大数据技术标准推进委员会 •默认对拼写错误以及同义词场景支持不友好据技术标准推进委员会 •搜索结果精确匹配，无法从语义上扩展搜索范围，例如搜索“好吃的水果” 大数据大数据技术标准推进委员会适用场景大数据技术标准推进委员会 •多模态支持，文本、图像和音视频等数据大数据技术标准推进委员会 •理解查询背后的意图和上下文信息，非单纯关键字匹配大数据技术标准推进委员会局限性大数据技术标准推进委员会 •复杂度高，需额外引入Embedding模型，涉及大量模型优化大数据技术标准推进委员会 •成本高，向量索引构建、存储和检索占用大量计算和内存据技术标准推进委员会 •搜索结果为相对最匹配结果，可能非用户真实预期，需要人为干预大数据技术标准推进委员会大数据大数据技术标准推进委员会大数据技术标准推进委员会混合搜索关键字搜索语义搜索大数据技术标准推进委员会大数据技术标准推进委员会 Rerank阶段据技术标准推进委员会大数据技术标准推进委员会 •将关键字搜索和语义搜索候选集合融合打分并重新排序大数据技术标准推进委员会归一化&加权融合 𝑆𝑐��(��𝑎𝑎��)=�∗𝑆𝑐��25(��𝑎𝑎��)+(1−�)∗𝑆𝑐��(��𝑎𝑎��) 大数据技术标准推进委员会 RRF融合 𝑆𝑐��(��𝑎𝑎��)= �+�� 1 (��𝑎𝑎��)+ �+�� 1 (��𝑎𝑎��) 大数据技术标准推进委员会大数据大数据技术标准推进委员会大数据技术标准推进委员会 ��25�� 归一化&加权融合 RRF融合优点合适的权重召回率/排序质量可以比RRF效果更好相对简单，仅依赖文档在候选集中相对顺序，无需score 缺点依赖数据集训练找到合适权重参数参数k不易调参据技术标准推进委员会大数据技术标准推进委员会备注：结论参考论文AnAnalysisofFusionFunctionsforHybridRetrieval 大数据大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会混合搜索withRAG 大数据技术标准推进委员会据技术标准推进委员会大数据技术标准推进委员会 Oncall前置拦截率实现+15% 大数据大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会 THANKS 大数据技术标准推进委员会感谢聆听据技术标准推进委员会大数据技术标准推进委员会自主·创新·引领

点击免费查看完整报告