Apache Doris向量检索引擎实现

向量检索引擎实现：Apache Doris

什么是向量检索

• 非结构化数据处理：面对海量非结构化数据（如图片、音频、视频等），如何进行有效处理和分析挖掘价值。
• 向量表示：使用 Embedding Model 将原始数据转换为高维向量，捕捉实体特征信息，具有语义信息。
  • 单模态 Embeding Model：如文本（text-embedding-ada-002）、图像（ResNet50）、音频（PANNs）。
  • 多模态 Embeding Model：如 SigLIP、Unum。
• 相似性度量：
  • cosine（余弦距离）：适用于推荐场景。
  • L2（欧式距离）：适用于计算机视觉场景（如人脸识别、以图搜图）。
  • L1（曼哈顿距离）：适用于推荐场景。
  • inner_product（内积）：适用于模型深度学习模型训练。
• 向量检索技术：在海量向量中快速找到与目标接近 K 个向量，使用向量 ANN 索引（Approximate Nearest Neighbor）技术，如 HNSW、FAISS、ScaNN、DiskANN 等。
  • 算法性能评价：召回率、QPS。

Apache Doris 向量检索

• 向量索引实现：
  • 支持多种距离函数：cosine_distance、l2_distance、l1_distance、inner_product。
  • 语法支持：建表（INDEX USING ANN 指定索引类型）、查询语法（topk 查找、范围查找）。
  • 向量类型：采用 array 存储向量。
• 索引库选型：
  • HNSW：内存型索引，成本高，稳定性稍差。
  • DiskANN：低成本，稳定性好，支持内存、SSD、HDD。
  • 性能对比：DiskANN 相对于 HNSW 性能有明显优势，但比较吃 IO。

遇到的问题及解法

• 问题：
  • 功能上不支持 idfilter 过滤。
  • 索引文件多，存算分离场景下小文件过多。
  • 只支持从文件中读取原始向量。
• 解法：
  • 支持 idfilter，实现混合查找：先按标量条件过滤，再下推向量检索。
  • 性能优化：设置过滤比例，当过滤节点占比过高时退化为暴力检索。
  • 索引文件合并：将多个索引文件合并为一个大文件，重写 reader 逻辑。
  • 支持直接传入向量：改造索引构建接口，直接传入向量文件。
  • Compaction 资源隔离：为 ann 索引表创建独立的 Compaction 线程。
  • 全局延迟物化：优化标量读取，先读取计算向量字段，排序取 topk，再补齐标量字段。

未来规划

• 2025 年 Q1 发版（3.0.X 版本）：
  • DiskANN 改造：支持 idfilter 下推、多文件索引合并/重写 reader、支持直接传入向量。
  • 语法支持：建表、查询导入、引入 diskann 库，适配索引接口、导入向量时构建 diskann 索引、查询支持函数下推到 scannode、执行计划适配改造。
  • 其他：副本恢复、backup/restore、compaction 流程。