DeepSeek 基于内容的像谜与排索

引言与背景

• 图像搜索和检索面临挑战，如表达能力受限、设备图像数量限制、元数据误导等。
• 现有方案（如亚马逊、苹果）存在局限，如需基于图片查询或短语搜索。
• 随着数字媒体（视频、图像）激增，高效浏览方式需求迫切。
• 深度学习在图像字幕、机器翻译等领域成功应用，启发本方法。

相关工作

• 基于内容的图像检索（CBIR）发展历程：
  • SIFT（尺度不变特征变换）引入不变局部视觉特征。
  • 视觉袋（BoW）模型利用局部特征量化构建紧凑表示，适应倒排文件索引。
• 现有图像检索方法：
  • 基于手工特征，需用户输入相似图像。
  • 基于文本搜索（如Google），但更多关注文本检索而非语义图像检索。
• 图像生成描述领域：
  • 使用CNN提取图像特征，生成语义向量用于分类、检测等任务。
  • 本方法将生成描述用于初始化语言模型（LSTM），构建语义理解。

方法

• 提出端到端图像搜索和检索方法，通过文本查询检索语义相关图像。
• 两种方法：
  • 基于标题的检索：
    • 使用预训练ResNet-101提取图像特征。
    • 训练Caption生成模型（MS COCO数据集），将图像转换为语义文本表示。
    • 使用skip-thoughts模型将字幕转换为向量嵌入。
    • 通过最小化查询向量与图像关联字幕向量的L2距离进行检索。
  • 嵌入空间检索：
    • 使用skip-thoughts模型将图像和文本（用户查询）转换为向量嵌入。
    • 在嵌入空间中通过最小化向量L2距离进行检索。

实验与数据

• 数据集：
  • MS COCO：32.8万张图像，每张5个描述，用于训练Caption生成模型。
• 设置与训练：
  • Caption生成模型：ResNet-101，Adam优化器，学习率1e-3，指数衰减。
  • Skip-thoughts模型：无监督学习，用于生成通用句子表示。
  • 嵌入空间检索：使用Caption生成模型和skip-thoughts模型生成的向量进行训练。

评估

• Caption生成模型评估：
  • 指标：BLEU、Meteor、ROUGE-L、CIDEr。
  • 结果：与SOTA模型对比，表现良好（CIDEr 1.092 vs 1.270）。
• 图像检索评估：
  • 指标：Precision@1, @3, @5。
  • 结果：
    • 基于标题的检索：Precision@1 68.3%, @5 91.2%。
    • 嵌入空间检索：Precision@1 72.9%, @5 84.9%。
  • 定性结果：两种方法均能捕捉对象及语义关系（如动物观看电视）。

结论与未来工作

• 未来方向：
  • 基于三元组损失学习嵌入空间，规范模型语义理解。
  • 整合知识图谱，实现实体推理（如“Hector正在看电视”）。
  • GPU优化提升检索效率。
• 结果：两种方法均有效，基于标题的检索表现略优，但嵌入空间检索更具潜力。