DeepSeek：基于内容的图像搜索与检索

引言与相关工作
现有图像检索方法（如基于内容的检索、元数据依赖方案）存在局限性，如token数量限制导致表达性受限、设备图像数量限制、元数据误导性等。为解决这些问题，本文提出基于文本查询和自然语言处理的端到端图像搜索与检索方法DeepSeek。

相关工作
基于内容的图像检索领域已有大量研究，包括SIFT特征（2004）、BoW模型（2003）等。深度学习进展（如图像标题生成）为语义图像检索提供新思路，但现有方法仍存在缺陷，如用户需输入相似图像或依赖弱学习方法。

DeepSeek方法

• 基于标题的检索：通过预训练的CNN（ResNet-101）提取图像特征，生成图像标题，再使用skip-thoughts模型将标题转换为向量嵌入，通过L2距离检索相关图像。
• 嵌入空间检索：将图像和标题嵌入到同一语义空间，通过最小化查询向量与图像相关标题向量之间的L2距离进行检索。

数据集与训练

• 使用MS COCO数据集（80k训练集，40k验证集，20k测试集），每张图像标注5个标题。
• 标题生成模型采用LSTM架构，使用Adam优化器训练至收敛。
• skip-thoughts向量使用预训练模型，训练过程采用梯度裁剪和指数衰减学习率。

实验评估

• 定量分析：基于标题的检索在MS COCO测试集上达到CIDEr 1.092，优于SOTA水平（1.270）。嵌入空间检索的p@1和p@5略低于基于标题的检索，但能捕捉语义关系。
• 定性分析：两种方法均能准确检索图像并理解场景语义关系（如“狗看电视”场景）。

结论与未来工作

• DeepSeek有效解决了现有图像检索的不足，实现基于文本的语义检索。
• 未来方向包括：使用三元组损失优化嵌入空间学习、结合知识图谱进行推理、GPU优化提升效率。