概述
本研报主要探讨了时尚领域的图像检索技术，特别是如何通过灵活的图像检索和属性操作来提升用户搜索体验。研究集中在两个方面：结构化反馈和非结构化反馈。
1. 背景
- 市场价值：时尚领域具有巨大的经济价值，其中网络上的服装数据量庞大。
- 挑战：精准的图像检索是关键挑战之一，传统方法要么依赖文本查询，要么依赖图像查询。
- 目标：通过生成目标图像并结合属性操作，提高内容导向的时尚搜索性能。
2. 结构化反馈
- 任务：将查询图像描述为一组属性，通过修改这些属性来生成目标图像。
- 方法：
- 融合方法：直接融合查询图像的视觉特征和所需属性的语义特征。
- 替换方法：通过替换不需要的属性特征来实现属性操作。
- 模型比较：在两个现实世界数据集上进行了广泛的实验，展示了所提模型的优势。
3. 非结构化反馈
- 任务：通过文本和图像的组合来检索目标图像。
- 方法：
- 综合语言-视觉组成网络：结合局部和全局的组成方法，提升查询的表达能力。
- 细粒度局部组成：通过选择性地保留和变换视觉特征来实现属性修改。
- 细粒度全局组成：为每个修改词引入一个独立的全局特征向量。
- 增强机制：通过知识传递和特征一致性正则化，实现两个组成模块之间的相互增强。
4. 未来工作
- 目标：进一步研究如何更好地利用生成对抗网络（GAN）来提升图像检索的视觉理解能力。
- 方向：探索更多关于局部和全局组成的综合方法，并应用于更多的数据集。
关键数据
- 数据集：
- DARN：包含213,636张图像，9个属性及179种可能值。
- Shopping100K：包含101,021张图像，12个属性及151种可能值。
总结
该研报详细介绍了通过结构化和非结构化反馈提升时尚领域图像检索性能的方法和技术。通过融合和替换方法生成目标图像，并结合局部和全局组成网络实现属性操作，显著提升了搜索精度。未来的研究方向包括利用生成对抗网络进一步提升视觉理解能力，以及探索更多关于局部和全局组成的综合方法。
