基于深度学的手绘草图图像检索方法

摘要

本发明属于多媒体信息检索技术领域，具体为基于深度学的手绘草图图像检索方法。本发明利用边缘轮廓检测技术和非极大值抑制技术实现彩色图像到类草图图像的转换，然后利用深度学技术来构造查询草图和类草图的深度特征区分性特征表示，这种深度特征融合了图像的高层语义特征和底层视觉特征；这种深度特征在草图检索中表现得更有区分性。通过深度挖掘初次检索结果的视觉信息，抑制检索结果排序靠前的不相关图像，返回更相关的结果给用户。本方法准确性高，适应性强。对于在大规模图像数据基础上，考虑草图的语义信息而进行高效的图像检索具有重要意义，能够减小手绘草图的模糊性的影响，提高检索相关性，增强用户体验，在多媒体图像检索领域具有广泛的应用价值。

主权项

一种基于深度学习的手绘草图图像检索方法，其特征在于具体步骤如下：（1）类草图图像的生成：多从媒体数据集采取的彩色图像，采用两步变换的方法将其转换成类草图图像；其中，第一步采用边缘检测算法检测出彩色图像的粗轮廓，第二步使用非极大值抑制方法提取重要的轮廓，抑制非重要的轮廓，排除噪声点；（2）提取图像的多层次特征：利用深度学习的方法提取查询草图和类草图图像的两种特征：图像的高层语义特征和底层的视觉特征，即使用重新训练的CNN模型提取语义特征，使用CKN模型和BoVW框架来抽取图像的局部视觉特征；（3）构建图像的深度区分性特征：基于步骤（2）中提取的图像的两种层次特征，使用双峰深度自编码器模型深度挖掘二者的包含的区分性信息，融合得到图像最终的低维的特征向量表示；（4）在线的初次检索：在初次检索中，首先将查询草图与数据库中类草图图像的图像距离度量方法转换成相似度度量方法，然后依次计算查询图像与每一张类草图图像特征的相似度，按照相似度由高到低进行初次排序；（5）对初检索结果的重排序：首先根据初次检索结果前1000张图像作为候选集，为充分利用检索结果与查询图像的的视觉相似性，利用K‑means聚类算法对候选集的局部视觉特征进行聚类，统计每一个聚类结果的可信度；然后利用每个聚类的可信度分别去重新更新图像的相似分数，得到候选集中每一张图像与查询草图的最终相似度，然后进行排序，返回给用户。