一种新的基于手绘草图的图像检索方法

摘要

本发明公开了一种新的基于手绘草图的图像检索方法，用于图像搜索。本方法对训练集中每组彩色图像和轮廓草图图像的对应位置提取图像块，计算图像块的GFHOG特征并进行聚类分别得到彩图和草图视觉词典，利用样本间聚类一致性得到两个视觉词典间的映射关系；对每个搜索用图像配置一组相似图像，利用协同分割算法确定对象位置及轮廓边界，提取图像块并确定最接近的草图视觉单词，计算每幅图像的单词统计向量，构建倒排索引，并调整各个单词对图像的重要性权重；对用户输入的轮廓草图，利用倒排索引计算草图与搜索图像库中所有图像的相似度。本发明能够有效的完成基于手绘草图的图像检索，并能够在满足检索响应速度的前提下应用于大规模图像库。

主权项

一种基于手绘草图的图像检索方法，其特征在于，该方法实现步骤如下：步骤1：从训练集提取对应位置的彩色图像块和草图图像块集合；使用含有人工描绘轮廓草图的图像库作为训练集，在每一组彩色图像和草图图像上，从对应位置提取图像块；对于彩色图像的每幅轮廓草图，以每个边缘点为中心得到图像块，然后从彩色图像的对应位置提取相应的图像块，最终得到草图图像块集合P_S和彩色图像块集合P_C；步骤2：采用聚类算法分别得到草图视觉词典和彩图视觉词典；分别对图像块集合P_S和P_C，提取其中所有图像块的GFHOG特征，对应得到草图和彩色图的特征描述符集合F_S和F_C；使用K‑means聚类算法分别对集合F_S和F_C聚类，设得到K个聚类，K为正整数，将每个类的中心看作一个视觉单词，最终得到草图视觉词典V_S和彩图视觉词典V_C；步骤3：基于聚类一致性建立彩图视觉词典向草图视觉词典的映射关系；彩图视觉单词和草图视觉单词的聚类一致性表示为：$C(V_C^a,V_S^b)=\frac{\left|F_S^{ba}\right|}{\left|F_C^a\right|};$其中，表示类别划归到彩图视觉单词的样本集合，表示类别划归到草图视觉单词的样本集合，且在中有对应样本；根据聚类一致性值的高低将每个彩图单词映射到一个或多个草图单词上，完成彩图视觉词典V_C到草图视觉词典V_S的映射；步骤4：在网络上收集图片建立搜索图像库，为搜索图像库中的每幅图像配置一组相似图像；步骤5：获得搜索图像库中每幅图像关于草图视觉词典的单词统计向量；对搜索图像库中每幅图像的一组相似图像，利用协同分割算法提取每个相似图像上的对象边界轮廓，并分别以轮廓上的像素点为中心，从图像上提取图像块；然后对每个图像块提取GFHOG特征；对于彩色图像块，利用最近邻搜索确定与该图像块最接近的彩图视觉单词，再利用两个视觉词典V_C和V_S的映射关系确定该图像块所对应的草图视觉单词；对于草图图像块，利用最近邻搜索确定与该图像块最接近的草图视觉单词；最后统计该组相似图像的图像块映射到每个草图视觉单词的个数；记搜索图像库中第i幅图像I_i的单词统计向量其中，n_ik表示图像I_i映射到草图视觉单词v_k上的图像块数目，v_k∈V_S；步骤6：完成搜索图像库倒排索引的构建；通过步骤5获得搜索图像库中每幅彩色图像的统计向量其中N是搜索图像库中图像的数目；然后构建倒排索引，使用TF‑IDF算法调整各个草图视觉单词对图像的权重；步骤7：检索过程中的相似度计算；对于用户输入的草图S，以所有边缘点为中心，提取到所有的图像块后，提取各图像块的GFHOG特征，从草图词典确定每个图像块的草图视觉单词，确定草图S的单词统计向量以及各草图视觉单词对图像S的重要性权重，然后利用倒排索引计算草图S与搜索图像库中所有图像的相似度。