基于多特征融合的图像检索方法

摘要

本发明公开了一种基于图像多特征融合的图像检索方法，主要用于解决现有技术检索图像准确率低的问题。其实现步骤为：（1）提取待检索图像集合中所有图像的三种视觉特征和语义属性特征；（2）计算待检索图像集合中所有图像间邻接距离矩阵；（3）对查询图像在每一种特征通道进行粗检索；（4）根据每一种特征通道的粗检索结果，分析粗检索结果中图像的语义属性特征，选定参考图像；（5）根据选定的参考图像，计算每一种特征融合模板矩阵；（6）根据得到的融合模板矩阵，得到融合后的距离测度矩阵；（7）根据得到的距离测度矩阵，返回给用户检索的结果。本发明明显提高了最终图像检索的准确率，可用于图像检索。

主权项

1.一种基于多特征融合的图像检索方法，包括如下步骤：（1）提取图像特征：（1a）对待检索图像集合中的所有图像提取8192维视觉词袋词频BoW特征；（1b）对待检索图像集合中的所有图像提取960维GIST特征；（1c）对待检索图像集合中的所有图像提取512维HSV颜色直方图特征；（1d）通过离线训练学习，针对2659种基本语义标签，分别训练2659种语义标签的分类器，对待检索图像集合中的每幅图像，分别用这2659种分类器做预测，并将对应每一种分类器得到的预测分数连成向量，作为该图像的语义属性特征。（2）根据步骤(1a)、（1b）、（1c）得到的三种图像特征，用欧式距离公式分别计算待检索图像集合中所有图像两两之间的相似性距离，分别得到步骤(1a)对应图像特征通道的邻接距离矩阵H₁'、步骤(1b)对应图像特征通道的邻接距离矩阵H'₂、步骤(1c)对应图像特征通道的邻接距离矩阵H'₃，每个矩阵中的每个元素值代表对应图像两两之间用对应特征计算得到的相似性距离；（3）对图像进行粗检索，并选择参考图像：（3a）根据步骤(1a)、（1b）、（1c）得到的图像特征，用欧式距离公式分别计算用户指定的查询图像和待检索图像集合中每幅图像之间在每一种特征通道上的相似性距离，构成对应三种特征通道的三组检索相似性距离向量；（3b）利用上述三种特征通道的三组检索相似性距离向量分别对步骤（2a）得到的图像邻接距离矩阵H₁'、H'₂、H'₃进行扩展，即将对应特征通道的检索相似性距离向量添加到对应矩阵的第一行和第一列，得到分别对应所述三种特征通道的扩展后图像邻接矩阵H₁、H₂、H₃；（3b）按照待检索图像集合中每幅待检索图像和用户给出的查询图像，将每一种特征通道的相似性距离从小到大分别排序，得到分别对应所述三种特征通道的粗检索排序列表l₁、l₂、l₃；（3c）根据步骤（3b）得到的粗检索排序列表l₁、l₂、l₃，选取每一个列表的前k副图像构成目标集合，对于目标集合中的每幅图像按步骤(1d)所述的语义属性特征，将小于0的维度置0，大于0的维度置1，得到目标集合中每幅图像量化后的特征向量，并将所有量化后的特征向量做平均，得到对应的语义属性共现模式向量S；（3d）利用欧氏距离公式，计算数据库中每幅待检索图像语义属性特征与上所述语义属性共现模式向量S的相似性距离，选取相似性距离最小的10幅图像作为参考图像；（4）计算特征融合模板权重矩阵：（4a）定义每一特征通道的检索结构关系函数：$Q\left(w^m\right)={\Sigma }_{i=1}^A\frac{1}{2}({\left|\right|}_{x_i}^{~m}-{\Sigma }_{j\ne i}^A{w}_{\mathrm{ij}}^m{\tilde{x}}_j^m{\left|\right|}_2^2+x_q^m-w_{1i}^m{\tilde{x}}_i^m{\left|\right|}_2^2),$其中，A表示参考图像的个数，表示第i幅参考图像的第m种特征表示，表示第j幅参考图像的第m种特征表示，表示用户指定的查询图像的第m种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第j列元素的值，||||₂代表矩阵的2-范数；（4b）定义每一特征通道之间的检索结构关系函数：$R\left(w^m\right)={\Sigma }_{m^{\prime }=1}^3{\Sigma }_{i=1}^A{\Sigma }_{k=1}^{N-A}\frac{1}{2}({\left|\right|}_{x_i}^{~m}-w_{\mathrm{ik}}^m{x}_k^m{\left|\right|}_2^2-{\left|\right|}_{x_i}^{~m^{\prime }}-w_{\mathrm{ik}}^{m^{\prime }}{x}_k^{m^{\prime }}{\left|\right|}_2^2),$其中，N表示数据库中待检索图像的个数，表示第i幅参考图像的第m种特征表示，表示第i幅参考图像的第m'种特征表示，表示第k幅参考图像的第m种特征表示，表示第k幅参考图像的第m'种特征表示，表示第m种特征通道对应的融合模板矩阵wm第i行第k列元素的值，表示第m'种特征通道对应的融合模板矩阵wm'第i行第k列元素的值，||||₂代表矩阵的2-范数；（4c）优化如下目标函数，得到每一图像特征的融合模板矩阵{w^m},m=1...3：$\begin{array}{c}J=\underset{w}{\min }{\Sigma }_{m=1}^{M}Q\left(w^m\right)+\lambda {\Sigma }_{m^{\prime }\ne m}^{M}R\left(w^m\right)+\gamma {\Sigma }_{m=1}^M|{{|w}^m\left|\right|}_1,\\ s.t.{\Sigma }_j{w}_{\mathrm{ij}}=1,w_{\mathrm{ij}}\ge 0\end{array}$其中，λ和γ分别是给定的常数，||||₁代表矩阵的1-范数；（5）图像精检索：（5a）根据步骤（3a）得到的图像邻接距离矩阵H₁、H₂、H₃及步骤（4c）得到的每一种图像特征的融合模板矩阵{w^m}，计算融合后的图像邻接矩阵H：$H={\Sigma }_m{w}^m\otimes H_m,m=1...3,$其中，w^m表示第m种特征通道对应的融合模板矩阵，代表矩阵的模板点乘运算；（5b）根据融合后的图像邻接矩阵H，按照其第一行的值从小到大排列，将得到排列结果的前k幅图像作为检索结果返回给用户。