结合语义与视觉信息的长查询图像检索重排序算法

摘要

本发明公开了一种结合语义与视觉信息的长查询图像检索重排序方法，其特征是按如下步骤进行：1.输入长查询语句获得初始返回列表；2.构建视觉词典；3.将长查询语句进行分割，提取视觉概念；4.由视觉概念分别获得各自的初始返回列表；5.提取文本特征和视觉特征；6.建立概率模型；7.语义相关性估计；8.视觉相关性估计；9.结合语义与视觉的相关性估计；10.重排序获得重排序结果。本发明能够充分利用图像特征信息，从而有效提高图像检索重排序的准确性。

主权项

一种结合语义与视觉信息的长查询图像检索重排序算法，其特征是按如下步骤进行：步骤1、在搜索引擎上，输入长查询语句Q进行图像检索，返回若干个长查询图像，选取所述长查询图像中排序为前N的长查询图像，由所述前N个长查询图像构成初始返回列表X＝{x₁,x₂,…,x_u,…,x_N}，x_u表示在所述初始返回列表中第u个长查询图像，u表示所述长查询图像x_u在初始返回列表中的位置为第u个，u＝0,1,…,N；步骤2、利用爬虫工具获得唯一问答对，并利用词性标注器收集所述唯一问答对中的动词和名词，并去除所述动词和名词里的停用词，从而构建视觉词典；步骤3、利用分割工具对所述长查询语句Q进行分割，获得若干语句块，并将每个语句块与所述视觉词典进行比较，选取包含有所述视觉词典中的动词或名词的语句块作为视觉概念；并由τ个视觉概念构成视觉概念集合C＝{q₀,q₁,…,q_c,…,q_τ‑1}；q_c表示在所述视觉概念集合C中第c个视觉概念，c＝0,1,…,τ‑1；步骤4、在搜索引擎上，分别对所述视觉概念集合C中的每个视觉概念进行图像检索，返回与每个视觉概念相对应的若干个视觉概念图像，选取所述视觉概念图像中排序为前L的视觉概念图像，由所述前L个视觉概念图像构成样本集合D＝{(X₀；q₀),(X₁；q₁),…,(X_c；q_c),…,(X_τ‑1；q_τ‑1)}；且X₀＝(x_N+1,x_N+2,…,x_N+L)，X₁＝(x_N+L+1,x_N+L+2,…,x_N+2L)，X_c＝(x_N+cL+1,x_N+cL+2,…,x_N+cL+ζ,…,x_N+(c+1)L)，X_τ‑1＝(x_{N+(τ‑1)L+1},x_{N+(τ‑1)L+2},…,x_N+τL)，X_c表示与所述第c个视觉概念q_c相对应的视觉概念图像集合；x_N+cL+ζ表示以所述第c个视觉概念q_c进行图像检索时所返回的第ζ个视觉概念图像；步骤5、对所述N个长查询图像分别提取文本特征和视觉特征，获得长查询文本特征集合和长查询视觉特征集合F＝{f₁,f₂,…,f_u,…,f_N}；表示第u个长查询图像x_u的标签列表，并由n个标签构成，t_μ表示第μ个标签；f_u表示第u个长查询图像x_u的视觉特征；对所述样本集合D提取视觉特征，分别获得与所述前L个视觉概念图像相对应的图像视觉特征；由所述图像视觉特征构成特征集合表示与所述第c个视觉概念q_c相对应的视觉概念图像集合X_c所提取的视觉特征；f_N+cL+ζ表示以所述第c个视觉概念q_c进行图像检索时所返回的第ζ个视觉概念图像x_N+cL+ζ相对应的图像视觉特征；步骤6、利用式(1)建立概率模型Score(Q,x_u)：$\mathrm{Score}(Q,x_u)=\underset{q_c\in C}{\Sigma }P\left(q_c\right|Q)\log P\left(q_c\right|x_u)---\left(1\right)$式(1)中，P(q|_cQ)表示第c个视觉概念q_c对于所述长查询语句Q的重要程度，P(q_c|x_u)表示第c个视觉概念q_c与所述第u个长查询图像x_u的关联性；步骤7、语义相关性估计：步骤7.1、利用式(2)估计任意两个视觉概念之间的语义相关性：Sim(q_i,q_j)＝Sim_co(q_i,q_j)×Sim_wd(q_i,q_j)×Sim_wiki(q_i,q_j)   (2)式(2)中，Sim_co(q_i,q_j)表示任意两个视觉概念q_i和q_j之间的共发频率相似度，i,j∈0,1,…,τ‑1，并有：${\mathrm{Sim}}_{\mathrm{co}}(q_i,q_j)=\exp (-\frac{\max (\log f\left(q_i\right),\log f\left(q_j\right))-\log f(q_i,q_j)}{\log I-\min (\log f\left(q_i\right),\log f\left(q_j\right))})---\left(3\right)$式(3)中，I表示所述搜索引擎上所有的图像总数；f(q_i)和f(q_j)分别表示在所述搜索引擎上输入视觉概念q_i和q_j后分别返回的视觉概念图像总数；f(q_i,q_j)表示在所述搜索引擎上同时输入视觉概念q_i和q_j后返回的图像总数；式(2)中，Sim_wd(q_i,q_j)表示通过WordNet词典工具获得的任意两个视觉概念q_i和q_j之间的相似度，并有：${\mathrm{Sim}}_{\mathrm{wd}}(q_i,q_j)=\frac{\#\left(q_i\right)+\#\left(q_j\right)}{\#{\left({\mathrm{words}}_{q_j}\right)}_{\mathrm{wd}}+\#{\left({\mathrm{words}}_{q_i}\right)}_{\mathrm{wd}}}---\left(4\right)$式(4)中，#(q_i)表示使用视觉概念q_j在所述WordNet词典中进行查询后，返回的查询结果中视觉概念q_i出现的次数；#(q_j)表示使用视觉概念q_i在所述WordNet词典中进行查询后，返回的查询结果中视觉概念q_j出现的次数；表示使用视觉概念q_j在所述WordNet词典中进行查询后，返回的查询结果的总字数；表示使用视觉概念q_i在所述WordNet词典中进行查询后，返回的查询结果的总字数；式(2)中，Sim_wiki(q_i,q_j)表示通过维基百科获得的任意两个视觉概念q_i和q_j之间的相似度，并有：${\mathrm{Sim}}_{\mathrm{wiki}}(q_i,q_j)=\frac{\#\left(q_i\right)+\#\left(q_j\right)}{\#{\left({\mathrm{words}}_{q_j}\right)}_{\mathrm{wiki}}+\#{\left({\mathrm{words}}_{q_i}\right)}_{\mathrm{wiki}}}---\left(5\right)$式(5)中，#(q_i)表示使用视觉概念q_j在所述维基百科中进行查询后，返回的查询结果中视觉概念q_i出现的次数；#(q_j)表示使用视觉概念q_i在所述维基百科中进行查询后，返回的查询结果中视觉概念q_j出现的次数；表示使用视觉概念q_j在所述维基百科中进行查询后，返回的查询结果的总字数；表示使用视觉概念q_i在所述维基百科中进行查询后，返回的查询结果的总字数；步骤7.2、利用式(6)获得所述长查询语句Q与第c个视觉概念q_c之间的语义相关性G(q_c,Q)：$G(q_c,Q)=\frac{1}{\tau }{\Sigma }_{q_j\in C}\mathrm{Sim}(q_c,q_j)---\left(6\right)$步骤7.3、利用式(7)获得第c个视觉概念q_c与第u个长查询图像x_u之间的相关性G(q_c,x_u)：$G(q_c,x_u)=\frac{{\Sigma }_{t_{\mu }\in T_{x_u}}\mathrm{Sim}(q_c,t_{\mu })}{\left|T_{x_u}\right|}---\left(7\right)$式(7)中，表示所述第u个长查询图像x_u的标签列表的基数；步骤8、视觉相关性估计：步骤8.1、利用式(8)获得所述长查询语句Q与第c个视觉概念q_c之间的视觉相关性V(q_c,Q)：$V(q_c,Q)=\frac{1}{\left|X_c\right|\times \left|X\right|}\underset{f_{N+\mathrm{cL}+\zeta }\in F_{\mathrm{Xc}},f_u\in F}{\Sigma }K(f_{N+\mathrm{cL}+\zeta },f_u)---\left(8\right)$式(8)中，|X|表示所述初始返回列表X的基数；|X_c|表示所述与所述第c个视觉概念q_c相对应的视觉概念图像集合X_c的基数；K(f_N+cL+ζ,f_u)表示高斯相似函数，并有：K(f_N+cL+ζ,f_u)＝exp(‑||f_N+cL+ζ‑f_u||²/δ²)   (9)式(9)中，δ为尺度参数；步骤8.2、利用式(10)将所述第c个视觉概念q_c与第u个长查询图像x_u之间的视觉相关性V(q_c,x_u)进一步分解：$V(q_c,x_u)=\underset{\omega =N+1}{\overset{N+\mathrm{\tau L}}{\Sigma }}P\left(q_c\right|x_{\omega })P\left(x_{\omega }\right|x_u)---\left(10\right)$式(10)中：x_ω表示样本集合D中任意一个视觉概念图像；步骤8.3、基于马尔可夫随机游走算法，将所述N个长查询图像和τL个视觉概念图像看做节点，建立对称κ近邻图；则通过式(11)获得第φ个节点和第ψ个节点之间的连接权重W_φψ：式(11)中，Nκ(φ)表示通过欧式距离计算的第ψ个节点的对称κ近邻图的索引集；Nκ(ψ)表示通过欧式距离计算的第φ个节点的对称κ近邻图的索引集；φ、ψ∈(0,1，…,N+τL)；用A表示一步转移概率矩阵，所述一步转移概率矩阵A中的元素A_ωu表示从第ω个节点转移到第u个节点的概率，A_ωu＝W_ωu/Σ_ψW_ωψ；则利用式(12)获得从第ω个节点出发经过s步转移在第u个节点处的概率P_s|0(x_u|x_ω)：P_s|0(x_u|x_ω)＝[A^s]_ωu   (12)利用式(13)获得以所述任意一个视觉概念图像x_ω为起点经过s步停止在第u个长查询图像x_u处的条件概率P_0|s(x_ω|x_u)：$P_{0|s}\left(x_{\omega }\right|x_u)=\frac{P_{s|0}\left(x_u\right|x_{\omega })P_0\left(x_{\omega }\right)}{{\Sigma }_{\psi }{P}_{s|0}\left(x_u\right|x_{\psi })P_0\left(x_{\psi }\right)}---\left(13\right)$利用P₀(x_ω)＝P₀(x_ψ)，将式(13)改写为：$P_{0|s}\left(x_{\omega }\right|x_u)==\frac{{\left[A^s\right]}_{\mathrm{\omega u}}}{{\Sigma }_{\psi }{\left[A^s\right]}_{\mathrm{\psi u}}}---\left(14\right)$步骤8.4、遍历所述样本集合D中的每一个视觉概念图像，获得任意一个视觉概念图像x_ω与第c个视觉概念q_c之间的相关性分数P(q_c|x_ω)：$P\left(q_c\right|x_{\omega })=\frac{1}{Z}\underset{x_{N+\mathrm{cL}+\zeta }\in X_c}{\Sigma }{P}_{0|s}\left(x_{N+\mathrm{cL}+\zeta }\right|x_{\omega })---\left(15\right)$式(11)中，$Z=\underset{q_c\in C}{\Sigma }\underset{x_{N+\mathrm{cL}+\zeta }\in X_c}{\Sigma }{P}_{0|s}\left(x_{N+\mathrm{cL}+\zeta }\right|x_{\omega });$步骤9：结合语义与视觉的相关性估计：步骤9.1、利用式(6)和式(8)，获得第c个视觉概念q_c和长查询语句Q之间的最终相关分数P(q_c|Q)：P(q_c|Q)＝αV(q_c,Q)+(1‑α)G(q_c,Q)   (15)式(12)中，α表示权衡语义与视觉对所述最终相关分数P(q_c|Q)重要程度的参数，α∈(0,1)；步骤9.2、利用式(7)和式(10)，获得第c个视觉概念q_c和第u个长查询图像x_u之间的最终相关分数P(q_c|x_u)：P(q_c|x_u)＝βV(q_c,x_u)+(1‑β)G(q_c,x_u)   (16)式(13)中，β表示权衡语义与视觉对所述最终相关分数P(q_c|x_u)重要程度的参数，β∈(0,1)；步骤10：根据式(1)所获得的概率模型Score(Q,x_u)对N个长查询图像集合X进行重排序，从而获得所述N个长查询图像的重排序结果。