一种基于相互学的视频数据检索方法

摘要

本发明涉及一种基于相互学的视频数据检索方法，其特征在于：计算不同种类视频数据特征的相似性矩阵，并利用相似性矩阵计算拉普拉斯矩阵；计算不同种类视频数据拉普拉斯矩阵的特征值和特征向量，以拉普拉斯矩阵中前M个最大特征值所对应的特征向量；计算不同种类视频数据特征向量的相似性矩阵，将特征向量的相似性矩阵的对应元素相乘得到学矩阵；将学矩阵和每种特征的相似性矩阵的对应元素相乘，得到学后的相似性矩阵；利用学后的相似性矩阵对视频数据进行排序，统计前若干个排序后的视频数据中与查询目标视频数据属于同一类别的视频数据数量，得到相应的检索准确率。本发明方法，检索准确率比学前都有了大幅提高。

主权项

1.一种基于相互学习的视频数据检索方法，其特征在于步骤如下：步骤1、计算N个视频数据的特征X₁,X₂,...,X_N的相似性矩阵W₁和特征Y₁,Y₂,...,Y_N的相似性矩阵W₂：采用$w_{i,j}^1=\exp \frac{{(X_i-X_j)}^T\times (X_i-X_j)}{{\sigma }^2}$计算得到相似性矩阵W₁；采用$w_{i,j}^2=\exp \frac{{(Y_i-Y_j)}^T\times (Y_i-Y_j)}{{\sigma }^2}$计算得到相似性矩阵W₂；其中，X₁,X₂,...,X_N表示第1、2和N个视频数据的第一种特征；Y₁,Y₂,...,Y_N表示第1、2和N个视频数据的第二种特征；表示矩阵W₁第i行第j列元素；表示矩阵W₂第i行第j列元素；X_i,X_j表示第i个和第j个视频数据的第一种特征；Y_i,Y_j表示第i个和第j个视频数据的第二种特征；exp表示取指数；i,j＝1,2,...,N；N＞0；σ＞0，为常数；上标T表示向量转置；步骤2：利用计算W₁的拉普拉斯矩阵L₁；利用计算W₂的拉普拉斯矩阵L₂；其中，D₁表示对角线矩阵，其元素$d_{i,j}^1=\left\{\begin{array}{cc}\underset{t=1}{\overset{N}{\Sigma }}{w}_{i,t}^1& i=j\\ 0& i\ne j\end{array}\right.;$t＝1,2,...,N；表示矩阵W₁的第i行第t列的元素；D₂表示对角线矩阵，其元素$d_{i,j}^2=\left\{\begin{array}{cc}\underset{t=1}{\overset{N}{\Sigma }}{w}_{i,t}^2& i=j\\ 0& i\ne j\end{array}\right.;$t＝1,2,...,N；表示矩阵W₂的第i行第t列的元素；步骤3：计算拉普拉斯矩阵L₁和L₂的特征值和特征向量，然后分别选取前M个最大特征值所对应的特征向量U₁,U₂,...,U_M和V₁,V₂,...,V_M；其中，M≥1表示常数；U₁,U₂,...,U_M表示属于L₁的大小为N×1的特征向量；V₁,V₂,...,V_M表示属于L₂的大小为N×1的特征向量；步骤4：利用特征向量U₁,U₂,...,U_M和V₁,V₂,...,V_M构造矩阵P＝[U₁ U₂...U_M]和Q＝[V₁ V₂...V_M]；计算[K₁ K₂...K_N]^T的相似性矩阵S₁和[L₁ L₂...L_N]^T的相似性矩阵S₂，S₁的元素计算公式为$s_{i,j}^1=\exp \frac{{(K_i-K_j)}^T\times (K_i-K_j)}{{\sigma }^2};$S₂的元素计算公式为$s_{i,j}^2=\exp \frac{{(L_i-L_j)}^T\times (L_i-L_j)}{{\sigma }^2};$其中，K₁,K₂,...,K_N表示矩阵P的第1,2,...,N行元素；L₁,L₂,...,L_N表示矩阵Q的第1,2,...,N行元素；步骤5：将相似性矩阵S₁和S₂的对应元素相乘得到学习矩阵S；步骤6：将相似性矩阵W₁和学习矩阵S的对应元素相乘得到学习后的相似性矩阵E₁，将相似性矩阵W₂和学习矩阵S的对应元素相乘得到学习后的相似性矩阵E₂；步骤7：利用公式r＝β(I-λE₁)^-1T和f＝β(I-λE₂)^-1T计算N个视频数据两种特征学习后的分数向量r和f，并将N个视频数据按照分数大小从高到低排列，得到排序后的视频数据；其中，r＝(r₁,r₂,...,r_N)表示N个视频数据的第一种特征进行检索后的得分向量，r₁,r₂,...,r_N表示第1,2,...,N个视频数据的得分；f＝(f₁,f₂,...,f_N)表示N个视频数据的第二种特征进行检索后的得分向量；f₁,f₂,...,f_N表示第1,2,...,N个视频数据的得分；β＝1-λ表示常数；λ＞0表示常数；T＝[t₁,...,t_N]^T表示检索时的查询向量，t_i＝1表示第i个视频数据为查询目标视频数据，否则t_i＝0。