一种基于改进的典型相关分析的零样本视频分类方法

摘要

一种基于改进的典型相关分析的零样本视频分类方法，包括：通过将训练视频的视觉特征和视频类别名称的语义特征映射到一个公共空间，在这个公共空间中，视频的视觉特征和相应的语义特征具有良好的对应关系，对于新输入的测试视频，将它的视觉特征映射到公共空间，找到对应的语义特征，就可以确定测试视频的所属类别。本发明通过局部线性的方法达到解决非线性问题的目的，在零样本视频分类中可以取得更高的准确率，同时也能适应其他的多模态分类、检索问题。

主权项

一种基于改进的典型相关分析的零样本视频分类方法，其特征在于，包括如下步骤：1)提取训练数据的视频特征X以及训练数据类别名称的语义特征Y；训练数据的视频特征X＝[x₁,x₂,...,x_n]，其中n是训练数据的个数；训练数据类别名称的语义特征为Y＝[y₁,y₂,...,y_n]2)计算相似度矩阵S^X,S^Z训练类别名称的语义特征Z＝[z₁,z₂,...,z_t]，其中t是训练集的类别数；3)依据相似度矩阵构建矩阵L^X,D^X以及L^Z,D^Z；4)求如下方程的特征值λ：$\begin{array}{c}2{\mathrm{\alpha XL}}^X{X}^T{w}_x-{\mathrm{YX}}^T{w}_y={\lambda }_1{\mathrm{XX}}^T{w}_x\\ 2{\mathrm{\beta ZL}}^Z{Z}^T{w}_y-{\mathrm{YX}}^T{w}_x={\lambda }_2{\mathrm{YY}}^T{w}_y\end{array}---\left(5\right)$其中，α,β是权重系数，λ₁,λ₂是拉格朗日乘子，设λ＝λ₁＝λ₂，w_x是从视觉空间到公共空间的映射矩阵；w_y是从语义空间到公共空间的映射矩阵；根据公共空间的维数d，分别选择λ最大的d个特征值对应的d维特征向量，从而得到映射矩阵W_x、W_y；5)对于输入的测试数据，分别提取视频特征x'，并映射到公共空间，得到6)将所有候选的测试数据类别名称的语义特征映射到公共空间，得到其中m是测试数据的类别数；7)在公共空间中，找出与距离最近的这个所对应的类别就是测试数据的分类结果。