基于多模态判别分析的零样本图像分类方法

摘要

一种基于多模态判别分析的零样本图像分类方法，包括：使用训练数据的视觉特征以及相应类别的语义特征构建矩阵；得到映射矩阵；在验证集中学得到权重α_i；使用映射矩阵，将测试数据的视觉特征和未见过的类别的语义特征映射至公共空间；对测试数据进行分类。本发明能够寻求图像的视觉特征与多个模态的语义特征之间的公共空间，在零样本图像分类中可以取得更高的准确率，因此是一种有效的零样本图像分类方法。本发明的方法简单易行，效果优良。除了零样本图像分类问题，同时也能适应其他的多模态分类、检索问题。

主权项

一种基于多模态判别分析的零样本图像分类方法，其特征在于，包括如下步骤：1)使用训练数据的视觉特征X₁以及相应类别的语义特征X₂,...X_c构建矩阵S和D，其中，$S_{\mathrm{jr}}=\left\{\begin{array}{c}\underset{i=1}{\overset{c}{\Sigma }}(\underset{k=1}{\overset{n_{\mathrm{ij}}}{\Sigma }}{x}_{\mathrm{ijk}}{x_{\mathrm{ijk}}}^T-\frac{n_{\mathrm{ij}}{n}_{\mathrm{ir}}}{n_i}{\mu }_{\mathrm{ij}}^{\left(x\right)}{\mu }_{\mathrm{ij}}^{\left(x\right)T}),j=r\\ -\underset{i=1}{\overset{c}{\Sigma }}\frac{n_{\mathrm{ij}}{n}_{\mathrm{ir}}}{n_i}{\mu }_{\mathrm{ij}}^{\left(x\right)}{\mu }_{\mathrm{ir}}^{\left(x\right)T},j\ne r\end{array}\right.---\left(\text{1}\right)$$D_{\mathrm{jr}}=\left(\underset{i=1}{\overset{c}{\Sigma }}\frac{n_{\mathrm{ij}}{n}_{\mathrm{ir}}}{n_i}{\mu }_{\mathrm{ij}}^{\left(x\right)}{\mu }_{\mathrm{ij}}^{\left(x\right)T}\right)-\frac{1}{n}\left(\underset{i=1}{\overset{c}{\Sigma }}{n}_{\mathrm{ij}}{\mu }_{\mathrm{ij}}^{\left(x\right)}\right){\left(\underset{i=1}{\overset{c}{\Sigma }}{n}_{\mathrm{ij}}{\mu }_{\mathrm{ij}}^{\left(x\right)}\right)}^T---\left(2\right)$式中，x为视觉特征矩阵或语义特征矩阵中的向量，i表示类别序号，j表示模态序号，k表示样本序号，c表示类别的总数，n表示样本的总数，表示为：2)求下式，得到映射矩阵W：$\underset{W_1,W_2,...W_v}{max}Tr\left(\frac{W^{T}DW}{W^{T}SW}\right),---\left(3\right);$3)在验证集中学习得到下式中的权重α_i$k^{*}=\underset{k}{\mathrm{argmax}}\left[\underset{i=2}{\overset{c}{\Sigma }}{\alpha }_{i}sim(W_1^T{x}_j,W_i^T{y}_i^k)\right],---\left(4\right)$k＝1,2,...,n.式中，x_j是验证数据的视觉特征，是与x_j相对应类别的第k个模态的语义特征，sim(a,b)＝a^Tb/(||a||·||b||)，为两个向量的距离；4)使用映射矩阵W，将测试数据的视觉特征和未见过的类别的语义特征y^k映射至公共空间；5)用步骤3)中的公式对测试数据进行分类，式中的k^*是测试数据相应的类别。