基于判别相关分析的跨媒体检索方法

摘要

本发明公开了一种基于判别相关分析的跨媒体检索方法，该方法包括以下步骤：建立跨媒体训练数据库，依次对其中不同模态样本进行特征提取、均值预处理和线性投影变换，并根据投影空间设定一目标函数；求解目标函数得到线性投影向量；建立跨媒体测试数据库；对待检索对象依次进行特征提取和均值预处理；使用所述线性投影向量对经均值预处理的特征数据进行线性投影变换；计算两模态数据投影变量之间的欧式距离，并进行升序排序，从而得到跨媒体检索结果。本发明方法能够对特征数据进行有效地降维，从而广泛地应用在其他很多多模态工作中，比如多模态生物特征识别。

主权项

1.一种基于判别相关分析的跨媒体检索方法，其特征在于，该方法包括以下步骤：步骤1，建立包括一一对应的图像和文本对的跨媒体训练数据库并提取该数据库中不同模态样本的特征向量，得到相应的特征数据点集；步骤2，分别对图像与文本两个模态的特征数据点集进行均值预处理，使得每个模态的特征数据点集的均值为0；步骤3，将经过均值预处理的特征数据点集进行线性投影变换，并根据得到的投影空间设定一关于线性投影变量的目标函数；步骤4，使用特征值求解法求解所述目标函数，得到线性投影向量a和b；步骤5，建立包括一一对应的图像和文本对的跨媒体测试数据库；步骤6，输入待检索对象，并分别提取待检索对象的特征向量以及跨媒体测试数据库中与待检索对象属于不同模态的对象集的特征数据点集；步骤7，对步骤6得到的特征向量和特征数据点集分别进行所述均值预处理；步骤8，使用所述步骤4得到的线性投影向量a和b对经过均值预处理的特征向量和特征数据点集分别进行线性投影变换；步骤9，计算待检索对象的投影变量与对象集的投影变量之间的欧式距离，并对所有的欧式距离进行升序排序，前n个欧式距离对应的对象数据即是在所述跨媒体测试数据库中检索得到的与待检索图像相关的另一模态的对象；其中，所述步骤3中的线性投影变换表示为：u=a^Txv=b^Ty其中，x和y分别为图像与文本两个模态特征数据点集对应的变量集合，a和b分别为对应的投影向量，u和v为经过线性投影变换得到的投影变量；根据得到的投影空间设定目标函数的步骤进一步包括以下步骤：步骤3.1，计算投影空间中投影变量u和v的协方差cov(u,v)：$\mathrm{cov}(u,v)=\left[\begin{array}{cc}{a}^T& b^T\end{array}\right]\Sigma \left[\begin{array}{c}a\\ b\end{array}\right],$其中，Σ定义为此协方差的特征矩阵；步骤3.2，计算图像与文本两个模态特征数据点集在投影空间中的类间方差和类内方差σ_B和σ_W：${\sigma }_B=\left[\begin{array}{cc}{a}^T& b^T\end{array}\right]S_B\left[\begin{array}{c}a\\ b\end{array}\right],$${\sigma }_W=\left[\begin{array}{cc}{a}^T& b^T\end{array}\right]S_W\left[\begin{array}{c}a\\ b\end{array}\right],$其中，S_B和S_W称为多模态数据的“类间散列矩阵”和“类内散列矩阵”：$S_B=\frac{1}{2n}\underset{m=1}{\overset{k}{\Sigma }}{n}_m\left[\begin{array}{cc}{E}_m{\mathrm{xx}}^T& E_m{\mathrm{xy}}^T\\ E_m{\mathrm{yx}}^T& E_m{\mathrm{yy}}^T\end{array}\right],$$S_W=\frac{1}{2n}\underset{m=1}{\overset{k}{\Sigma }}{n}_m\left[\begin{array}{cc}{E}_m\left({\mathrm{xx}}^T\right)-\frac{1}{2}{E}_m{\mathrm{xx}}^T& -\frac{1}{2}{E}_m{\mathrm{xy}}^T\\ -\frac{1}{2}{E}_m{\mathrm{yx}}^T& E_m\left({\mathrm{yy}}^T\right)-\frac{1}{2}{E}_m{\mathrm{yy}}^T\end{array}\right],$其中，n表示每个数据点集中数据的个数，n_m表示每个数据点集中第m类的数据的数目，k为类别的个数，$E_m\left({\mathrm{xx}}^T\right)=\frac{1}{n_m}\underset{{i\in C}_m}{\Sigma }\left(x_i{x}_i^T\right),$$E_m\left({\mathrm{yy}}^T\right)=\frac{1}{n_m}\underset{i\in C_m}{\Sigma }\left(y_i{y}_i^T\right),$$E_m{\mathrm{xx}}^T=E_m\left(x\right)E_m^T\left(x\right),$$E_m{\mathrm{xy}}^T=E_m\left(x\right)E_m^T\left(y\right),$$E_m{\mathrm{yy}}^T=E_m\left(y\right)E_m^T\left(y\right),$$E_m{\mathrm{yx}}^T=E_m\left(y\right)E_m^T\left(x\right),$C_m表示第m类数据集，E_m(x)和E_m(y)分别是原始数据点集中第m类数据的均值；步骤3.3，根据计算得到的协方差cov(u,v)、类间方差σ_B和类内方差σ_W设定目标函数：$a^{*},b^{*}=\arg {\max }_{a,b}\frac{{\mathrm{\mu \sigma }}_B+(1-\mu )\mathrm{cov}(u,v)}{{\sigma }_W},$其中，μ为调节参数，它控制着σ_B和cov(u,v)的相对权重。