基于最大间隔张量学的高维多媒体数据分类方法

摘要

本发明公开了一种基于最大间隔张量学的高维多媒体数据分类方法。它包括如下步骤：1）建立多媒体数据的训练数据集；2）对训练数据集建模，进行分析，得到分类模型；3）根据用户查询数据集及分类模型，对查询数据集分类。本发明针对多媒体的高维性和结构性，利用张量来表达多媒体数据，并通过最大间隔分类器的方法，对高维的多媒体数据进行分类。在对多媒体数据进行分解分析的同时完成分类，不仅保留了多媒体数据中的结构信息，而且避免了传统的通过拼合的方法产生的高维数据所引发的“维数灾难”，因此比传统的多媒体数据分类方法更加准确，并易于计算。

主权项

一种基于最大间隔张量学习的高维多媒体数据分类方法，其特征在于包括如下步骤：(1)建立多媒体数据的训练数据集，提取不同种类的特征，并对多媒体数据进行标注；(2)将训练数据集表达成张量，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数，并对目标函数进行分析，优化，得到分类模型；(3)对用户查询数据集提取不同种类的特征，根据分类模型，对查询数据集标注分类；所述的步骤(1)具体包括：1.1)编写爬虫程序下载用户所需的多媒体数据，构成多媒体数据集合其中I_N是集合DATA中的多媒体数据个数；1.2)对DATA中的多媒体数据提取不同种类的特征，T₁,…,T_N‑1，N‑1为特征的种类数；1.3)对DATA中的多媒体数据进行标注，正例为“1”，反例为“0”；1.4)建立训练张量其中I₁,…,I_N‑1模态对应为步骤1.2)中多媒体数据的特征T₁,…,T_N‑1，I_N模态对应为多媒体数据个数；所述的步骤(2)包括：2.1)根据训练张量X，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数：$\underset{U_1,...U_N}{\min }\left|\right|X-C{\times }_1{U}_1{\times }_2...{\times }_N{U}_N|{|}^2+\Omega \left(X\right)---\left(1\right)$s.t.U_n＞0,1≤n≤N其中Ω(X)表示训练数据的监督信息，U_n(1≤n≤N)为张量分解后得到的矩阵，C为核张量，其n阶展开矩阵C_(n)满足以下条件：a)C_(n)的元素全由“0”或“1”组成；b)C_(n)的所有行相互正交；c)对于任意的n，C_(n)为满秩；2.2)根据张量展开，可以将公式(1)写作：$\underset{U_N}{\min }\left|\right|X_{\left(n\right)}-U_N{B}_{\left(n\right)}|{|}^2+\Omega \left(X_{\left(n\right)}\right)---\left(1.1\right)$s.t.U_n＞0,1≤n≤N其中，B_(n)＝C×₁U₁×₂…×_n‑1U_n‑1×_n+1U_n+1×_n+2…×_N U_N，X_(n)为训练张量X的n阶展开矩阵；令将公式(1.1)中每一个矩阵U_i转置并分成I_i个独立的优化问题：$\underset{u_i}{\min }\left|\right|x_i-B_{\left(n\right)}^T{u}_i|{|}^2+\Omega \left(x_i\right)---\left(2\right)$s.t.u_i＞0,1≤i≤I_n2.3)将公式(2)中有监督信息，即n＝N时的分量引入最大间隔的分类器作为监督信息，得到如下的优化函数：$\underset{u_1^{\left(N\right)},\alpha }{\min }\gamma \left|\right|x_i^{\left(N\right)}-B_{\left(N\right)}^T{u}_i^{\left(N\right)}|{|}^2+{\mathrm{\lambda \alpha }}^{T}K\alpha +\underset{i=1}{\overset{I_N}{\Sigma }}L(y_i,K_i^T\alpha )---\left(3\right)$$s.t.U_i^{\left(N\right)}>0,1\le i\le I_N$其中，γ为控制近似误差的权重参数，λ为控制分类误差的权重参数，y_i为相应的标注标签，α为待优化的分类参数，L为损失函数L(y,t)＝max(0,1‑yt)²，K为核矩阵，其元素k_ij＝k(u_i,u_j)，k为核函数；2.4)使用共轭梯度下降的方法，迭代地优化参数α与矩阵分量在优化分类参数α的过程中首先计算α的梯度：${▿}_{\alpha }=2(\lambda K\alpha +{\mathrm{KI}}^0(K\alpha -Y\left)\right)$其中I⁰为I_N×I_N的对角矩阵，其中前n_v个元素为1，其余为0；n_v为支持向量的个数；然后计算α的Hessian矩阵：H_α＝2(λK+KI⁰K)在优化矩阵分量的过程中，首先假定使用内积核：$k(u_i^{\left(N\right)},u_j^{\left(N\right)})=u_i^{\left(N\right)T}·u_j^{\left(N\right)}$计算的梯度：$\begin{array}{c}{▿}_{u_i^{\left(N\right)}}=-2{\mathrm{\gamma B}}_{\left(N\right)}{x}_i^{\left(N\right)}+2\gamma \left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)u_i^{\left(N\right)}+2{\mathrm{\lambda \alpha }}_i\underset{j=1}{\overset{I_s}{\Sigma }}{\alpha }_j{u}_j^{\left(N\right)}\\ +2\left(\underset{j=1}{\overset{n_v}{\Sigma }}{l}_j{\alpha }_j{u}_j^{\left(N\right)}\right[i\in n_v]+{\alpha }_i\underset{j=1}{\overset{n_v}{\Sigma }}{l}_j{u}_j^{\left(N\right)})\end{array}$然后计算的Hessian矩阵：$H_{u_i^{\left(N\right)}}=2\gamma \left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)+(2{\mathrm{\lambda \alpha }}_i^2+4l_i{\alpha }_i[i\in n_v\left]\right)I_{ns}$其中，I_ns是大小为I_s的单位矩阵，[i∈n_v]是一个指示函数，当且仅当i属于支持向量的集合时函数值为1，其余为0；2.5)对于公式(2)中无监督信息的模态，即n≠N时，加入稀疏选择的约束，即l₁范数：$\underset{u_i^{\left(n\right)}}{\min }\left|\right|x_i^{\left(n\right)}-B_{\left(n\right)}^T{u}_i^{\left(n\right)}|{|}^2+{\eta }_{\left(n\right)}|u_i^{\left(n\right)}|---\left(4\right)$$s.t.u_i^{\left(n\right)}\ge 0,n\ne N$其中，η_(n)是控制模态n中的稀疏度；2.6)使用如下方法求解公式(4)$u_{ij}^{\left(n\right)}=\left\{\begin{array}{cc}\frac{t-{\eta }_{\left(n\right)}}{b_j{b}_j^T},& t>{\eta }_{\left(n\right)}\\ 0,& t\le {\eta }_{\left(n\right)}\end{array}\right.$其中，为中的元素，$B_{\left(n\right)}={[b_1^T,b_2^T,\mathrm{...},b_{R_n}^T]}^T$$t=b_j(B_{\left(n\right)}^T{u}_i^{\left(n\right)}-b_j^T{x}_i)$2.7)根据步骤2.4)与步骤2.6)求得的u_i，拼合成U，反复迭代，直至收敛；得到分类模型的参数{U₁,…,U_N；α}；所述的步骤(3)包括：3.1)编写爬虫程序下载用户所需的待分类的多媒体数据，构成多媒体数据测试集合其中I_Nt是集合TEST中的待分类的多媒体数据个数；3.2)对TEST中的多媒体数据提取不同种类的特征，与训练时所提取的特征一致，Tt₁,…,Tt_N‑1，N‑1为特征的种类数；3.3)建立测试张量其中I₁,…,I_N‑1模态对应为步骤1.2)中多媒体数据的特征T₁,…,T_N‑1，I_N模态对应为待分类的多媒体数据个数；3.4)根据得到的分类模型参数{U₁,…,U_N；α}，以及公式(3)，计算待分类的多媒体数据的y_i；3.5)根据步骤3.4)中得到的y_i，进行以0.5为阈值的二值化操作，获得待分类的多媒体数据的标签及分类结果。