利用脑成像空间特征和底层视觉特征进行视频聚类的方法

摘要

本发明涉及一种利用脑功能成像空间特征和底层视觉特征进行视频聚类的方法，其特征在于：提取功能磁共振图像序列中的大脑信号向量，计算信号向量的皮尔森相关系数矩阵，利用单因素方差分析和相关特征选择方法从皮尔森相关系数矩阵中提取脑功能成像空间特征，利用部分视频的底层视觉特征和对应的脑功能成像空间特征建立高斯过程回归模型，将剩余视频的底层视觉特征映射到脑功能成像空间特征上，将所有视频的脑功能成像空间特征和底层视觉特征进行多模态谱聚类。利用本发明方法，可以实现脑功能成像空间特征和底层视觉特征的融合聚类，与基于底层视觉特征如颜色、形状等视频聚类方法及单独使用脑功能特征空间聚类相比，大大提高了聚类准确性。

主权项

一种利用脑成像空间特征和底层视觉特征进行视频聚类的方法，其特征在于步骤如下：步骤1提取脑功能成像空间特征，具体步骤如下：步骤a1：利用公式$p_{i,j,k}=\frac{{\mathrm{\Sigma s}}_{i,j,r}{s}_{i,k,r}-\frac{{\mathrm{\Sigma s}}_{i,j,r}{\mathrm{\Sigma s}}_{i,k,r}}{n}}{\sqrt{(\Sigma s_{i,j,r}^2-\frac{{\left(\Sigma s_{i,j,r}\right)}^2}{n})({\mathrm{\Sigma s}}_{i,k,r}^2-\frac{{\left({\mathrm{\Sigma s}}_{i,k,r}^2\right)}^2}{n})}}$提取N个功能磁共振图像序列中的第i个功能磁共振图像序列上大脑M个区域的信号向量S_i,j和S_i,k的皮尔森相关系数p_i,j,k，得到第i个功能磁共振图像序列的皮尔森相关系数矩阵：$P_i=\left[\begin{array}{c}{p}_{i,\mathrm{1,1}},p_{i,\mathrm{1,2}},...,p_{i,1,k},...,p_{i,1,M}\\ p_{i,\mathrm{2,1}},p_{i,\mathrm{2,2}},...,p_{i,2,k},...,p_{i,2,M}\\ ...\\ p_{i,j,1},p_{i,j,2},...,p_{i,j,k},...,p_{i,j,M}\\ ...\\ p_{i,M,1},p_{i,M,2},...p_{i,M,k},...,p_{i,M,M}\end{array}\right]$其中：信号向量S_i,j＝[s_i,j,1,s_i,j,2,...,s_i,j,r,...s_i,j,n]，信号向量S_i,k＝[s_i,k,1,s_i,k,2,...,s_i,k,r,...s_i,k,n]，i表示N个功能磁共振图像序列中的第i个功能磁共振图像序列的序号，i＝1,2,...,N，k＝1,2,...,M,j＝1,2,...,M，j表示第i个功能磁共振图像序列中大脑的第j个区域的序号，k表示第i个功能磁共振图像序列中大脑的第k个区域的序号，r表示信号向量S_i,j和S_i,k中第r个元素的序号，N∈[1,1000]，M∈[1,1000]，N表示功能磁共振图像序列的总数，M表示功能磁共振图像序列中大脑区域的总数；s_i,j,r表示信号向量S_i,j的第r个元素；s_i,k,r表示信号向量S_i,k的第r个元素；n表示信号向量S_i,j和S_i,k的长度；所述N个功能磁共振图像序列，是利用功能磁共振技术，在测试者观看N个视频时测得的功能磁共振图像；步骤b1：取皮尔森相关系数矩阵P_i上三角部分，拉伸成向量Q_i＝[q_i,1,q_i,2,...,q_i,d]，d＝(M×M)/2‑M/2，然后将N个Q_i向量按行排列构成矩阵D：$D=\left[\begin{array}{c}{Q}_1\\ Q_2\\ ...\\ Q_i\\ ...\\ Q_N\end{array}\right]=\left[\begin{array}{c}{q}_{\mathrm{1,1}},q_{\mathrm{1,2}},...,q_{1,d}\\ q_{\mathrm{2,1}},q_{\mathrm{2,2}},...,q_{2,d}\\ ...\\ q_{i,1},q_{i,2},...,q_{i,d}\\ ...\\ q_{N,1},q_{N,2},...q_{N,d}\end{array}\right]$其中，q_i,1,q_i,2,...,q_i,d表示Q_i的第1，2，…，d个元素；步骤c1：计算矩阵D每一列元素的均值，将矩阵D的每一列元素减去该列元素的均值，得到矩阵U：$U=\left[\begin{array}{c}{U}_1\\ U_2\\ ...\\ U_i\\ ...\\ U_N\end{array}\right]=\left[\begin{array}{c}{u}_{\mathrm{1,1}},u_{\mathrm{1,2}},...,u_{1,d}\\ u_{\mathrm{2,1}},u_{\mathrm{2,2}},...,u_{2,d}\\ ...\\ u_{i,1},u_{i,2},...,u_{i,d}\\ ...\\ u_{N,1},u_{N,2},...u_{N,d}\end{array}\right]$在矩阵U的第v列U_v＝[u_1,v,u_2,v,...,u_N,v]^T中找出属于第K类视频的元素，并计算属于第K类视频的元素均值得到类内均值向量其中，U₁,U₂,...,U_i,...,U_N表示N个视频对应的功能磁共振图像序列中提取的N个向量，N个视频可分为C类；u_1,v,u_2,v,...,u_N,v表示U_v＝[u_1,v,u_2,v,...,u_N,v]^T中的第1,2,...,N个元素，这N个元素按照对应的C类视频分为C类；K＝1,2,...,C，K表示C类视频中的第K类；C表示N个视频的总类别个数；再利用公式$F=\frac{\left(\right|L\left|\right|\overline{u_C}\left|\cos \theta \right)\times (N-C)}{(C-1)\times (\mathrm{TSS}-\left(\right|L\left|\right|\overline{u_C}\left|\cos \theta \right))}$计算累计分布函数参数F；利用公式$g=1-\frac{1}{\exp (\mathrm{gam}(C-1)+\mathrm{gam}(N-C)-\mathrm{gam}(N-1))}$计算参数g；当g＜T时，T∈(0,10000]，保留矩阵U中的第v列；否则，从矩阵U中删除该列，得到经过单因素方差分析选择后的矩阵B：$B=\left[\begin{array}{c}{B}_1\\ B_2\\ ...\\ B_i\\ ...\\ B_N\end{array}\right]=\left[\begin{array}{c}{b}_{\mathrm{1,1}},b_{\mathrm{1,2}},...,b_{1,x}\\ b_{\mathrm{2,1}},b_{\mathrm{2,2}},...,b_{2,x}\\ ...\\ b_{i,1},b_{i,2},...,b_{i,x}\\ ...\\ b_{N,1},b_{N,2},...b_{N,x}\end{array}\right]$其中，C表示视频的类别总数；||表示取绝对值；L＝[l₁,l₂,...,l_K,...,l_C]^T；l_K表示U_v中属于第K类视频的元素个数；θ为向量和L间的夹角；表示U_v的均值；上标T表示转置；exp表示指数函数；g＜T中的T表示阈值，T∈(0,10000]；下标x表示从U中选取的列向量的个数；步骤d1：遍历矩阵B的每一列，利用相关特征选择方法将参数的数值最高的y列构成脑功能成像空间特征矩阵C：$C=\left[\begin{array}{c}{C}_1\\ C_2\\ ...\\ C_i\\ ...\\ C_N\end{array}\right]=\left[\begin{array}{c}{c}_{\mathrm{1,1}},c_{\mathrm{1,2}},...,c_{1,y}\\ c_{\mathrm{2,1}},c_{\mathrm{2,2}},...,c_{2,y}\\ ...\\ c_{i,1},c_{i,2},...,c_{i,y}\\ ...\\ c_{N,1},c_{N,2},...c_{N,y}\end{array}\right]$其中：下标y表示从B中选取的列向量的个数；表示向量[r_1,w,r_2,w,…,r_s,w,…,r_y,w]的均值；r_s,w表示矩阵C的第s个列向量C_s与类别标签向量W＝[1,1,1,...2,2,2,...,K,K,K,...C,C,C]^T的相关性参数；上标T表示取向量转置；$r_{s,w}=2.0\times \left[\frac{\underset{w_h\in C_s}{\Sigma }p\left(w_h\right)\underset{C_{\mathrm{sh}}\in C_s}{\Sigma }p\left(c_{s,h}\right|w_h){\log }_{2}p\left(c_{s,h}\right|w_h)-\underset{c_{s,h}\in C_s}{\Sigma }p\left(c_{s,h}\right){\log }_{2}p\left(c_{s,h}\right)}{-\underset{c_{s,h}\in C_s}{\Sigma }p\left(c_{s,h}\right){\log }_{2}p\left(c_{s,h}\right)-\underset{w_h-W}{\Sigma }p\left(w_h\right){\log }_{2}p\left(w_h\right)}\right];$p(w_h)表示w_h在W中的概率分布；w_h表示向量W中的第h个元素；p(c_s,h|w_h)表示c_s,h在C_s中的条件概率分布；p(c_s,h)表示c_s,h在C_s中的概率分布；c_s,h表示向量C_s中的第h个元素；log₂表示以2为底数的对数函数；表示矩阵：$\left[\begin{array}{c}{r}_{\mathrm{1,1}},r_{\mathrm{1,2}},...,r_{1,o},...,r_{1,y}\\ r_{\mathrm{2,1}},r_{\mathrm{2,2}},...,r_{2,o},...,r_{2,y}\\ ...\\ r_{s,1},r_{s,2},...,r_{s,o},...,r_{s,y}\\ ...\\ r_{y,1},r_{y,2},...,r_{y,o},...,r_{y,y}\end{array}\right]$中所有元素的均值；r_s,o表示矩阵C的第s个列向量C_s与第o个列向量C_o的相关性参数；$r_{s,o}=2.0\times \left[\frac{\underset{c_{o,h}\in C_o}{\Sigma }p\left(c_{o,h}\right)\underset{c_{s,h}\in C_s}{\Sigma }p\left(c_{s,h}\right|c_{o,h}){\log }_{2}p\left(c_{s,h}\right|c_{o,h})-\underset{c_{s,h}\in C_s}{\Sigma }p\left(c_{s,h}\right){\log }_{2}p\left(c_{s,h}\right)}{-\underset{c_{s,h}\in C_s}{\Sigma }p\left(c_{s,h}\right){\log }_{2}p\left(c_{s,h}\right)-\underset{c_{o,h}\in C_o}{\Sigma }p\left(c_{o,h}\right){\log }_{2}p\left(c_{o,h}\right)}\right];$c_o,h表示向量C_o中的第h个元素；p(c_o,h)表示c_o,h在C_o中的概率分布；p(c_s,h|c_o,h)表示c_s,h在C_s中的条件概率分布；步骤2提取视频库中所有N_a个视频数据的底层视觉特征向量Fv_id，具体步骤如下：步骤a2：利用尺度不变特征变换算法提取第id个视频第一帧的Nsi个描述向量集合FS_id＝{Fsi_id,1,Fsi_id,2,...,Fsi_id,sh,...,Fsi_id,Nsi}，sh＝1,2,...,Nsi，id＝1,2,...,N_a，N_a∈(0,100000]，Nsi∈[0,10000]，对N_a个视频都提取描述向量集合，得到$[{\mathrm{FS}}_1,{\mathrm{FS}}_2,...,{\mathrm{FS}}_{\mathrm{id}},...,{\mathrm{FS}}_{N_a}];$步骤b2：利用k均值算法对进行聚类，聚类个数为G；步骤c2：计算FS_id＝{Fsi_id,1,Fsi_id,2,...,Fsi_id,sh,...,Fsi_id,Nsi}中分别属于G类的向量个数[Num_id,1,Num_id,2,...,Num_id,G]，得到第id个视频的底层视觉特征向量：Fv_id＝[Num_id,1,Num_id,2,...,Num_id,G]；步骤3利用高斯过程回归算法预测N_a‑N个视频数据的脑功能成像空间特征向量：利用脑功能成像空间特征矩阵C和其对应N个视频的底层视觉特征[Fv₁,Fv₂,...,Fv_idp,...,Fv_N]，idp＝1,2,...,N，建立高斯过程回归模型GPM，利用高斯过程回归模型GPM预测得到N_a‑N个视频的脑功能成像空间特征向量：$\left[\begin{array}{c}{C}_{N+1}\\ C_{N+2}\\ ...\\ C_{N_a}\end{array}\right]=\left[\begin{array}{c}{c}_{N+\mathrm{1,1}},c_{N+\mathrm{1,2}},...,c_{N+1,y}\\ c_{N+\mathrm{2,1}},c_{N+\mathrm{2,2}},...,c_{N+2,y}\\ ...\\ c_{N_a,1},c_{N_a,2},...,c_{N_a,y}\end{array}\right];$步骤4利用N_a个脑功能成像空间特征向量[C₁,C₂,...,C_id,...,C_Na]和底层视觉特征[Fv₁,Fv₂,...,Fv_id,...,Fv_Na]进行多模态谱聚类，具体步骤如下：步骤a4：计算[C₁,C₂,...,C_id,...,C_Na]中与空间中的一个点C_id＝(c_id,1,c_id,2,...,c_id,y)欧氏距离最近的k个点，并定义为近邻关系，k＝[1,10000]；再计算[Fv₁,Fv₂,...,Fv_id,...,Fv_Na]中与空间中的一个点Fv_id＝(fv_id,1,fv_id,2,...,fv_id,y)欧氏距离最近的k个点，并定义为近邻关系；其中：c_id,1,c_id,2,...,c_id,y表示脑功能成像空间特征C_id中第1、2到y个元素；fv_id,1,fv_id,2,...,fv_id,y表示底层视觉特征Fv_id中第1、2到y个元素；步骤b4：利用计算属于近邻关系的C_id和C_jd两点间的权重CWeight_id,jd，得到权重矩阵；$\mathrm{CWeight}=\left[\begin{array}{c}{\mathrm{CWeight}}_{\mathrm{1,1}},{\mathrm{CWeight}}_{\mathrm{1,2}},...,{\mathrm{CWeight}}_{1,\mathrm{jd}},...,{\mathrm{CWeight}}_{1,N_a}\\ {\mathrm{CWeight}}_{\mathrm{2,1}},{\mathrm{CWeight}}_{\mathrm{2,2}},...,{\mathrm{CWeight}}_{2,\mathrm{jd}},...,{\mathrm{CWeight}}_{2,N_a}\\ ...\\ {\mathrm{CWeight}}_{\mathrm{id},1},{\mathrm{CWeight}}_{\mathrm{id},2},...,{\mathrm{CWeight}}_{\mathrm{id},\mathrm{jd}},...,{\mathrm{CWeight}}_{\mathrm{id},N_a}\\ ...\\ {\mathrm{CWeight}}_{N_a,1},{\mathrm{CWeight}}_{N_a,2},...,{\mathrm{CWeight}}_{N_a,\mathrm{jd}},...,{\mathrm{CWeight}}_{N_a,N_a}\end{array}\right]$同理，利用${\mathrm{FvWeight}}_{\mathrm{id},\mathrm{jd}}=\prod \exp [{({\mathrm{Fv}}_{\mathrm{id},l}-{\mathrm{Fv}}_{\mathrm{jd},l})}^2/{\sigma }_l^2]$计算属于近邻关系Fv_i和Fv_j之间的权重FvWeight_id,jd，得到权重矩阵：$\mathrm{FvWeight}=\left[\begin{array}{c}{\mathrm{FvWeight}}_{\mathrm{1,1}},{\mathrm{FvWeight}}_{\mathrm{1,2}},...,{\mathrm{FvWeight}}_{1,\mathrm{jd}},...,{\mathrm{FvWeight}}_{1,N_a}\\ {\mathrm{FvWeight}}_{\mathrm{2,1}},{\mathrm{FvWeight}}_{\mathrm{2,2}},...,{\mathrm{FvWeight}}_{2,\mathrm{jd}},...,{\mathrm{FvWeight}}_{2,N_a}\\ ...\\ {\mathrm{FvWeight}}_{\mathrm{id},1},{\mathrm{FvWeight}}_{\mathrm{id},2},...,{\mathrm{FvWeight}}_{\mathrm{id},\mathrm{jd}},...,{\mathrm{FvWeight}}_{\mathrm{id},N_a}\\ ...\\ {\mathrm{FvWeight}}_{N_a,1},{\mathrm{FvWeight}}_{N_a,2},...,{\mathrm{FvWeight}}_{N_a,\mathrm{jd}},...,{\mathrm{FvWeight}}_{N_a,N_a}\end{array}\right]$其中：C_id和C_jd表示第id个视频和第jd个视频的脑功能成像空间特征向量；Π表示连乘积；c_id,l和c_jd,l表示C_id和C_jd的第l个元素；l＝1,2,...,y；σ_l表示一个常数，σ_l∈(0,1]；Fv_id和Fv_jd表示第id个视频和第jd个视频的底层视觉特征向量；Fv_id,l和Fv_jd,l表示Fv_id和Fv_jd的第l个元素；步骤c4：在矩阵CWeight中令CWeight_id,id＝0；在矩阵FvWeight中令FvWeight_id,id＝0；再利用公式$\left\{\begin{array}{c}\mathrm{LC}=\mathrm{DC}-\mathrm{CWeight}\\ \mathrm{LFv}=\mathrm{DFv}-\mathrm{FvWeight}\end{array}\right.$计算CWeight和FvWeight的拉普拉斯矩阵；利用公式L_{multi‑modal}＝LC+αI+LFv+αI计算多模态拉普拉斯矩阵L_{multi‑modal}，大小为N_a×N_a；其中：LC和LFv表示矩阵CWeight和FvWeight的拉普拉斯矩阵；DC表示[C₁,C₂,...,C_id,...,C_Na]中两两脑功能成像空间特征向量之间的欧式距离所构成的矩阵；DFv表示[Fv₁,Fv₂,...,Fv_id,...,Fv_Na]中两两底视觉层特征向量之间的欧式距离所构成的矩阵；I表示单位矩阵，大小为N_a×N_a；α表示常数；步骤d4：计算多模态拉普拉斯矩阵L_{multi‑modal}的特征值和特征向量，将特征值从大到小排列，选取前C个特征值对应的特征向量Vector₁，Vector₂,...,Vector_C，构成矩阵VecMatrix＝[Vector₁,Vector₂,...,Vector_C]，大小为N_a×C，计算矩阵VecMatrix每一行的和，然后用该行元素分别除以该行元素的和，得到矩阵VecMatrixNew，大小为N_a×C；其中：C表示视频库中视频类别个数；步骤e4：将VecMatrixNew每行中值最大的元素置为1，其余元素置为0，得到VecMatrixNew1；步骤f4：将VecMatrixNew1的每一行视为高维空间中的一个点，用光谱旋转算法对VecMatrixNew1矩阵中的N_a个点进行聚类，得到类别矩阵Index，大小为N_a×C；步骤g4：利用公式Index0＝Index+0.2得到初始类别矩阵Index0，计算Indexnew＝Index0×diag[[diag(Index0^T×I×Index0)]^‑1]^‑1/2，将Indexnew赋给Index0，再次计算Indexnew＝Index0×diag[[diag(Index0^T×I×Index0)]^‑1]^‑1/2，将Indexnew赋给Index0，重复N_e次，N_e∈[1,10000]，得到最终的Indexnew，大小为N_a×C，计算Indexnew每行最大值所在的第cg列，将最终标签Indexfinal对应行置为cg，cg∈[1,2,..,C]，Indexfinal大小为N_a×1；其中，diag表示提取矩阵的对角线元素；I表示单位向量；步骤h4：计算Indexfinal与视频真实类别标签IndexTrue的相同元素个数，除以N_a得到视频聚类准确率。