一种基于多任务学的多模态脑网络特征融合方法

摘要

本发明公开了一种基于多任务学的多模态脑网络特征融合方法，包括：对获取的fMRI图像、DTI图像进行预处理；将预处理后的fMRI图像配准到标准的AAL模板；将预处理后的DTI图像做纤维追踪，计算FA值，并通过AAL模板构造结构连接矩阵；分别计算功能连接矩阵和结构连接矩阵每个脑区的聚类系数，作为功能特征和结构特征；将功能特征和结构特征当作两个不同的任务，通过求解多任务学最优化问题评定最优特征集。本发明的方法利用多个模态互为补充的信息进行同时学并进行分类，提高了分类的准确率，客服了单任务特征选择方法时不考虑特征之间的关联性，以及只用一个模态的特征进行模式分类可能导致信息量不足的问题。

主权项

一种基于多任务学习的多模态脑网络特征融合方法，具体包括如下步骤：步骤1：对获取的fMRI图像、DTI图像进行预处理；步骤2：将预处理后的fMRI图像配准到标准的AAL模板，并计算功能连接矩阵；步骤3：将预处理后的DTI图像配准到AAL模板，计算FA值，构造结构连接矩阵；步骤4：分别计算功能连接矩阵和结构连接矩阵每个脑区的聚类系数，作为功能特征和结构特征；步骤5：将步骤4得到的功能特征和结构特征当作两个不同的任务，通过求解多任务学习最优化问题评定最优特征集，即得到融合后的特征集；步骤2所述的计算功能连接矩阵的具体过程如下：将预处理后的fMRI图像按AAL模板进行分区，提取每一个脑区的时间序列，并计算两两时间序列之间的皮尔逊相关系数：$r_{X,Y}=\frac{\underset{i=1}{\overset{n}{\Sigma }}(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{\underset{i=1}{\overset{n}{\Sigma }}{(X_i-\bar{X})}^2\underset{i=1}{\overset{n}{\Sigma }}{(Y_i-\bar{Y})}^2}}$其中，r_X,Y表示时间序列X和时间序列Y的相关系数，X_i表示指时间序列X的第i个时间点，n是时间点的个数；将得到的皮尔逊相关系数作为功能网络的权值，即得到功能连接矩阵；步骤4所述的聚类系数具体计算过程如下：$C_i^w=\frac{\underset{j,h\in N}{\Sigma }{\left(w_{\mathrm{ij}}{w}_{\mathrm{ih}}{w}_{\mathrm{jh}}\right)}^{1/3}}{k_i(k_i-1)}$其中，i≠j≠h，是指结点i的聚类系数，N为与节点i相邻的节点集合，w_ij为节点i和j之间的权值，k_i为节点i的度；步骤5的具体过程如下：将功能特征和结构特征当作两个不同的任务，通过求解下面优化问题进行特征选择：$\underset{W}{\min }\underset{j=1}{\overset{t}{\Sigma }}{\left|\right|w_j^T{V}_j-Y_j\left|\right|}_F^2+p_1{\left|\right|W\left|\right|}_1+p_2{\left|\right|W\left|\right|}_F^2$其中，t为任务个数，T表示转置运算，w_j为第j个任务的权重向量，V_j为第j个任务中全体特征，Y_j∈{1,‑1}为类别标签，p₁,p₂为正则化因子，W＝{w₁,w₂,…，w_t}，${\left|\right|W\left|\right|}_1={\Sigma }_{j=1}^t{\Sigma }_{i=1}^d\left|w_{j,i}\right|,{\left|\right|W\left|\right|}_F=\sqrt{{\Sigma }_{j=1}^t{\Sigma }_{i=1}^d{w}_{j,i}^2},$d为每个任务的特征个数，w_j,i表示第j个任务的第i个特征的权值；求得使目标函数达到最小时所对应的V_j，将每个任务中非零的权值所对应的特征选择出来，即最优特征集，该最优特征集作为融合后的特征集。