基于深度卷积神经网络自动识别甲状腺结节良恶性的方法

摘要

本发明涉及辅助医学诊断，旨在提供基于深度卷积神经网络自动识别甲状腺结节良恶性的方法。该基于深度卷积神经网络自动识别甲状腺结节良恶性的方法包括：读取甲状腺结节的B超数据；对甲状腺结节图像进行预处理；选取图像分割出结节部分与非结节部分；将提取出来的ROI平均分成p组，利用CNN提取这些ROI的特征，并进行归一化；选出p－1组数据做训练集，剩余一组做测试，训练出识别模型进行测试；重复做p次交叉检验，得到识别模型的最佳参数。本发明不仅借助深度卷积神经网络可以自动的分割出甲状腺结节，弥补了基于活动轮廓等不能解决弱边界问题的不足，而且可以自动学出提取出有价值的特征组合，避免了人工选取特征的复杂。

主权项

基于深度卷积神经网络自动识别甲状腺结节良恶性的方法，其特征在于，包括下述过程：一、读取甲状腺结节的B超数据；二、对甲状腺结节图像进行预处理；三、选取图像利用卷积神经网络，即CNN，自动学习分割出结节部分与非结节部分，结节部分就是感兴趣区域，即ROI，并对结节形状进行细化；四、将步骤三提取出来的ROI，平均分成p组，利用CNN提取这些ROI的特征，并进行归一化；五、选出步骤四中p‑1组数据做训练集，剩余一组做测试，通过CNN训练出识别模型进行测试；六、重复步骤五，做p次交叉检验，得到识别模型的最佳参数，最终确定基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统；所述过程一具体为：读取甲状腺结节图像，包括至少5000张良性结节的图像和至少5000张恶性结节的图像；所述过程二具体为：将过程一读取的甲状腺结节图像，先进行图像灰度化，并利用周围像素点的灰度值去掉超声图像中医生为测量结节相关量做的标记，再利用高斯滤波去噪，最后利用灰度直方图均衡化增强对比度，得到预处理后的增强图像；所述过程三具体为：第1步：选取经过程二预处理后的增强图像10000张，包括良恶性结节各5000张；第2步：对每一张图片，首先手动截取出结节部分与非结节部分，然后通过CNN训练出自动分割的模型；所述CNN是由13层卷积层、2层下采样层组成的网络结构；卷积层的卷积核的大小分别为：第一层为13x13，第二层与第三层为5x5，其余各层为3x3；卷积层的步长分别是：前两个卷积层是2，其余的都是1；下采样层的大小都是3x3，步长都是2；通过CNN训练出自动分割的模型的具体方法为：(1)通过CNN的卷积层与下采样层自动学习特征，并提取出特征，具体步骤为：步骤A：在一个卷积层，上一层的特征maps被一个能够学习的卷积核进行卷积，然后通过一个激活函数，就能得到输出特征map；每一个输出是卷积核卷积一个输入或者组合多个卷积输入的值：$x_j^l=f({\Sigma }_{i\in M_j}{x}_i^{l-1}*k_{ij}^l+b_j^l)$其中，符号*表示卷积运算符；所述l表示层数；所述i表示l‑1层的第i个神经元节点；所述j表示l层的第j个神经元节点；所述M_j表示选择的输入maps的集合；所述是指l‑1层的输出，作为l层的输入；所述f是激活函数，这里取sigmoid函数作为激活函数，e表示欧拉数2.718281828，e^x就是指数函数；所述k是卷积算子；所述b是偏置；每一个输出map会给一个额外的偏置b，但是对于一个特定的输出map，卷积每个输入maps的卷积核都是不一样的；这一步还需要进行梯度计算，以更新灵敏度，灵敏度用于表示b变化多少，误差会变化多少：其中，所述l表示层数；所述j表示l层的第j个神经元节点；所述o表示每个元素相乘；所述δ表示输出神经元的灵敏度，即偏置b的变化率；所述s^l＝W^lx^l‑1+b^l，x^l‑1是指l‑1层的输出，W为权重，b为偏置；所述f是激活函数，这里取sigmoid函数作为激活函数，e表示欧拉数2.718281828，e^x就是指数函数；f′(x)是f(x)的导函数；所述表示各层共享的权值；所述up(.)表示一个上采样操作；然后对l层中的灵敏度map中的所有节点进行求和，快速计算偏置b的梯度：$\frac{\partial E}{\partial b_j^l}={\Sigma }_{u,v}{\left({\delta }_j^l\right)}_{u,v}$其中，所述l表示层数；所述j表示l层的第j个神经元节点；所述b表示偏置；所述δ表示输出神经元的灵敏度，即偏置b的变化率；所述u，v表示输出maps的(u，v)位置；所述E是误差函数，这里所述C表示标签的维数，如果是两分类的问题，则标签就可以记为y_h∈{0，1}，此时C＝1，也可以记为y_h∈{(0，1)，(1，0)}，此时C＝2；所述表示第n个样本对应标签的第h维；所述表示第n个样本对应的网络输出的第h个输出；最后利用BP算法，计算卷积核的权值：${\mathrm{\Delta W}}^l=-\eta \frac{\partial E}{\partial W^l}$其中，所述W是权重参数；所述E是误差函数，且所述C表示标签的维数，如果是两分类的问题，则标签就可以记为y_h∈{0，1}，此时C＝1，也可以记为y_h∈{(0，1)，(1，0)}，此时C＝2；所述表示第n个样本对应标签的第h维；所述表示第n个样本对应的网络输出的第h个输出；所述η是学习率，即步长；由于很多连接的权值是共享的，因此对于一个给定的权值，需要对所有与该权值有联系的连接对该点求梯度，然后对这些梯度进行求和：$\frac{\partial E}{\partial k_{ij}^l}={\Sigma }_{u,v}{\left({\delta }_j^l\right)}_{u,v}{\left(p_i^{l-1}\right)}_{u,v}$其中，所述l表示层数；所述i表示l层的第i个神经元节点；所述j表示l层的第j个神经元节点；b表示偏置，所述δ表示输出神经元的灵敏度，即偏置b的变化率；所述u，v表示输出maps的(u，v)位置；所述E是误差函数，这里所述C表示标签的维数，如果是两分类的问题，则标签就可以记为y_h∈{0，1}，此时C＝1，也可以记为y_h∈{(0，1)，(1，0)}，此时C＝2；所述表示第n个样本对应标签的第h维；所述表示第n个样本对应的网络输出的第h个输出；所述是卷积核；所述是中的元素在卷积的时候与逐元素相乘的patch，即所有与卷积核大小相同的图片中所有的区域块，输出卷积map的(u，v)位置的值是由上一层的(u，v)位置的patch与卷积核逐元素相乘的结果；步骤B：下采样层有N个输入maps，就有N个输出maps，只是每个输出map都变小了，则有：$x_j^l=f\left({\beta }_j^{l}down\right(x_j^{l-1})+b_j^l)$其中，所述f是激活函数，这里取sigmoid函数作为激活函数，e表示欧拉数2.718281828，e^x就是指数函数；所述表示各层共享的权值；所述down(.)表示一个下采样函数；对输入图像的不同nxn的块的所有像素进行求和，这样输出图像在两个维度上都缩小了n倍；每个输出map都对应一个属于自己的权重参数β和一个加性偏置b；通过梯度下降方法来更新参数β和b：$\frac{\partial E}{\partial b_j}={\Sigma }_{u,v}{\left({\delta }_j^l\right)}_{u,v}$其中，所述conv2是二维卷积算子；所述rot180是旋转180度；所述’full’是指进行完全卷积；所述l表示层数；所述i表示l层的第i个神经元节点；所述j表示l层的第j个神经元节点；所述b表示偏置；所述δ表示输出神经元的灵敏度，即偏置b的变化率；所述u，v表示输出maps的(u，v)位置；所述E是误差函数，表达式同上，即所述C表示标签的维数，如果是两分类的问题，则标签就可以记为y_h∈{0，1}，此时C＝1，也可以记为y_h∈{(0，1)，(1，0)}，此时C＝2；所述表示第n个样本对应标签的第h维；所述表示第n个样本对应的网络输出的第h个输出；所述β是权重参数；所述down(.)表示一个下采样函数；所述是第l+1层的卷积核；所述是的l‑1层的输出的第j个神经元节点；所述s^l＝W^lx^l‑1+b^l，其中W是权重参数，b是偏置，是s^l的第j个分量；步骤C：CNN自动学习特征map的组合，则第j个特征map组合为：$x_j^l=f\left(\underset{i=1}{\overset{N_{in}}{\Sigma }}{\alpha }_{ij}\right(x_i^{l-1}*k_i^l)+b_j^l)$s.t.∑_iα_ij＝1，and 0≤α_ij≤1.其中，符号*表示卷积运算符；所述l表示层数；所述i表示l层的第i个神经元节点；所述j表示l层的第j个神经元节点；所述f是激活函数，这里取sigmoid函数作为激活函数，e表示欧拉数2.718281828，e^x就是指数函数；所述是第l‑1层输出的第i个分量；所述N_in表示输入的map数；所述是卷积核；所述是偏置；所述α_ij表示l‑1层的输出map作为l层的的输入时，l‑1层得到第j个输出map的其中第i个输入map的权值或者贡献；(2)利用(1)中提取的特征结合Softmax自动识别出结节，确定好自动分割的模型；具体Softmax识别过程就是给定一个样本，就输出一个概率值，该概率值表示的是这个样本属于类别几的概率，损失函数为：$J\left(\theta \right)=-\frac{1}{m}\left[\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{c}{\Sigma }}1\right\{y^{\left(i\right)}=j\left\}log\frac{e^{{\theta }_j^T{x}^{\left(i\right)}}}{{\Sigma }_{l=1}^c{e}^{{\theta }_l^{T}x\left(i\right)}}\right]+\frac{\lambda }{2}\underset{i=1}{\overset{c}{\Sigma }}\underset{j=0}{\overset{n}{\Sigma }}{\theta }_{ij}^2$其中，所述m表示共有m个样本；所述c表示这些样本总共可分为c类；所述是一个矩阵，每一行是一个类别所对应的参数，即权重与偏置；所述1{.}是一个指示性函数，即当大括号中的值为真时，该函数的结果为1，否则其结果为0；所述λ是平衡保真项与正则项的参数，这里λ取正数；所述J(θ)是指系统的损失函数；所述e表示欧拉数2.718281828，e^x就是指数函数；所述T是表示矩阵计算中的转置运算符；log表示自然对数，即以欧拉数为底的对数；n表示权重与偏置参数的维度；x⁽ⁱ⁾是输入向量的第i维；y⁽ⁱ⁾是每个样本标签的第i维；然后利用梯度求解：${▿}_{{\theta }_j}J\left(\theta \right)=-\frac{1}{m}\left[\underset{i=1}{\overset{m}{\Sigma }}{x}^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\theta \left)\right)\right]+{\mathrm{\lambda \theta }}_j$其中，所述m表示共有m个样本；所述是一个矩阵，每一行是一个类别所对应的参数，即权重与偏置；所述1{.}是一个指示性函数，即当大括号中的值为真时，该函数的结果为1，否则其结果为0；所述λ是平衡保真项与正则项的参数，这里λ取正数；所述J(θ)是指系统的损失函数；是J(θ)导函数；所述e表示欧拉数2.718281828，e^x就是指数函数；所述T是表示矩阵计算中的转置运算符；log表示自然对数，即以欧拉数为底的对数；x⁽ⁱ⁾是输入向量的第i维；y⁽ⁱ⁾是每个样本标签的第i维；(3)利用CNN自动分割所有甲状腺的结节，即区分出结节区域与非结节区域，找到结节区域的边界，并对分割出的结节形状进行细化，即通过腐蚀、膨胀形态学算子进行填洞以及去掉与非结节区域的连接；第3步：利用第2步得到的模型对所有的甲状腺结节图片进行自动分割，得到ROI，即所有的良恶性结节；所述过程四具体为：将过程三自动分割出的ROI平均分成p组，对数据进行归一化，即自动分割出结节之后，提取出结节的特征，对这些特征进行线性变换，使结果值映射到[0，1]；所述过程五具体为：利用CNN训练识别模型，对所有ROI提取特征；然后利用一种新的Softmax分类，即只有两分类的Softmax分类器，求解一个损失函数的最优值，即优化J(θ)，Softmax分类器的类别数c等于2；通过梯度下降方法就能得到属于良性结节还是恶性结节的概率，具体过程与过程三中自动分割过程的方法是一样；所述过程六具体为：重复过程五，即对于p组数据，每次选出p‑1组数据训练，余下的做测试，最终得到识别模型的最佳参数，从而就得到基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统；将需要识别的甲状腺结节图像输入到这个辅助诊断系统，即可获得该结节的良恶性诊断。