基于图像内容分析的中医舌象检索方法

摘要

基于内容的中医舌象检索方法，属于图像分析和检索领域。本发明鉴于中医舌诊缺乏客观定量化分析，并无法对分析结果进行有效查询和管理的特点，设计了一种基于多特征的中医舌象检索方法。该发明的特征在于：该方法包括特征库构建和舌象检索两大部分；特征库构建过程中，提取了舌象的颜色、纹理和形状信息；而在进行舌象检索时，首先基于舌象的文本标注信息进行初始检索，然后基于特征库的信息计算舌象间的相似度，得到最终检索结果。本发明可以得到令医生满意的查询结果，具有一定的实用价值。

主权项

1.基于内容的中医舌象检索方法，其特征在于该方法分为两大部分：特征库构建和舌象检索；而舌象检索又分为两个部分：关键词检索和图像检索，前者基于舌象的文本标注信息进行初始检索，后者利用特征库，并采用相似度计算的方法进行基于内容的舌象客观化检索；当用户输入关键词进行查询时，初始检索结果将返回数组推荐舌象，这些舌象的标注信息中往往包含该关键词及一个相关词汇，然后用户可以选择其中一幅舌象进行二次查询以获得更多相关舌象，本方法根据该舌象与舌象库中舌象的相似度返回查询结果；1).特征库构建：提取舌象的颜色、纹理以及形状特征，建立舌象特征库，其中舌象各个特征提取的过程如下所示：1.1舌象颜色特征提取：在提取颜色特征时，先使用基于聚类树的支持向量机方法对舌体的各个像素进行识别，具体做法是：对于图像库的每幅舌图像，取一个同样大小的图像块，然后计算每个块的R、G、B三个分量的均值作为训练样本的特征矢量，将图像块标注为以下11种颜色类别的一种：舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、白苔、黄苔、灰苔、褐苔和黑苔；其中，前六种是舌质颜色，后五种是舌苔颜色；随后，根据训练样本的特征矢量，使用基于聚类树的多类支撑向量机算法建立分类模型，然后依次读取待处理舌图像中舌体区域每个像素的R、G、B值，并根据分类模型，判断该像素的颜色类型，其中该类型对应于上述11类图像块所代表的颜色；获取各个像素点的识别结果后，结合伪彩色图中舌色、苔色的颜色信息，将舌象转化为伪彩色图像，只有11种颜色，它们的RGB三个分量与舌色、苔色的对应关系为：舌质淡{255，200，200}、舌质淡红{255，0，255}、舌质红{255，0，0}、舌质暗红{255，125，125}、舌质绛红{175，0，0}、舌质暗紫{125，50，200}、白苔{255，255，255}、黄苔{255，255，0}、灰苔{125，125，125}、褐苔{100，0，0}和黑苔{0，0，0}；然后，统计每幅图像舌体区域中11种RGB分量对应像素点出现的频率，据此建立11维的颜色直方图hist₁，hist₂，...，hist₁₁表征舌象的颜色特征信息；1.2舌象纹理特征提取：选定标准差分别为2和0.5的两个高斯滤波器，对舌图像进行卷积得到两幅图像，然后使用Prewitt算子分别作卷积，获取舌体区各点的彩色梯度响应D和边缘方向θ，计算两个梯度的均值并统计大于100的像素数N_e，根据式(1)计算裂纹指数CRK：$\mathrm{CRK}=c·\bar{D}·\sqrt{\frac{10·N_e}{A}}---\left(1\right)$式中c＝0.0125是归一化系数，A为舌体区域的像素总数；1.3舌象形状特征提取：先将图像由RGB空间转换为HSV空间，然后进行阈值分割，保留分量H大于500的像素，这样就可得到嘴区范围，随后将区域左右边缘点选定为嘴角；接着采用半径+角度图对折比较法，确定舌体的对称轴，最后根据舌体中轴与嘴角的关系，得到歪斜指数；设嘴角连线的长度为L，嘴角连线的中点与舌体中轴线和嘴角连线的交点的距离为d，舌体中垂线和中轴线的夹角为φ，同时规定图像原点在左上角，横轴以向右为正，纵轴以向下为正，则歪斜指数的定义为：式中max[g]为取括号内两个数的最大值，abs(g)为取括号内数值的绝对值；2).检索：2.1基于文本信息的关键词初始检索使用的舌象均已进行了标记，标注信息包括：舌色即舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫，苔色即白苔、黄苔、灰苔、褐苔和黑苔，舌体形状即歪斜状况：左歪斜、右歪斜和不歪斜，以及纹理即有明显裂纹和无明显裂纹，一共包含四大类信息，十六种标注词汇，根据上述信息分别统计包含每个词汇对应舌象的数目，最后利用这些数据完成初始文本初步检索；先输入关键词P，然后计算该词汇的相关度与信息度，最后根据上述结果完成其余词汇推荐值的计算，并根据推荐值按照从大到小的顺序返回与关键词语义相近的舌象，完成初始文本初步检索；其中，相关度是描述其它词汇p_i与P的关联程度，信息度是指其它词汇p_i与P组合在一起能够反映的信息量，这里的其它词汇与关键词P描述的舌象信息不同；在计算关键词的关联度时，首先计算标注信息中包含关键词P与其它词汇p_i的舌象在舌象库中出现的频率，如下式所示：$p\left(p_i\right|P)=\frac{I\left(p_i\right|P)}{I\left(P\right)}---\left(3\right)$式中，I(p_i|P)为标注信息中包含关键词P与p_i的舌象的数目，I(P)为标注信息中包含关键词P的舌象的数目；然后计算P与p_i的关联度R(p_i，P)：R(p_i，P)＝f(p(p_i|P)) (4)式中，f(.)是一个单调递增的标准S型函数，形式为f(x)＝1/(1+e^-x)；关键词P与其它词汇p_i的信息度D(p_i，p_j，P)采用了对称KL散度的计算方法，整个计算分为三步：词汇p_i和p_j的KL散度的计算，如式(5)所示；词汇p_j和p_i对称KL散度的计算，如式(6)所示；信息度D(p_i，p_j，P)的计算，如式(7)所示；$\mathrm{KL}\left(p_i\right|\left|p_j\right)={\Sigma }_{p}p\left(p\right|\mathrm{PU}\left\{p_i\right\})\log \frac{p\left(p\right|\mathrm{PU}\left\{p_i\right\})}{p\left(p\right|\mathrm{PU}\left\{p_j\right\})}---\left(5\right)$式中KL(p_i||p_j)为词汇p_i和p_j的KL散度，p(p|PU{p_i})为标注信息中包含关键词P、p以及p_i的舌象在(标注信息中)包含关键词P以及p_i的舌象中出现的频率，p(p|PU{p_j})为标注信息中包含关键词P、p以及p_j的舌象在(标注信息中)包含关键词P以及p_j的舌象中出现的频率，其中P、p_j、p_i和p各代表一种不同的舌象描述信息即舌色为舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫，苔色为白苔、黄苔、灰苔、褐苔和黑苔，舌体形状即左歪斜、右歪斜和不歪斜，以及纹理为有明显裂纹和无明显裂纹，∑_p(g)是指对p对应的标注信息中所有词汇求和；式中KL(p_j||p_i)为词汇p_j和p_i的KL散度，为词汇p_i和p_j的对称散度；式中g(x)＝1/(1+e^-x)，根据得到的信息度D(p_i，p_j，P)与关联度R(p_i，P)，采用式(8)依次计算其余标注词汇与关键词P之间的推荐值L(p_i)，并按照这个数值的大小进行排序，这样可以获得数组词汇组合，将标注信息中包含这些组合的图片作为初始检索的结果提供给用户，其中图片的个数是除去词汇组合后的其他两类信息包含的标注词汇的个数；$L\left(p_i\right)=\mathrm{\lambda R}(p_i,P)+\frac{(1-\lambda )}{T}{\Sigma }_{p_j\in E_p}D(p_i,p_j,P)---\left(8\right)$式中D(p_i，p_j，P)为关键词P与词汇p_i的信息度，R(p_i，P)为关键词P与词汇p_i的相关度，λ∈[0.5，0.7]为常量，P、p_i和p_j为三种不同的舌象描述信息，T为标注词汇的总数目，E_p为除去关键词P和p_i对应标注信息后，其余两类信息对应标注词汇的集合；2.2基于特征库相似度计算的最终检索用户可以从初始结果显示的舌象中随机选择一幅作为关键图，并分别计算与该图拥有相同标注信息的舌象的相似度，并按照相似度大小返回最终检索结果；整个检索过程中，先需要进行特征融合，将三种特征归一化合并，计算其相似度；具体步骤是：先进行基于单个特征的舌象检索，采用公式(9)分别计算关键图Y与图像X_m的单个特征的相似度S_nm(S_1m、S_2m和S_3m分别对应舌象颜色直方图hist₁，hist₂，...，hist₁₁、裂纹指数CRK和歪斜指数I_dev的相似度，m＝1，2，...，M对应与关键图拥有相同标注信息的图像的个数)，然后依照公式(10)对单个特征的相似度S_nm进行高斯归一化，以便将不同特征的相似度量化到同一个取值范围内，最后采用公式(13)将归一化后的单个特征对应的相似度S′_nm进行合并，接着按合并后的总的相似度S_m，数值越小与关键图的相似度越高，对这些图像重新按S_m值从小到大排序，从中选出排序靠前的舌象作为检索结果返回给用户；$\left(9\right),S_{\mathrm{nm}}=\underset{l}{\Sigma }|X_{\mathrm{nl}}-Y_{\mathrm{nl}}|(n=\mathrm{1,2,3})$式中X_nl为舌象库中与关键图拥有相同标注信息的图像X_m的特征，Y_nl为从初始结果中选择的关键图Y的特征，I为舌象颜色直方图hist₁，hist₂，...，hist₁₁、裂纹指数CRK和歪斜指数I_dev特征各自对应的维数，其中颜色直方图(X_1l，Y_1l＝{hist₁，hist₂，...，hist_l}，l＝11)11维，裂纹CRK(X_2l，Y_2l＝{CRK}，l＝1)和歪斜指数I_dev(X_3l，Y_3l＝{I_dev}，l＝1)各1维；$S_{\mathrm{nm}}^{\prime }=[\frac{S_{\mathrm{nm}}-S_{\mathrm{nmean}}}{3\delta }+1]/2---\left(10\right)$$S_{\mathrm{nmean}}=\frac{1}{M}\underset{m=1}{\overset{M}{\Sigma }}{S}_{\mathrm{nm}}---\left(11\right)$$\delta =\frac{1}{M}\underset{m=1}{\overset{M}{\Sigma }}{(S_{\mathrm{nm}}-S_{\mathrm{nmean}})}^2---\left(12\right)$公式(11)中S_nmean是舌象颜色直方图、裂纹指数和歪斜指数特征各自对应的一组相似度S_nm的均值，δ是舌象颜色直方图、裂纹指数和歪斜指数特征各自对应的一组相似度S_nm的方差，S_nm是归一化前两幅舌象的舌象颜色颜色直方图、裂纹指数和歪斜指数特征的相似度；$S_m=\underset{n=1}{\overset{3}{\Sigma }}\left(w_{n}g{S}_{\mathrm{nm}}^{\prime }\right)---\left(13\right)$式中S′_nm是归一化后两幅舌象的舌象颜色直方图、裂纹指数和歪斜指数特征的相似度，w_n是分配到第n种特征)的权值：舌象颜色直方图w₁∈[0.5，0.7]、裂纹指数w₂∈[0.2，0.3]和歪斜指数w₃∈[0.1，0.2]，且满足以下条件