一种多模态医学体数据三维可视化方法

摘要

本发明涉及一种多模态医学体数据的三维可视化方法。现有技术中的配准多基于二维-二维层面或二维-三维层面，同时不能完整的实现医学体数据配准和融合显示过程。本发明主要包括基于多分辨率的标准化互信息法配准和单点多模态直接体绘制法融合显示。其中基于多分辨率的标准化互信息法配准包括坐标变换、定位判据、多分辨率优化三个步骤；单点多模态直接体绘制法融合显示包括传递函数定义、光照模型的计算、图像合成、多模态数据的单点多模表示、融合显示五个步骤。采用本发明方法可以完整的实现医学体数据配准和融合显示过程，是真正三维-三维意义上的多模态可视化。

主权项

1、一种多模态医学体数据三维可视化方法，包括配准和融合显示，其特征在于配准采用基于多分辨率的标准化互信息法，具体包括坐标变换、定位判据、多分辨率优化，其中(1)坐标变换方法设要进行多模态可视化的两个体数据分别称为参考体和浮动体，对两个待配准体数据分别定义一个物空间坐标系，其中X轴为沿行扫描方向，Y轴为沿列扫描方向，Z轴则沿从颅顶到颅底的方向，传统的刚体变换包括平移、旋转矩阵，分别以T、R表示，通过增加比例因子S，解决弹性配准问题，假设A是参考体到浮动体的坐标变换函数，则A可表示成：A＝T(t_x，t_y，t_z)*R(φ_x，φ_y，φ_z)*S(s_x，s_y，s_z)t_x、t_y、t_z分别表示x、y、z轴方向的平移，分别表示绕x、y、z轴的旋转角度，s_x、s_y、s_z分别为x、y、z轴方向的缩放比例，利用坐标变换函数A将从浮动体的网格点提取的样本进行坐标变换，如果坐标变换后的坐标未映射到参考体的网格点上，通过三次线性插值法得到整数坐标；(2)定位判据方法在坐标变换过程中寻找参数：${\overrightarrow{\alpha }}^{*}=(t_x,t_y,t_y,{\phi }_x,{\phi }_y,{\phi }_z,s_x,s_y,s_z),$使之满足下式：${\overrightarrow{\alpha }}^{*}=\arg \underset{\overrightarrow{\alpha }}{\max }{\mathrm{NI}}_{\mathrm{FR}}\left(\overrightarrow{\alpha }\right)$此时，两个体数据对应点间的标准化互信息NI_FR最大，通过计算两个体数据重叠部分体素的联合灰度直方图来估计浮动体的熵H_F、参考体的熵H_R及两者的联合熵H_FR，从而计算当前配准位置的标准化互信息NI_FR，计算公式为：NI_FR＝(H_F+H_R)/H_FR$H_F=-\underset{f=1}{\overset{n_F-1}{\Sigma }}p\left(f\right)·{\log }_{2}p\left(f\right)$$H_R=-\underset{r=1}{\overset{n_R-1}{\Sigma }}p\left(r\right)·{\log }_{2}p\left(r\right)$$H_{\mathrm{FR}}=-\underset{f=1}{\overset{(n_F-1)}{\Sigma }}\underset{r=1}{\overset{(n_R-1)}{\Sigma }}p(f,r)·{\log }_{2}p(f,r)$p(f)、p(r)和p(f，r)分别为浮动体和参考体的概率密度函数及它们的联合概率密度函数，n_F、n_R是参考体和浮动体数据灰度级别的个数，采用标准值255；(3)多分辨率优化方法将图像配准过程分解为由粗到细：先将原始图像进行子采样，降低其分辨率，在低分辨率下按照(1)和(2)的坐标变换和定位判据的方法进行配准，得到一个最优的变换数据；然后以此变换参数为初始点，按照(1)和(2)的坐标变换和定位判据的方法进行更高分辨率的配准；在前次配准的基础上减小变换参数的搜索范围；配准后的多模态数据采用单点多模态直接体绘制法进行融合显示，具体包括传递函数定义、光照模型的计算、图像合成、多模态数据的单点多模表示、融合显示，其中(1)传递函数定义的方法将采集到的医学体数据根据人体不同组织和器官的分类对每个体素赋予颜色值和不透明值，其中分类采用灰度直方图的方法；(2)光照模型的计算方法对Phone模型加以简化，采用单个点光源，公式为：I＝k_aI_a+fI_l[k_d(NL)+k_s(NH)]I为局部光亮度；k_a、k_d、k_s分别为环境、漫反射及镜面反射系数；I_a为环境光亮度分量；I₁、f为点光源光强及衰减因子；N为单位法向量；L为点光源的单位入射向量；H为点光源的单位入射向量与单位视线向量的平均值，采用基于灰度梯度的中心差分法计算中间体素的单位法向量N，表示成：Grad_x表示x轴方向的灰度梯度，Grad_y表示y轴方向的灰度梯度，Grad_z表示z轴方向的灰度梯度；(3)图像合成的方法对于多个(2)中光照模型的计算结果由前向后进行图像合成，具体公式表示成：C_outβ_out＝C_inβ_in+C_nowβ_now(1-β_in)β_out＝β_in+β_now(1-β_in)C_out、β_out为经过第i个体元后的颜色值和不透明度值，C_now、β_now为第i个体元的颜色值和不透明度值，C_in、β_in为进入第i个体元的颜色值和不透明度值；(4)多模态数据的单点多模表示的方法采用视觉颜色HLS模型表示(3)中图像合成的结果，该模型根据人眼的颜色知觉三个要素，即色调、饱和度和亮度来表示各个多模态数据的颜色属性；(5)融合显示的方法将HLS模型转化为RGB模型，并加以显示。