基于ASIFT的多模态图像特征提取与匹配方法

摘要

本发明公开了一种基于ASIFT的多模态特征提取与匹配方法，主要解决现有技术所不能解决的多模态图像的点特征提取与匹配问题。其实现步骤是：对ASIFT仿射变换模型倾斜量参数和经度参数进行采样，得到两幅输入图像的两组视图；在这两组视图上，采用高斯差分DoG特征检测方法检测特征点的位置与尺度信息；用平均平方梯度的方法设置特征的主方向且特征向量的幅值采用计数方式设定；计算特征的对称性ASIFT描述符；采用最近邻域方法对特征的对称性ASIFT描述符进行粗匹配以及使用优化随机采样方法去除误匹配特征。本发明能够在多种传感器感知的图像中提取和匹配特征，并且具有完全仿射不变特性，可以应用于目标识别与跟踪，图像配准等领域。

主权项

1.一种基于ASIFT的多模态图像特征提取与匹配方法，包括如下步骤：（1）对两幅需进行特征提取与匹配的图像分别按ASIFT仿射变换矩阵进行仿射变换处理，使每幅图像形成一组视图：（1a）对ASIFT仿射变换物理模型的绝对倾斜量参数t和经度角参数φ进行采样，得到因这两个参数变化所引起的全部仿射变换矩阵，其中参数t按照等比数列t＝1,a,a²,...,aⁿ进行采样，n＝5，参数φ按照等差数列φ＝0,b/t,...,kb/t进行采样，kb/t＜180°，b＝72；（1b）将得到的t和φ的采样值，依次带入矩阵$I^{\prime }(\phi ,t)=\left(\begin{array}{cc}\cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array}\right)·\left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)·I,$式中I为输入图像，则每组t和φ的采样值可以计算得到输入图像的一个视图I′(φ，t)，从而，当将t和φ的采样值全部带入后，则可得到输入图像的一组视图；（2）对形成的两组视图，采用高斯差分DoG特征检测方法确定视图特征的精确位置信息和尺度信息：（2a）对两组输入视图，按下式建立高斯差分DoG尺度空间：D(x,y,δ)＝(g(x,y,kδ)-g(x,y,δ))*I(x,y)其中，g(x,y,δ)为尺度因数δ可变的高斯卷积核函数，I(x,y)为输入的一幅视图，k=2为一个常数，*代表卷积运算，随着尺度因数δ的变化，即得到了高斯差分DoG空间；（2b）在高斯差分DoG空间中进行极值检测，然后在检测到极值点的位置利用D(x,y,δ)的二阶Taylor展开式，得到特征点的位置和尺度信息，最后舍取不稳定的边缘响应，形成两组视图特征的精确位置和尺度信息；（3）根据视图特征的位置信息和尺度信息，计算视图特征的水平平均平方梯度和垂直平均平方梯度$\left[\begin{array}{c}\overline{G_{\mathrm{sx}}}\\ \overline{G_{\mathrm{sy}}}\end{array}\right]=\left[\begin{array}{c}{G}_{\mathrm{sx}}*h_{\sigma }\\ G_{\mathrm{sy}}*h_{\sigma }\end{array}\right]$其中，*代表卷积，h_σ为方差等于σ的高斯权重核，G_sx＝G_x(x,y)²-G_y(x,y)²为视图特征的水平平方梯度，G_sy＝2·sgn(G_y(x,y))·G_x(x,y)·G_y(x,y)为视图特征的垂直平方梯度，式中G_x(x,y)为视图特征的水平梯度，G_y(x,y)为视图特征的垂直梯度，sgn()为符号函数，·代表相乘；（4）根据视图特征的位置信息和平均平方梯度，确定视图特征在当前视图下的主方向：其中，∩表示取交集符号，为提取到的视图特征的主方向，其取值范围为[0,π)；（5）根据视图特征的位置信息和主方向，计算视图特征在当前视图下的仿射尺度不变ASIFT描述符，将视图作灰度翻转变换，计算视图特征在灰度翻转变换视图下的仿射尺度不变ASIFT描述符：（5a）将以视图特征的位置为中心，以视图特征主方向为正方向的邻域A，划分为四行四列，共4×4个子邻域，分别用A₁₁,A₁₂,...,A_ij，...,A₄₄表示，i和j的取值为1,2,3,4；（5b）对每个子邻域A_ij，计算0°，22.5°，45°，67.5°，90°，112.5°，135°，157.5°，8个方向的方向梯度向量，分别用a_ij1,a_ij2,...,a_ijk,...,a_ij8表示，k的取值为1,2,3...8；（5c）将邻域A内所有子邻域计算得到的8方向梯度向量，顺序排列合成为一个128维向量，形成这个视图特征的仿射尺度不变ASIFT描述符；（5d）对当前视图作灰度翻转变换，对于灰度翻转图像，重复步骤（5a），（5b），（5c）的操作，最后得到此视图下的仿射不变ASIFT描述符；（6）将视图特征邻域内像素个数作为这两个仿射尺度不变ASIFT描述符的幅值信息，并通过如下公式对这两个描述符进行组合，形成对称性ASIFT描述符：$c_{\mathrm{ijk}}=\left\{\begin{array}{ccc}|a_{\mathrm{ijk}}+b_{\mathrm{ijk}}|& i=\mathrm{1,2}& j=\mathrm{1,2,3,4}\\ p·|a_{\mathrm{ijk}}-b_{\mathrm{ijk}}|& i=\mathrm{3,4}& j=\mathrm{1,2,3,4}\end{array}\right.;$其中，a_ijk为当前视图下仿射尺度不变ASIFT描述符中A_ij子区域内第k个方向梯度向量，b_ijk为灰度翻转视图下仿射尺度不变ASIFT描述符与A_ij子区域对应子区域内第k个方向梯度向量，c_ijk为计算得到的一维对称性ASIFT描述符向量，p为一个标量，其大小根据对称性ASIFT描述符的幅值进行调整；（7）将对称性ASIFT描述符采用最近邻域方法进行特征描述符粗匹配，然后经过优化随机采样ORSA方法剔除错误的匹配，得到精确匹配特征描述符，并将这些精确特征对应的位置信息映射到两幅原始输入图像中。