一种基于各向异性特征描述符的图像拼接方法

摘要

本发明公开了一种基于各向异性特征描述符的图像拼接方法，适用于拼接多幅具有一定重叠关系的图像。本发明的方法包括如下步骤：A、检测参考图像和待配准图像的特征点，求取特征点的主方向；B、采用各向异性的点对点抽样模型，构成多组二值测试，得到特征描述符；C、采用最近邻方法对特征描述符进行匹配，利用PROSAC方法求取单应性矩阵；D、通过求解误差函数获得光照增益补偿矩阵，利用多波段融合获得过渡自然的全景图。本发明既能够准确地配准不同视角、视点拍摄的图像，获得清晰自然的宽视角的场景图像，又具有简单的复杂度与较快的运行速度，从而为监控系统或遥感系统提供很好的应用价值。

主权项

一种基于各向异性特征描述符的图像拼接方法，其特征在于以下步骤：A、检测参考图像和待配准图像的特征点，计算特征点的主方向和Hessian阵；(1)对图像进行下采样初始化处理，将图像下采样到总像素面积0.6×10⁶的尺度上；然后对图像做灰度化处理，采用Hessian矩阵行列式的近似值图像构造高斯金字塔空间，表达式为：Δ(H)＝D_xxD_yy‑(0.9D_xy)²；用积分图像来加速卷积计算；(2)在同一组内各相邻层3×3×3的立体领域内搜索候选特征点；并在尺度空间上进行亚像素插值得到精确的位置坐标；(3)以特征点为中心，计算半径6s邻域内的点的Haar小波响应；以60度范围作为一个区域，遍历一周得到6个扇形区域，每个区域的响应相加得到新的矢量，把具有最大模值的矢量方向作为该特征点的主方向；B、采用各向异性的点对点抽样模型构造二值测试对，组成多维特征描述符；具体步骤如下：(1)采用FREAK的7层Retina抽样模型，计算每个特征点i的Hessian矩阵和主方向，修正FREAK抽样模型，其表达式为：Λ_i′＝H^‑1/2·R_θ·Φ_i，式中R_θ为特征点的主方向，H^‑1/2为任一特征点的Hessian阵的平方根矩阵的逆；通过上述公式，将FREAK模型Λ_i＝R_θ·Φ_i修正为各向异性的抽样模型Λ_i′，在图像出现扭曲变形的恶劣情况下，该描述符依然具备很好的描述性能；(2)在抽样模型Λ_i′上随机抽样一组点对，比较两点像素的强度值形成一位二值测试，其表达式为：$T({\Lambda }^{\prime };p_i,p_j)=\left\{\begin{array}{cc}1& I({\Lambda }^{\prime },p_i)<I({\Lambda }^{\prime },p_j)\\ 0& \mathrm{otherwise}\end{array}\right.;$式中I(Λ′,p_i)和I(Λ′,p_j)为抽样模型Λ′上的随机取样点对p_i和p_j的强度；最终由512个二值测试组成二值描述符F：$F=\underset{i=1}{\overset{512}{\Sigma }}{2}^{i-1}T({\Lambda }^{\prime };p_i,p_j);$C、采用最近邻方法对特征描述符进行匹配，采用PROSAC去除误匹配对，求取单应性矩阵；(1)比较图像I₁中任一特征描述符与图像I₂中汉明距离最小和次最小的描述符，按照公式d_ij≤a^*d_ij′，实验中取a^*＝0.7，满足则认为是匹配的点对；(2)采用PROSAC去除误匹配对，首先按照最小与次最小汉明距离比a^*将匹配数据排序，设置最大迭代次数和内外点的误差门限，在前n‑1个数据中抽取m‑1个数据和第n个数据组成样本计算单应性矩阵，内点个数大于设定的阈值则迭代结束，否则继续迭代，在前n个数据中抽取m‑1个数据和第n+1个数据组成样本计算单应性矩阵和内点个数，直至满足内点个数大于设定阈值或者迭代次数超过阈值为止；D、采用光照增益补偿和多波段融合获得清晰而且过渡自然的全景图；具体步骤如下：(1)将图像下采样到总像素面积为0.1×10⁶的尺度上，将图像分成32×32的图像块，计算平均强度，其表达式为：式中N(i,j)为图像块i与图像块j相交区域的像素总数目；建立误差函数表达式为：$e=\frac{1}{2}\underset{i}{\Sigma }\underset{j}{\Sigma }(\underset{\mathrm{if}\left(\mathrm{inter}\sec t\right)}{\Sigma }{(g_i{\bar{I}}_i-g_j\overline{I_j})}^2/{\delta }_N^2+{(1-g_i)}^2/{\delta }_g^2);$式中g_i为图像块i的光照增益系数；δ_N和δ_g分别为亮度和增益系数的标准差分别取10和0.1；(2)求取的增益矩阵对参考图像和待配准图像进行增益补偿，然后进行多波段融合，具体流程如下，建立拉普拉斯金子塔，设定层数为5；首先调整图像的宽和高，使其可被32整除，向下采样5次，然后由最底部的图像向上采样5次，将对应层上下采样的差放入金字塔中；最后将5层金字塔叠加，得到最终的全景图。