连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法

摘要

本发明公开了一种用于连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法，属于无人机图像处理技术领域。该发明深入分析图像拼接的四个阶段（特征提取、特征匹配、变换矩阵、图像合成）的数据量的大小以及阶段间的串行或并行的依存关系。依据数据的类型及其关系，设计符合无人机大数据量图像处理特点和要求的数据处理的模式。同时将计算机的多核资源、多线程计算方法应用到数据处理过程中以提高计算资源的利用率，加快运算的速度。该方法针对性强，能够显著提高无人机大数据量遥感图像的拼接处理能力，保障无人机图像拼接情报的实时生成。

主权项

1.一种连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法，包括以下几个步骤：第一步，分配任务块，创建线程，提取图像SIFT特征点；读入待拼接图像，将待拼接图像分为k组，形成k个任务块，创建k个线程，分别提取相应任务块中图像的SIFT特征点，k为处理器核心数；第二步，对第一步提取的图像特征点进行匹配，找出相邻两幅图像之间的同名点；具体包括以下几个步骤：首先，通过相邻两幅图像特征点的描述符计算欧氏距离，实现特征点的粗匹配，其中，描述符为128维向量；将待匹配的第2幅图像提取的所有特征点构建成k-d树，第2幅图像特征点记为P2_i,i=1,2,3,……N2，N2表示第2幅图像的特征点的数目，逐个选定待匹配的第1幅图像的特征点，第1幅图像的特征点记为P1_j，j从1到N1，N1表示第一幅图像的特征点数目，基于图像2构建的k-d树进行搜寻，找到与P1_j对应的128维特征点描述符之间欧式距离最近的特征点和次近的特征点，并计算它们之间的欧氏距离，分别标记为d₀和d₁，如果最近欧氏距离d₀与次近邻欧氏距离d₁的比值小于预设阈值，则第1幅图像的特征点与第2幅图像中欧式距离最近的特征点匹配成功，得到第1幅图像中待匹配特征点的同名点，形成一对同名点否则，遍历寻找第1幅图像中下一个特征点的同名点，直至将第1幅图像中的特征点遍历完毕，获得N对相匹配的同名点；然后，利用斜率约束删除斜率相差大于5°匹配点对；将0-180度的角度范围均分为36等分，每5度为一个级别；分别计算每对同名点对之间的斜率，并将其对应到每个角度级别，对处于（-90°，0°)的负角度值，则将对应的角度值加上180°后将其变换到90°-180°的范围之内；统计所有角度级别的值，找出处于角度级别最多的对应的角度，并将该角度对应的斜率作为剔除阈值k_m，删除斜率对应角度与k_m对应角度之间的差值相差大于5°的特征点对；最后，通过RANSAC算法剔除获取的变换矩阵，将相邻两幅图像中一幅图像的同名特征点通过变换矩阵变换到另一幅图像坐标系下，若变换后的点与其对应的同名点的欧式距离大于阈值，则认为这对同名点为外点，将该对同名点剔除，实现特征点精确匹配；第三步，根据第二步匹配好的同名特征点计算相邻两幅图像之间的变换矩阵；首先，采用RANSAC算法确定初始变换矩阵；令相邻两幅图像上的同名点坐标分别为I_i和I_i+1，I_i＝(x_i,y_i,1)^T，I_i+1＝(x_i+1,y_i+1,1)^T，其中I_i,I_i+1为相邻两幅图像上对应的同名点坐标；两幅图像同名点之间的对应关系可以表示如下：I_i＝HI_i+1               （1）其中：$H=\left(\begin{array}{ccc}{h}_0& h_1& h_2\\ h_3& h_4& h_5\\ h_6& h_7& 1\end{array}\right)---\left(2\right)$其中H为变换矩阵的表达式，h₀,h₁,h₃,h₄为图像缩放和图像旋转量，h₂,h₅为水平方向和垂直方向的位移量，h₆,h₇为水平方向和垂直方向的变形量；设置RANSAC算法中判定为内点的误差阈值、迭代次数、内点数目阈值，每次迭代时随机抽取4个同名点，计算出一个变换矩阵H，利用式1将第二幅图像的特征点变换到第一幅图像坐标系下，计算变换后同名点之间的变化误差，如果在设定的内点误差阈值内，则认为该对同名点为内点，统计所有内点的数目，看是否满足设定的内点数目阈值，满足的话将此次求得的H作为初始变换矩阵，否则，继续迭代；然后，采用非线性最小二乘法L-M算法，在初始变换矩阵的基础上求解高精度的变换矩阵，根据最小二乘法L-M算法求解变换矩阵H的最优参数，使得以变换矩阵参数为变量构造的函数F(h)取最小值，函数F(h)表示所有匹配同名特征点之间距离和，如式3：$F\left(h\right)=\underset{i}{\Sigma }{[{(\frac{h_0{x}_i+h_1{y}_i+h_2}{h_6{x}_i+h_7{y}_i+1}-x_i^{\prime })}^2+{(\frac{h_3{x}_i+h_4{y}_i+h_5}{h_6{x}_i+h_7{y}_i+1}-y_i^{\prime })}^2]}^{\frac{1}{2}}---\left(3\right)$其中：x_i,y_i表示相邻两幅图像中其中一幅图像特征点的图像坐标，x′_i,y′_i表示另一幅与之相匹配的特征点的图像坐标，令$f_j\left(h\right)={[{(\frac{h_0{x}_i+h_1{y}_i+h_2}{h_6{x}_i+h_7{y}_i+1}-x_i^{\prime })}^2+{(\frac{h_3{x}_i+h_4{y}_i+h_5}{h_6{x}_i+h_7{y}_i+1}-y_i^{\prime })}^2]}^{\frac{1}{2}}---\left(4\right)$其中：f_i(h)表示公式（3）后半部分的求和分量，即在给定精度参数ε条件下，采用迭代的方法最小化变换矩阵H，迭代过程如式5h_k+1＝h_k+h_LM             （5）其中h_k+1,h_k表示变换矩阵，k从0开始，h₀表示初始的变换矩阵，h_LM表示如式6：h_LM＝-(J(h)^TJ(h)+μI)^-1J(h)^Tf(h)              （6）其中：μ为常数，h表示变量集，代表变换矩阵h₀,h₁......h₇，J(h)为f对矩阵参数h₀,h₁......h₇偏微分的雅克比矩阵，如式7：$J\left(h\right)=\left|\begin{array}{cccc}\frac{\partial f_1}{{\partial h}_0}& \frac{{\partial f}_1}{{\partial h}_2}& ...& \frac{{\partial f}_1}{{\partial h}_7}\\ \frac{{\partial f}_2}{{\partial h}_0}& \frac{{\partial f}_2}{{\partial h}_1}& ...& \frac{{\partial f}_2}{{\partial h}_7}\\ ...& ...& ...& ...\\ \frac{{\partial f}_n}{{\partial h}_0}& \frac{{\partial f}_n}{{\partial h}_1}& ...& \frac{{\partial f}_n}{{\partial h}_7}\end{array}\right|---\left(7\right)$其中：表示多元函数f_n(h)对各个自变量h₀,h₁......h₇的偏微分，n从0到K，K表示迭代次数，经过K次迭代运算，获取变换矩阵H＝h_k+1；第四步，利用第三步获得的变换矩阵H将待拼接的图像合成为高分辨率的全景图像；根据变换矩阵H，将单帧图像按照原有的成像顺序逐一变换到同一坐标系下，然后将图像重新赋值合成在全景图像上。