提升夜间拍照图像配准精度的方法

摘要

一种提升夜间拍照图像配准精度的方法，具体包括：输入待配准图像；图像灰度化；直方图均衡化；检测特征点；匹配特征点；利用随机抽样一致RANSAC算法，剔除误特征点匹配对；判断闪光灯条件下拍摄的图像的特征点是否过于集中，若是，进行特征点匹配对均衡化，否则，直接利用已检测出来的特征点匹配对求解仿射变换矩阵；特征点匹配对均衡化；利用特征点匹配对列出方程，求解方程组，得到仿射变换矩阵；配准图像。本发明能够根据已检测出的特征点匹配对的位置信息，自适应的添加匹配对，使得特征点的分布更加均匀，避免由于特征点过于集中而导致的过拟合问题，提高夜间拍照图像的配准精度。

主权项

一种提升夜间拍照图像配准精度的方法，包括如下步骤：(1)输入待配准图像：分别输入待配准的一幅在有闪光灯和一幅在无闪光灯条件下拍摄的图像；(2)图像灰度化：按照下式，分别对待配准的闪光灯条件下和无闪光灯条件下拍摄的图像进行灰度化：$Y_i=\frac{(2365\times B_i+23434\times G_i+6969\times R_i)}{32768};$其中，Y_i表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像中第i个像素的灰度值，i表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的像素点的序号，B、G、R分别表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的蓝、绿、红通道，B_i表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的第i个像素的蓝通道，G_i表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的第i个像素的绿通道，R_i表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的第i个像素的红通道；(3)直方图均衡化：按照下式，分别对待配准的闪光灯条件下和无闪光灯条件下拍摄的图像进行直方图均衡化：$p_x=\underset{f=0}{\overset{x}{\Sigma }}g\left(f\right);$s_x＝int[(L‑1)*p_x+0.5]；其中，p_x表示亮度通道矩阵的最终灰度级出现的概率值的累加和，x表示亮度通道矩阵的灰度值，x的取值范围为0～255，Σ表示求和操作，f表示亮度通道矩阵的灰度级，f＝0,1,2,...,x，g(f)表示亮度通道矩阵的最终灰度级出现的概率值，s_x表示直方图均衡化后亮度通道矩阵中灰度值x的映射值，int表示取整操作，L表示亮度通道矩阵灰度级的最大值；(4)检测特征点：(4a)对待配准的闪光灯条件下和无闪光灯条件下拍摄的图像，用不同尺度的高斯滤波器进行滤波得到的图像形成一个子八度octave；以此类推，对待配准的闪光灯条件下和无闪光灯条件下拍摄的图像分别进行一次，两次，三次下采样，并进行类似的滤波操作，得到高斯金字塔图层，将相邻的图层相减，得到差分高斯金字塔；(4b)在差分高斯金字塔中，比较中间图层上像素点与其相同尺度图层的8个相邻像素点大小，以及该像素点与其上下相邻尺度图层的18个相邻像素点的大小，如果中间图层上像素点的值是最大值或者是最小值，则将该像素点作为候选的特征点；(4c)去除对噪声敏感的低对比度的候选特征点和具有不稳定的边缘响应的候选特征点，剩余的是最终的特征点；(4d)计算以最终特征点为中心邻域像素的梯度方向，并用直方图表示，直方图的峰值表示最终特征点的邻域像素梯度的主方向，将该邻域像素梯度的主方向作为该最终特征点的方向；(4e)以最终特征点为中心，选择16×16的邻域，并将该邻域划分为16个4×4的子区域，在每个子区域上计算0°，45°，135°，180°，225°，270°，315°，360°共8个方向的梯度累加值，生成128维的特征向量；(5)匹配特征点：对于闪光灯条件下拍摄的图像中的每一个最终特征点，利用欧氏距离找到无闪光灯条件下拍摄的图像中与闪光灯条件下拍摄的图像的最终特征点最近的两个特征点，在这两个特征点中，如果最近的距离与次最近的距离的比值小于0.4，则闪光灯条件下拍摄的图像的最终特征点与无闪光灯条件下拍摄的图像中的距离最近的点匹配，否则不匹配；(6)利用随机抽样一致RANSAC算法，剔除误特征点匹配对；(7)判断闪光灯条件下拍摄的图像的特征点是否满足判断条件，若是，执行步骤(8)，否则，执行步骤(9)；(8)特征点匹配对均衡化：(8a)按照下式，计算待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对在列方向和行方向的平均偏移量：${\Delta }_x=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}({\mathrm{PF}}_i^x-{\mathrm{PN}}_i^x),{\Delta }_y=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}({\mathrm{PF}}_i^y-{\mathrm{PN}}_i^y);$其中，Δ_x表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对在列方向上的平均偏移量，x表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点的列方向，n表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对的总数，i表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对的序号，表示第i个待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对中闪光灯条件下拍摄图像的特征点列坐标，表示第i个待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对中无闪光灯条件下拍摄图像的特征点列坐标，Δ_y表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对在行方向上的平均偏移量，y表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点的行方向，表示第i个待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对中闪光灯条件下拍摄图像的特征点的行坐标，表示第i个待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对中无闪光灯条件下拍摄图像的特征点的行坐标；(8b)按照下式，将待配准的闪光灯条件下拍摄的图像分成M×M的相同大小的子块：其中，HW表示子块的宽度，表示向下取整操作，W表示闪光灯条件下拍摄的图像的宽度，M表示闪光灯下拍摄的图像每一行的子块个数，HH表示子块的高度，H表示闪光灯条件下拍摄的图像的高度；(8c)按照下式，计算闪光灯下拍摄的图像拟添加的特征点的行坐标和列坐标：${\mathrm{PF}}_k^x=j\times \mathrm{HW}+j1\times D_x;$${\mathrm{PF}}_k^y=i\times \mathrm{HH}+i1\times D_y;$其中，表示拟添加的特征点的列坐标，x表示拟添加特征点的列方向，k表示闪光灯条件下拍摄的图像内拟添加的特征点的序号，k＝(i×M+j)×N×N+i1×N+j1，i表示相同大小的子块对应的行的编号，i＝0,1,2,...,M‑1，i1表示子块内拟添加的特征点对应的行的编号，i1＝0,1,2,...,N‑1，j表示相同大小的子块的对应的列的编号，j＝0,1,2,...,M‑1，j1表示子块内拟添加的特征点的对应的列的编号，j1＝0,1,2,...,N‑1，HW表示子块的宽度，D_x表示拟添加的特征点之间的列方向的距离，W表示闪光灯条件下拍摄的图像的宽度，M表示闪光灯下拍摄的图像每一行的子块个数，N表示闪光灯下拍摄的图像的每个子块每一行添加的特征点个数，表示拟添加的特征点的行坐标，y表示拟添加的特征点的行方向，HH表示子块的高度，D_y表示拟添加的特征点之间的行方向的距离，H表示闪光灯条件下拍摄的图像的高度，H表示闪光灯条件下拍摄的图像的高度，M表示闪光灯下拍摄的图像每一行的子块个数，N表示闪光灯下拍摄的图像的每个子块每一行添加的特征点个数；(8d)按照下式，计算无闪光灯条件下拍摄的图像拟添加的特征点的列坐标和行坐标：${\mathrm{PN}}_k^x={\mathrm{PF}}_k^x-{\Delta }_x;$${\mathrm{PN}}_k^y={\mathrm{PF}}_k^y-{\Delta }_y;$其中，表示无闪光灯条件下拍摄的图像拟添加的特征点的列坐标，x表示拟添加特征点的列方向，k表示拟添加的特征点的序号，表示闪光灯条件下拍摄的图像拟添加的特征点的列坐标，Δ_x表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对在列方向上的平均偏移量，表示无闪光灯条件下拍摄的图像拟添加的特征点的行坐标，表示闪光灯条件下拍摄的图像拟添加的特征点的行坐标，Δ_y表示待配准的闪光灯条件下和无闪光灯条件下拍摄的图像的特征点匹配对在行方向上的平均偏移量；(9)利用步骤(6)和步骤(8)得到的特征点匹配对列出方程，求解方程组，得到仿射变换矩阵H；(10)配准图像：(10a)按照下式，计算配准后的闪光灯条件下拍摄的图像的位置(i,j)的像素，经过映射之后对应的闪光灯条件下拍摄的图像的位置：$i^{,}=\frac{{H^{-1}}_{\mathrm{1,1}}*i+{H^{-1}}_{\mathrm{1,2}}*j+{H^{-1}}_{\mathrm{1,3}}}{{H^{-1}}_{\mathrm{3,1}}*i+{H^{-1}}_{\mathrm{3,2}}*j+{H^{-1}}_{\mathrm{3,3}}};$$j^{,}=\frac{{H^{-1}}_{\mathrm{2,1}}*i+{H^{-1}}_{\mathrm{2,2}}*j+{H^{-1}}_{\mathrm{2,3}}}{{H^{-1}}_{\mathrm{3,1}}*i+{H^{-1}}_{\mathrm{3,2}}*j+{H^{-1}}_{\mathrm{3,3}}};$其中，i'表示闪光灯条件下拍摄的图像像素的列坐标，H^‑1_1,1表示仿射变换矩阵的逆矩阵的第一行第一列元素，H^‑1_1,2表示仿射变换矩阵的逆矩阵的第一行第二列元素，H^‑1_1,3表示仿射变换矩阵的逆矩阵的第一行第三列元素，H^‑1_2,1表示仿射变换矩阵的逆矩阵的第二行第一列元素，H^‑1_2,2表示仿射变换矩阵的逆矩阵的第二行第二列元素，H^‑1_2,3表示仿射变换矩阵的逆矩阵的第二行第三列元素，H^‑1_3,1表示仿射变换矩阵的逆矩阵的第三行第一列元素，H^‑1_3,2表示仿射变换矩阵的逆矩阵的第三行第二列元素，H^‑1_3,3表示仿射变换矩阵的逆矩阵的第三行第三列元素，i表示配准后的闪光灯条件下拍摄的图像像素的列坐标，j表示配准后的闪光灯条件下拍摄的图像像素的行坐标，j'表示闪光灯条件下拍摄的图像像素的行坐标；(10b)按照下式，计算配准后的闪光灯条件下拍摄的图像的位置(i,j)像素值：R_i,j＝α₁×F_Ii,Ij+α₂×F_Ii,Ij+1+α₃×F_Ii+1,Ij+α₄×F_Ii+1,Ij+1；其中，R_i,j表示配准后的闪光灯条件下拍摄的图像的像素值，i表示配准后的闪光灯条件下拍摄的图像像素的列坐标，j表示配准后的闪光灯条件下拍摄的图像像素的行坐标，α₁表示距离闪光灯条件下拍摄的图像像素最近的左上角的像素的权重，F_Ii,Ij表示距离闪光灯条件下拍摄的图像像素最近的左上角的像素的像素值，Ii表示闪光灯条件下拍摄的图像像素的列坐标的整数部分，Ij表示闪光灯条件下拍摄的图像像素的行坐标的整数部分，α₂表示距离闪光灯条件下拍摄的图像像素最近的左下角的像素的权重，F_Ii,Ij+1表示距离闪光灯条件下拍摄的图像像素最近的左下角的像素的像素值，α₃表示距离闪光灯条件下拍摄的图像像素最近的右上角的像素的权重，F_Ii+1,Ij表示距离闪光灯条件下拍摄的图像像素最近的右上角的像素的像素值，α₄表示距离闪光灯条件下拍摄的图像像素最近的右下角的像素的权重，F_Ii+1,Ij+1表示距离闪光灯条件下拍摄的图像像素最近的右下角的像素的像素值。