一种避免全景图像错位的融合方法

摘要

本发明公开了一种避免全景图像错位的融合方法，涉及鱼眼图像拼接技术领域，包括：获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区；在所述融合区内找出最优融合中心线；利用最优融合中心线计算线性映射查找表；根据线性映射查找表进行图像融合；本发明利用从融合区相互重叠的区域中提取的边缘特征，将这两个特征矩阵做绝对差值运算得到在这两个重叠区域中边缘特征的差异。利用特征矩阵的最小绝对差值，在垂直方向上调整融合区中相互重叠的区域，使这两个重叠区域在水平方向上对准，从而解决融合后图像错位问题。

主权项

一种避免全景图像错位的融合方法，其特征在于，所述方法包括：获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区；在所述融合区内找出最优融合中心线；利用最优融合中心线计算线性映射查找表；根据线性映射查找表进行图像融合；在所述融合区内找出最优融合中心线的步骤包括：计算融合区的所述边缘特征；计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准；在对准后的融合区域内根据所述融合区的边缘特征及灰度差值找出最优融合中心线；所述计算融合区的所述边缘特征的具体步骤如下：利用Canny边缘检测算子提取所述融合区中相互重叠的区域I₁和I₂的边缘特征，其中第一步：利用高斯滤波模板平滑I₁和I₂：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I₁和I₂进行高斯平滑处理，得到去除噪声后的相互重叠区域g₁(x，y)和g₂(x，y)，I₁和I₂内(x,y)处灰度化后灰度值分别用I₁(x,y)和I₂(x,y)表示，所用公式如下所示：$\begin{array}{cc}h(x,y,\sigma )=\frac{1}{2{\mathrm{\pi \sigma }}^2}\exp (-\frac{x^2+y^2}{2{\sigma }^2})& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$$\begin{array}{cc}{g}_1(x,y)=h(x,y,\sigma )*I_1(x,y)& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$$\begin{array}{cc}{g}_2(x,y)=h(x,y,\sigma )*I_2(x,y)& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array};$第二步：利用一阶偏导的有限差分计算梯度的幅值和方向：已经平滑滤波后的相互重叠区域g₁(x，y)和g₂(x，y)的梯度可以用2*2的一阶有限差分近似式来计算x和y方向上的偏导数；以g₁(x，y)为例，g₁(x，y)在x和y方向上的偏导数分别为G_x(x，y)和G_y(x，y)表示：$G_x\left(x,y\right)=\frac{I_1\left(x+1,y\right)-I_1\left(x,y\right)+I_1\left(x+1,y+1\right)-I_1\left(x,y+1\right)}{2};$$G_y\left(x,y\right)=\frac{I_1\left(x,y+1\right)-I_1\left(x,y\right)+I_1\left(x+1,y+1\right)-I_1\left(x+1,y\right)}{2};$根据x与y方向的梯度可以计算g₁(x，y)像素点的梯度幅值G(x，y)与角度θ(x，y)：$\begin{array}{cc}G(x,y)=\sqrt{G_x^2(x,y)+G_y^2(x,y)}& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$$\begin{array}{cc}\theta (x,y)={\tan }^{-1}\left(G_y\right(x,y)/G_x(x,y\left)\right)& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$第三步：对梯度幅值进行非极大值抑制；将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算；对于每个像素点，邻域的中心像素梯度值G(x，y)与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0；第四步：用双阈值算法检测和连接边缘：对非极大值抑制后的g₁(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2；把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃；对一个融合区，利用双阈值算法检测得到融合区的边缘特征G₁(x，y)和G₂(x，y)；所述计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准的步骤包括如下子步骤：计算边缘特征G₁(x，y)和G₂(x，y)的绝对误差值d_g(x，y)：$\begin{array}{cc}{d}_g(x,y)=|G_1(x,y)-G_2(x,y)|& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$对绝对误差值按列求和得到累加误差值向量D_g(y)：$\begin{array}{cc}{D}_g\left(y\right)=\underset{x=1}{\overset{H}{\Sigma }}{d}_g(x,y)& \forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$移动重叠区域使计算的边缘特征的差值最小：取累加误差值向量D_g(y)中最小元素D_min，然后固定G₁(x，y)，将G₂(x，y)向下平移D_min行，向下超出的部分丢掉，向上空白的部分用G₁(x，y)中对应部分填补，之后将G₁(x，y)和G2₍x，y)做绝对差值运算并且保存在最小边缘差异E_min中，然后按照步长为1依次向上移动G₂(x，y)，同时对G₁(x，y)和G₂(x，y)做绝对差值运算，将得到的边缘差异和E_min相比较，如果比E_min小，那么用所述边缘差异更新E_min，否则丢弃该边缘差异；当G2₍x，y)向上移动到距离原图像D_min行时，会得到G₂(x，y)在移动范围为(‑D_min～D_min)时的最小边缘差异E_min以及相对应的G₂(x，y)向上或向下移动的步数step，然后利用step将融合区中的I₂(x，y)相对应的向上或向下移动step行；E_min的计算方法如下：$\begin{array}{cc}{E}_{\min }=\min |G_1(x,y)-G_2(x-D_{\min }+k,y)|& \forall k\in \mathrm{0......2}*D_{\min },\forall x\in \mathrm{1......}H,\forall y\in \mathrm{1......}W\end{array}$min(.)表示取最小值运算，E_min的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。