用于图像拼接的鱼眼图像校正方法

摘要

本发明提供了一种用于图像拼接的鱼眼图像校正方法，该方法对于存在部分图像重叠的两幅鱼眼图像通过计算机进行校正处理，采用了独特的校正原理，利用两幅鱼眼图像中相匹配的像素点，找出两幅鱼眼图像之间由拍摄时的俯仰角度引起的拼接夹角，由此反推求得两幅鱼眼图像拍摄时的俯仰角度，并通过俯仰变换映射处理校正拍摄时俯仰角度的误差对鱼眼图像的全景拼接处理所带来的倾斜、重影等负面影响，并且本发明方法具有鲁棒性较好、计算准确度高的优点。

主权项

1.用于图像拼接的鱼眼图像校正方法，其特征在于，对于存在部分图像重叠的两幅鱼眼图像Q₁和Q₂，通过计算机进行校正处理，所述校正处理包括如下步骤：a)将鱼眼图像Q₁和Q₂分别映射到以相机焦距f为半径的球面坐标UVW上，其中U轴表示水平方向，V轴表示竖直方向，W轴表示镜头轴心方向；球面坐标上的映射点(u，v，w)与鱼眼图像上第n行第m列像素点(m，n)的映射关系为：$\left\{\begin{array}{c}m=f·\theta ·\cos \phi +\frac{M}{2}\\ n=f·\theta ·\sin \phi +\frac{N}{2}\end{array}\right.,$其中$\left\{\begin{array}{c}\theta =\arctan \left(\frac{\sqrt{u^2+v^2}}{w}\right)\\ \phi =\arctan \left(\frac{v}{u}\right)\end{array}\right.;$其中，m∈{1，2，...，M}，M表示鱼眼图像中像素点的总列数；n∈{1，2，...，N}，N表示鱼眼图像中像素点的总行数；b)分别对鱼眼图像Q₁和Q₂在球面坐标上的映射点进行失真校正映射处理得到鱼眼图像Q₁和Q₂各自对应的透视平面图像P₁和P₂；透视平面图像上第y行第x列像素点(x，y)与球面坐标上映射点(u，v，w)的失真校正映射关系为：$\left\{\begin{array}{c}x=f·(\frac{\pi }{2}+\arccos \left(\frac{w}{\sqrt{u^2+w^2}}\right))\\ y=f·(\pi -\arctan \left(\frac{\sqrt{u^2+w^2}}{v}\right))\end{array};\right.$c)使用尺度不变特征变换算法求取透视平面图像P₁和P₂中相匹配的像素点，得到透视平面图像P₁和P₂的图像重叠区域和d)在俯仰角取值区间[α_-，α₊]内取图像重叠区域的预设俯仰角α₁和图像重叠区域的预设俯仰角α₂；根据预设俯仰角α₁对图像重叠区域的各个像素点进行俯仰变换映射处理，得到图像重叠区域各个像素对应的俯仰修正像素点；根据预设俯仰角α₂对图像重叠区域的各个像素点进行俯仰变换映射处理，得到图像重叠区域各个像素对应的俯仰修正像素点；对图像重叠区域的像素点进行俯仰变换映射处理得到其对应的俯仰修正像素点的具体过程是：d1)根据图像重叠区域的像素点在其所在透视平面图像中的行列位置借助所述失真校正映射关系找到该图像重叠区域的像素点对应的鱼眼图像在球面坐标上的映射点d2)将球面坐标上的映射点俯仰变换映射为修正映射点$\left[\begin{array}{c}{\hat{u}}^{\prime }\\ {\hat{v}}^{\prime }\\ {\hat{w}}^{\prime }\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \alpha & -\sin \alpha \\ 0& \sin \alpha & \cos \alpha \end{array}\right]\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ \hat{w}\end{array}\right];$其中，α表示俯仰变换映射时对应的预设俯仰角；d3)借助所述失真校正映射关系，对修正映射点进行失真校正映射处理得到俯仰修正像素点则即为该图像重叠区域的像素点对应的俯仰修正像素点；e)按下式计算图像重叠区域和中两对相匹配像素点对应的俯仰修正连线夹角ω：$\omega =\arcsin \left(\frac{({\hat{y}}_{2a}^{\prime }-{\hat{y}}_{2b}^{\prime })·({\hat{x}}_{1a}^{\prime }-{\hat{x}}_{1b}^{\prime })-({\hat{y}}_{1a}^{\prime }-{\hat{y}}_{1b}^{\prime })·({\hat{x}}_{2a}^{\prime }-{\hat{x}}_{2b}^{\prime })}{{({\hat{x}}_{1a}^{\prime }-{\hat{x}}_{1b}^{\prime })}^2+{({\hat{y}}_{1a}^{\prime }-{\hat{y}}_{1b}^{\prime })}^2}\right);$其中，表示图像重叠区域中像素点根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，表示图像重叠区域中像素点根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且与为一对相匹配的像素点；表示图像重叠区域中像素点根据预设俯仰角α₁进行俯仰变换映射处理得到的俯仰修正像素点，表示图像重叠区域中像素点根据预设俯仰角α₂进行俯仰变换映射处理得到的俯仰修正像素点，且与为另一对相匹配的像素点；由此计算出图像重叠区域和中每两对相匹配像素点对应的俯仰修正连线夹角，并从中统计出现概率最高的俯仰修正连线夹角，作为预设俯仰角α₁和α₂在当前取值时图像重叠区域和的俯仰修正拼接夹角；f)让预设俯仰角α₁和α₂以取值精度Δα分别历遍俯仰角取值区间[α_-，α₊]内所有可能的取值，针对预设俯仰角α₁和α₂的每一组取值重复执行步骤d)～e)，求得预设俯仰角α₁和α₂在各组取值时图像重叠区域和的俯仰修正拼接夹角，将其中俯仰修正拼接夹角的绝对值最小情况下|α₁|-|α₂|的值最小时所对应的预设俯仰角α₁和α₂分别作为鱼眼图像Q₁和Q₂的校正俯仰角α_Q1和α_Q2；g)根据校正俯仰角α_Q1对鱼眼图像Q₁在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₁的俯仰校正球面图像D′₁；根据校正俯仰角α_Q2对鱼眼图像Q₂在球面坐标上的映射点进行俯仰变换映射处理得到鱼眼图像Q₂的俯仰校正球面图像D′₂；俯仰校正球面图像上像素点(u′，v′，w′)与鱼眼图像在球面坐标上映射点(u，v，w)的俯仰变换映射关系为：$\left[\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ w^{\prime }\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \alpha & -\sin \alpha \\ 0& \sin \alpha & \cos \alpha \end{array}\right]\left[\begin{array}{c}u\\ v\\ w\end{array}\right];$其中，α_Q表示俯仰变换映射时对应的校正俯仰角；h)分别对俯仰修正球面图像D′₁和D′₂进行失真校正映射处理，得到鱼眼图像Q₁的俯仰校正透视平面图像P′₁以及鱼眼图像Q₂的俯仰校正透视平面图像P′₂，校正完成；俯仰校正透视平面图像上第y′行第x′列像素点(x′，y′)与俯仰修正球面图像上像素点(u′，v′，w′)的失真校正映射关系为：$\left\{\begin{array}{c}{x}^{\prime }=f·(\frac{\pi }{2}+\arccos \left(\frac{w^{\prime }}{\sqrt{u^{\prime 2}+w^{\prime 2}}}\right))\\ y^{\prime }=f·(\pi -\arctan \left(\frac{\sqrt{u^{\prime 2}+w^{\prime 2}}}{v^{\prime }}\right))\end{array}\right..$