基于旋转矩阵搜索的鱼眼图像匹配方法

摘要

一种基于旋转矩阵搜索的鱼眼图像匹配方法属于计算机视觉研究领域。本发明采用通过两幅图像特征点的单位球面投影之间旋转矩阵搜索的鱼眼图像匹配方法，国内外目前还没有类似文献报道。本方法从两幅鱼眼图像上提取的特征点出发，根据图像的主点坐标和焦距将特征点投影到单位球面上；然后由单位球面上的投影点随机选择至少6对对应点估计出旋转矩阵；最后，由所有旋转矩阵估计第一幅单位球面图像上的特征点在第二幅单位球面图像上的投影点，并计算这些投影点与第二幅单位球面图像上相应特征点的夹角和，对应于夹角和最小的旋转矩阵就是搜索到的旋转矩阵。本发明能够通过鱼眼图像间的旋转矩阵搜索以80％以上的准确匹配率确定鱼眼图像之间的对应点。

主权项

一种基于旋转矩阵搜索的鱼眼图像匹配方法,其特征在于,具体步骤如下:(1)提取两幅原始鱼眼图像上的所有特征点P_i及P_i′，这两组特征点作为需要匹配的数据；(2)在第一幅鱼眼图像上的所有特征点P_i中选择特征点m_i，以这个特征点为中心选择矩形相关窗口,再在第二幅鱼眼图像上以与点m_i相同的坐标为中心选择大小为矩形相关窗口2倍大的矩形搜索窗口；(3)计算第一幅鱼眼图像上特征点m_i＝(u,v)^T与第二幅鱼眼图像上在矩形搜索窗口中的特征点m′_i＝(u′,v′)^T的灰度相关系数Cor(m_i,m′_i)：设定的灰度相关系数阈值为0.6，则在第二幅鱼眼图像上灰度相关系数大于阈值的特征点是与第一幅鱼眼图像上的特征点m_i相匹配的候选特征点；(4)由鱼眼图像的焦距及主点坐标将第一幅鱼眼图像上的特征点投影为单位球面点M_i＝(x_i,y_i,z_i)^T,在第二幅鱼眼图像上的候选特征点投影为单位球面点M′_i＝(x′_i,y′_i,z′_i)^T；(5)单位球面点M_i与候选匹配点的单位球面投影M′_i间存在对应关系：M′_i＝R·M_i+T，其中R是3×3的旋转矩阵，T是3×1的平移向量；令$R=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right)$和$T=\left(\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right),$则有$\left(\begin{array}{c}{x}_i^{\prime }\\ y_i^{\prime }\\ z_i^{\prime }\end{array}\right)=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)+\left(\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right)$于是，在已知单位球面点M_i和M′_i的情况下，得到两个关于旋转矩阵和平移向量的关系式$\left\{\begin{array}{c}{z}_i^{\prime }{x}_i{r}_{11}+z_i^{\prime }{y}_i{r}_{12}+z_i^{\prime }{z}_i{r}_{13}+z_i^{\prime }{t}_x-x_i^{\prime }{x}_i{r}_{31}-x_i^{\prime }{y}_i{r}_{12}-x_i^{\prime }{z}_i{r}_{13}-x_i^{\prime }{t}_z=0\\ z_i^{\prime }{x}_i{r}_{21}+z_i^{\prime }{y}_i{r}_{21}+z_i^{\prime }{z}_i{r}_{23}+z_i^{\prime }{t}_y-y_i^{\prime }{x}_i{r}_{31}-y_i^{\prime }{y}_i{r}_{12}-y_i^{\prime }{z}_i{r}_{31}-y_i^{\prime }{t}_z=0\end{array}\right.$由M_i与M′_i之间的对应关系知道至少需要6对对应点能线性地计算出1组旋转矩阵和平移向量；在单位球面点M_i与M′_i中随机选择出至少6对对应点，每6对对应点估计出1组旋转矩阵和平移向量，共估计出n组旋转矩阵和平移向量(R_n,T_n)；(6)根据(R_n,T_n)将M_i反投影到第二幅鱼眼图像对应的单位球面上得到反投影点${\hat{M}}_i^{\prime }=R_n{M}_i+T_n=\left(\begin{array}{c}{\hat{x}}_i^{\prime }\\ {\hat{y}}_i^{\prime }\\ {\hat{z}}_i^{\prime }\end{array}\right)$而M′_i与反投影点之间存在夹角$\alpha =\angle (M_{i,}^{\prime },{\hat{M}}_i^{\prime })=\angle (M_i^{\prime },R_n{M}_i+T_n),$在n组旋转矩阵和平移向量(R_n,T_n)中搜索使得$\begin{array}{c}\underset{R,T}{\min }\underset{i=1}{\overset{N}{\Sigma }}\angle (M_i^{\prime },R_n{M}_i+T_n)=\underset{R,T}{\min }\underset{i=1}{\overset{N}{\Sigma }}\arccos \left(\frac{M_i^{\prime }·{\hat{M}}_i^{\prime }}{\left|\right|M_i^{\prime }\left|\right|·\left|\right|{\hat{M}}_i^{\prime }\left|\right|}\right)\\ =\underset{R,T}{\min }\underset{i=1}{\overset{N}{\Sigma }}\arccos \left(\frac{x_i^{\prime }{\hat{x}}^{\prime }+y_i^{\prime }{\hat{y}}_i^{\prime }+z_i^{\prime }{\hat{z}}_i^{\prime }}{\sqrt{{x_i^{\prime }}^2+{y_i^{\prime }}^2+{z_i^{\prime }}^2}\sqrt{{{\hat{x}}_i^{\prime }}^2+{{\hat{y}}_i^{\prime }}^2+{{{\hat{z}}_i^{\prime }}^2}^{}}}\right)\end{array}$式中N为鱼眼图像上特征点的数目，即使得夹角和最小的旋转矩阵和平移向量(R,T)来确定两幅鱼眼图像之间正确的匹配点对。