基于变分机制的室内环境三维重建方法

摘要

本发明属于计算机视觉与智能机器人的交叉领域，公开了一种基于变分机制的大范围室内场景的重建方法，包括：步骤一，获取相机的标定参数，并建立畸变矫正模型；步骤二，建立相机位姿描述与相机投影模型；步骤三，利用基于SFM的单目SLAM算法实现相机位姿估计；步骤四，建立基于变分机制的深度图估计模型，并求解该模型；步骤五，建立关键帧选取机制，实现三维场景的更新。本发明采用RGB相机获取环境数据，针对利用高精度单目定位算法，提出了一种基于变分机制的深度图生成方法，实现了大范围的快速室内三维场景重建，有效地解决了三维重建算法成本与实时性问题。

主权项

1.一种基于变分机制的室内环境三维重建的方法，其特征在于包括以下步骤：步骤一，获取相机的标定参数，并建立畸变矫正模型；相机标定的具体过程为：（1）打印一张棋盘模板；（2）从多个角度拍摄棋盘，应尽量让棋盘占满屏幕，并保证棋盘的每一个角都在屏幕中，一共拍摄6张模板图片；（3）检测出图像中的特征点，即棋盘的每一个黑色交叉点；（4）求取的内部参数，方法如下：RGB相机标定参数主要为相机内参，相机的内参矩阵K为：$K=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]$式中，u、v为相机平面坐标轴，(u₀,v₀)是相机像平面中心坐标，(f_u,f_v)是相机的焦距；根据标定参数，RGB图像中点与三维空间点的映射关系如下：RGB图像中点p＝(u,v)在相机坐标系下的坐标P_3D＝(x,y,z)表示为：$\left\{\begin{array}{c}x=(u-u_0)*z/f_u\\ y=(v-v_0)*z/f_v\\ z=d\end{array}\right.$式中，d表示深度图像中点p的深度值；相机坐标系向下为y轴正方向，向前为z轴正方向，向右为x正方向；将相机的起始点位置设定为世界坐标系原点，世界坐标系的X、Y、Z方向与相机的定义相同；FOV相机矫正模型为：$u_d=\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]+\left[\begin{array}{cc}{f}_u& 0\\ 0& f_v\end{array}\right]\frac{r_d}{r_u}{x}_u$$r_d=\frac{1}{\omega }\arctan \left({2r}_u\tan \frac{\omega }{2}\right)$$r_u=\frac{\tan \left(r_d\omega \right)}{2\tan \frac{\omega }{2}}$式中，x_u为z=1面的像素坐标，u_d为原始图像中像素坐标，ω为FOV相机畸变系数；步骤二，建立相机位姿描述与相机投影模型，方向如下：在已建立的世界坐标系下，相机位姿可以表示为如下矩阵：$T_{\mathrm{cw}}=\left[\begin{array}{cc}{R}_{\mathrm{cw}}& t_{\mathrm{cw}}\\ 0& 1\end{array}\right]$式中，cw表示从世界坐标系到当前相机坐标系，T_cw∈SE(3)，SE(3)为刚体的旋转平移变换空间；T_cw可由如下六元组μ＝(μ₁,μ₂,μ₃,μ₄,μ₅,μ₆)表示，即：$T_{\mathrm{cw}}=\exp \left(\hat{\mu }\right)$$\hat{\mu }=\left[\begin{array}{cccc}0& {\mu }_6& -{\mu }_5& {\mu }_1\\ {\mu }_6& 0& {\mu }_4& {\mu }_2\\ {\mu }_5& -{\mu }_4& 0& {\mu }_3\\ 0& 0& 0& 0\end{array}\right]$式中，μ₁,μ₂,μ₃分别为Kinect在全局坐标系下的平移量，μ₄,μ₅,μ₆表示局部坐标系下坐标轴的旋转量；相机的位姿T_cw建立了当前坐标系下空间点云坐标p_c到世界坐标p_w的变换关系，即：p_c＝T_cwp_w在当前标系下，三维空间点云到z=1平面上投影定义为：π(p)＝(xz,yz)^T式中，p∈R³为三维空间点，x，y，z为该点的坐标值；根据当前坐标点深度值d，利用逆向投影法确定当前空间三维点坐标p，其坐标关系可表示为：π^-1(u,d)＝dK^-1u步骤三，利用基于SFM的单目SLAM算法实现相机位姿估计；步骤四，建立基于变分机制的深度图估计模型，并求解该模型；步骤五，建立关键帧选取机制，实现三维场景的更新，方法如下：在关键帧处实现对三维场景的估计，并更新和维护所生成的三维场景；当新增一帧KeyFrame数据后，根据式将当前新增KeyFrame数据转换到世界坐标系中，完成场景数据的更新；利用深度模型中数据惩罚项，建立当前帧与关键帧间的信息重合程度评估函数，即：$N=\underset{x\in R^2}{\Sigma }c\left(x\right)$$c\left(x\right)=\left[\begin{array}{cc}1,& |I_r\left(x\right)-I_i\left(x^{\prime }\right)|<\zeta \\ 0,& \mathrm{others}\end{array}\right]$式中，ζ为常数；若此时N小于图像大小的0.7时，即确定当前帧为新关键帧。