一种室内环境下考虑地面约束的RGB‑D视觉里程计方法

摘要

本发明属于移动机器人自主定位领域，特别涉及一种室内环境下考虑地面约束的RGB‑D视觉里程计方法。本发明包括：(1)室内场景中，利用搭载在移动平台的RGB‑D相机在移动过程中采集环境中的彩色图像信息和深度图像信息；相邻帧图像分别记为I_s和I_t；(2)根据深度图像信息通过逆投影函数π^‑1求解获得环境的三维点云数据V_s和V_t；(3)ORB特征提取与匹配：采用ORB算法实现RGB‑D图像特征点的提取与匹配。本发明采用ORB算法完成特征提取与匹配的图像预处理过程，较SIFT和SURF算法，快速性提高一个数量级；利用深度图像检测获取点云地面并利用地面信息增强点集对齐，提高运动变换的估计精度。

主权项

一种室内环境下考虑地面约束的RGB‑D视觉里程计方法，其特征在于，包括以下几个步骤：(1)室内场景中，利用搭载在移动平台的RGB‑D相机在移动过程中采集环境中的彩色图像信息和深度图像信息；相邻帧图像分别记为I_s和I_t；(2)根据深度图像信息通过逆投影函数π^‑1求解获得环境的三维点云数据V_s和V_t：$p={\pi }^{-1}(m,Z)={(\frac{u-c_x}{f_x}Z,\frac{v-c_y}{f_y}Z,Z,1)}^T$其中，p＝(X,Y,Z,1)^T表示环境三维点在相机坐标系下的齐次坐标；m＝(u,v)^T表示环境三维点投影到图像像素坐标系下的坐标；Z＝Z(m)表示该点的深度数据；RGB‑D相机横纵方向上以像素为单位的焦距分别为f_x,f_y，光心为(c_x,c_y)；(3)ORB特征提取与匹配：采用ORB算法实现RGB‑D图像特征点的提取与匹配；(4)以RGB‑D图像源帧I_s对应的摄像头位姿的高度、俯仰角信息为先验知识并基于图像源帧到目标帧的相机小位移假设，对源、目标帧RGB‑D图像地面最可能区域进行局部搜索，从而快速而准确地对地面区域进行检测；考虑到点云数据异常点的存在，采用引入异常点剔除机制的地面平面检测算法；(5)添加地面约束：利用地面信息，通过施加扭动T_inc将摄像头变换至新的位姿：$\begin{array}{c}{X}^{\prime }=T_{inc}·X\\ T_{inc}=\left[\begin{array}{cc}{R}_{inc}& t_{inc}\\ 0& 1\end{array}\right]\end{array};$其中，平移增量t_inc可利用下式求解得到：t_inc＝(t_x,t_y,t_z)＝(x′‑x,y′‑y,z′‑z)式中，(x′,y′,z′)和(x,y,z)分别是平面重心m′和m的空间坐标；采用欧拉角表达旋转增量β,ψ表示经旋转变换至绕x,y,z坐标轴分别转过的角度，将欧拉角式转换为四元数，转换关系如下：式中，字符c，s分别为cos和sin的缩写形式；(6)根据地面检测是否成功，即所检测获取的地面区域在图像区域占比是否超过20％，设置标志位flag：超过20％，地面拟合参数可靠准确，检测成功，flag＝true，并在地面重合约束下对三维对应点集Fs和Ft施加扭动T_inc，得到F_s′和F_t′；反之，，视作检测失败，flag＝false；(7)依据标志位不同对地面检测失败和地面检测成功的对应点集利用随机采样一致性算法求解相机运动变换，并对成功进行地面校正的变换矩阵经恢复得到原始变换，从而得到了使原图像F_s、F_t三维匹配点集对齐的刚体变换估计T₁、T₂；(8)计算T₁、T₂二者对应的配准变换误差e_i，误差较小者即为最佳的里程计运动变换T^*。