一种面向室内移动机器人的光流场视觉/INS组合导航方法

摘要

一种面向室内移动机器人的光流场视觉导航/INS组合导航方法，其采用基于光流场的视觉导航和INS两种导航方式，移动机器人通过车载摄像头采集车辆的动态视频，在视频中获取视频光流特征，根据特征计算移动机器人在载体坐标系下的横向速度（Vx）、纵向速度（Vy），并与INS测量得到的航向角计算机器人的东向速度（VE）和北向速度（VN）。将计算得到的VE、VN和INS测量得到的航向角变化量ωZ共同输入到扩展卡尔曼滤波器中进行数据融合，得到比基于光流场导航和INS两种导航方式精度更高的移动机器人的东向和北向的速度和加速度的最优预估。通过本发明的方法可为移动机器人提供更加精确的导航信息，扩大了室内机器人定位的范围。

主权项

1.一种面向室内移动机器人的光流场视觉/INS组合导航方法，其包括下列步骤：（1）车载摄像头垂直向下放置，从车载摄像头拍摄的图像帧中选取一个矩形区域作为感兴趣区域ROI，后续的处理均在ROI中进行；（2）在上述ROI中根据Shi-Tomasi角点检测方法提取N个角点，记录所有角点在图像坐标系下的坐标；（3）采用图像金字塔Lucas-Kanade光流法对选取的步骤（2）中选取的角点进行跟踪，获取所有角点在下一帧中的图像坐标系中的坐标；（4）采用随机抽样一致性算法RANSAC剔除跟踪异常的角点，只对跟踪正常的角点进行数据处理；（5）根据所有跟踪正常的角点在相邻两帧图像中对应的坐标，计算所有正常角点在横向和纵向的位置变化(△x,△y)；（6）假设车载摄像头的投影中心距离地面的垂直距离为Z_R，焦距为f₁,f₂，主光轴点坐标(c₁,c₂)，车载摄像头在水平面上的速度分量分别为V_x,V_y，镜头畸变系数为[k₁,k₂,k₃,k₄,k₅]，其包括径向畸变系数和切向畸变系数，所述车载摄像头模型的归一化映射关系如下：$\left[\begin{array}{c}{x}_n\\ y_n\end{array}\right]=\left[\begin{array}{c}\frac{X_R}{Z_R}\\ \frac{Y_R}{Z_R}\end{array}\right]---\left(1\right)$其中(X_R,Y_R,Z_R)为与图像坐标系上跟踪正常的角点相对应的地面上的真实点在相机坐标系中的坐标，考虑镜头畸变系数，则相应的图像坐标系上的点可以表示为：$\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]=(1+k_1{r}^2+k_2{r}^4+k_5{r}^6)\left[\begin{array}{c}{x}_n\\ y_n\end{array}\right]t_d---\left(2\right)$其中$r=\sqrt{x_n^2+y_n^2},$切向畸变向量$t_d=\left[\begin{array}{c}2k_3{x}_n{y}_n+k_4(r^2+2x_n^2)\\ k_3(r^2+2y_n^2)+2k_4{x}_n{y}_n\end{array}\right],$点(c₁,c₂)为车载摄像头光轴与图像平面的交点，则像素点的最终坐标为：$\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]=\left[\begin{array}{cc}{f}_1& 0\\ 0& f_2\end{array}\right]\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]+\left[\begin{array}{c}{c}_1\\ c_2\end{array}\right]---\left(3\right)$假设镜头的畸变系数[k₁,k₂,k₃,k₄,k₅]可忽略，均为零，则$\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]=\left[\begin{array}{c}{f}_1\frac{X_R}{Z_R}\\ f_2\frac{Y_R}{Z_R}\end{array}\right]+\left[\begin{array}{c}{c}_1\\ c_2\end{array}\right]---\left(4\right)$（4）式对时间微分得：$\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}\frac{Z_R{v}_x}{f_1}+\frac{X_R{V}_z}{Z_R}\\ \frac{Z_R{v}_y}{f_2}+\frac{Y_R{V}_z}{Z_R}\end{array}\right]---\left(5\right)$考虑地面水平则Z_R为常值，对时间导数为0则有：$\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}\frac{Z_R{v}_x}{f_1}\\ \frac{Z_R{v}_y}{f_2}\end{array}\right]---\left(6\right)$由（4）式带入得：$\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}\frac{Z_R{v}_x}{f_1}+\frac{1}{f_1}(x_c-c_1)V_z\\ \frac{Z_R{v}_y}{f_2}+\frac{1}{f_2}(y_c-c_2)V_z\end{array}\right]---\left(7\right)$考虑地面水平则Z_R为常值，对时间导数为0则有：$\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}\frac{Z_R{v}_x}{f_1}\\ \frac{Z_R{v}_y}{f_2}\end{array}\right]---\left(8\right)$（7）与惯性导航系统（INS）测量得到的航向角，计算机器人的东向速度V_E和北向速度V_N，计算公式如下：（8）将计算得到的V_E、V_N和INS测量得到的航向角变化量ω_Z共同输入到卡尔曼滤波器中进行数据融合；（9）扩展卡尔曼滤波器的系统方程以每一时刻视觉测量得到V_E和V_N以及INS每一时刻东向和北向的加速度作为状态变量，以每一时刻视觉测量得到的V_E、V_N和INS测量得到的航向角变化量ω_Z作为观测量，滤波器的系统方程如式(11)所示：其中为系统噪声，观测方程如式(12)所示：其中υ_3×1为观测方程噪声，V_E,k,V_N,k,Acc_E,k,Acc_N,k分别代表k时刻的东向速度、北向速度、东向加速度和北向加速度；V_E,k+1,V_N,k+1Acc_E,k+1,Acc_N,k+1分别代表k+1时刻的东向速度、北向速度、东向加速度和北向加速度；分别为所观测到的东向速度、北向速度和航向角变化量；T为相邻时刻间隔周期。