一种基于Xtion摄像头的多目标相对位姿识别方法

摘要

本发明涉及计算机视觉技术领域，一种基于Xtion摄像头的多目标相对位姿识别方法，包括以下步骤：1、安装机载Xtion摄像头，2、制作并安装靶标作为被观测机器人的位姿标志，3、逐次识别多个被观测机器人并计算识别目标的相对坐标，4、逐次计算步骤3中识别到的被观测机器人的相对偏航角。本发明具有以下优点：一是，价格低廉，采用造价低的Xtion摄像头，配合简单的靶标充分利用了单目视觉处理速度快的优点，距离测量上使用了Xtion摄像头的深度信息，比单目视觉的测距方法更为准确；二是，在面对光照变化更稳定的HSV颜色空间中使用阈值分割不同颜色，简单有效；三是，采用机载摄像头的测量方式，不必局限在固定的场景中。

主权项

一种基于Xtion摄像头的多目标相对位姿识别方法，其特征在于包括以下步骤：步骤1、安装机载Xtion摄像头，将Xtion摄像头以俯角在20至60度之间调整并安装在观测机器人的上方，同时还要高出被观测机器人顶部50至70厘米，高度越高对应俯角就越大，调整摄像头安装高度和俯角直到使视野底部贴近观测机器人正前方底盘，并确保视野足够容纳被观测机器人；然后建立以观测机器人中心为原点的三维直角坐标系W，该坐标系以竖直向上为y轴正方向，机器人正前方为z轴正方向，x轴正方向指向机器人左边；步骤2、制作并安装靶标作为被观测机器人的位姿标志，靶标能够提供易于区分的颜色、形状两种附加信息，靶标的特征是由外正方形和内矩形构成，外正方形大小与被观测机器人俯视图大小相近且颜色单一，内矩形作为被观测机器人的姿态标志，使用另外一种颜色，并沿外正方形一边中点到正方形中心一线贴于外正方形上；将靶标水平安置在被观测机器人顶部，可令内矩形指示被观测机器人的正前方；对于多个被观测机器人需要使用不同底色的靶标，只需将外正方形底色相互区分即可；步骤3、逐次识别多个被观测机器人并计算识别目标的相对坐标，具体包括以下子步骤：(1)、矫正Xtion摄像头内参，Xtion摄像头的两种镜头都有默认内参，一种是彩色图像成像镜头，另一种是深度图像成像镜头，深度摄像头内参矩阵为$\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$其中，f_x为深度图像横轴方向上以像素为单位的焦距，f_y为深度图像纵轴方向上以像素为单位的焦距，c_x为光轴与深度图像中心在横轴方向上以像素为单位的差距，c_y为光轴与深度图像中心在纵轴方向上以像素为单位的差距，彩色摄像头内参矩阵为，$\left[\begin{array}{ccc}{F}_x& 0& C_x\\ 0& F_y& C_y\\ 0& 0& 1\end{array}\right]$其中，F_x为彩色图像横轴方向上以像素为单位的焦距，F_y为彩色图像纵轴方向上以像素为单位的焦距，C_x为光轴与彩色图像中心在横轴方向上以像素为单位的差距，C_y为光轴与彩色图像中心在纵轴方向上以像素为单位的差距，Xtion摄像头彩色图像与深度图像之间在横轴方向有一个以像素为单位的偏移距离d，为了对齐彩色图像与深度图像需要矫正彩色摄像头的内参，计算新的彩色摄像头内参矩阵如下，$\left[\begin{array}{ccc}{\tilde{F}}_x& 0& {\tilde{C}}_x\\ 0& {\tilde{F}}_x& {\tilde{C}}_y\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& d\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]·\left[\begin{array}{ccc}{F}_x& 0& C_x\\ 0& F_y& C_y\\ 0& 0& 1\end{array}\right]---\left(1\right)$其中，为矫正后彩色图像横轴方向上以像素为单位的焦距，为矫正后彩色图像纵轴方向上以像素为单位的焦距，为矫正后光轴与彩色图像中心在横轴方向上以像素为单位的差距，为矫正后光轴与彩色图像中心在纵轴方向上以像素为单位的差距；(2)、图像预处理，将每帧彩色图像从RGB颜色空间变换为HSV颜色空间；(3)、根据靶标阈值分割，主要根据不同靶标的外正方形颜色的色调区间和饱和度区间做简单阈值分割，得到二值化图像；(4)、形态学处理与边缘提取，经过形态学开运算滤除小的明亮区域，然后提取二值化图像的明亮区域的最大外边缘和该边缘轮廓的外接矩形，用该外接矩形代表被观测机器人的位置；(5)、利用摄像机内参计算外接矩形的中心在摄像头坐标系C中的坐标，摄像头坐标系C是以深度摄像头为中心的三维直角坐标系，该坐标系以深度摄像头为参考，摄像头正上方为y轴正方向，摄像头正前方为z轴正方向，x轴正方向指向摄像头左边；经过子步骤(1)，彩色图像与深度图像对齐、成像一致，所以可以利用深度图像计算子步骤(4)中外接矩形中心的位置坐标，根据Xtion摄像头成像特点，深度图中每一点的深度代表该点到成像平面的最小距离，计算外接矩形的平均深度Z'作为矩形中心的深度，在深度图像中矩形中心的位置坐标为[x y]^T，深度图像视野中心坐标为[x₀ y₀]^T，根据小孔成像模型和深度摄像头内参，摄像头坐标系C中矩形中心位置坐标为，$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}(x-x_0)*Z^{\prime }/f_x\\ (y-y_0)*Z^{\prime }/f_y\\ Z^{\prime }\end{array}\right]---\left(2\right)$其中，f_x为深度图像横轴方向上以像素为单位的焦距，f_y为深度图像纵轴方向上以像素为单位的焦距，X、Y、Z分别代表了摄像头坐标系中观测机器人目标的坐标位置；(6)、坐标变换，根据摄像头安装的相对高度h和俯角α，将坐标系C中的坐标点通过旋转平移矩阵M变换到坐标系W中，$M=T·R=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& h\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]·\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& cos\alpha & -\sin \alpha & 0\\ 0& \sin \alpha & \cos \alpha & 0\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$其中，T为平移矩阵，R为旋转矩阵，h代表摄像头到观测机器人中心的高度，α代表摄像头俯角；用M矩阵乘以C坐标系下点的齐次坐标可得到其该点在W坐标系下的位置；(7)、依次根据被观测机器人目标的不同靶标，重复步骤3的子步骤(3)到(6)，计算不同目标的相对位置；步骤4、逐次计算步骤3中识别到的被观测机器人的相对偏航角，具体包括以下子步骤：(1)、获取透视变换矩阵，将已知大小的黑白棋盘标定板水平放置，使标定板的一边与彩色图像底边共线，标定板中心在彩色图像纵轴方向的对称轴上；在彩色图像中提取黑白棋盘标定板的所有角点及其坐标，此时距离棋盘4角最近的4个角点构成了等腰梯形的顶点；该等腰梯形的映射目标为与棋盘标定板相同长宽比例的矩形，该矩形的位置关于彩色图像纵轴方向的对称轴对称，矩形的一边与图像中等腰梯形下底边共线且该边与等腰梯形下底边的比可选在0.3到0.8之间；只要利用等腰梯形顶点坐标以及对应的矩形顶点坐标，通过4对坐标的映射关系可以求取透视变换矩阵，$\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\\ \tilde{w}\end{array}\right]=T·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& 1\end{array}\right]·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(4\right)$其中，T为透视变换矩阵，[u v]^T为待映射顶点的坐标，[u v 1]^T为对应的齐次坐标，为顶点经透视变换映射后的齐次坐标，a₁₁到a₃₂为透视变换矩阵的参数，则顶点映射后的实际坐标[x y]^T由如下公式(5)计算得到，$\left\{\begin{array}{c}x=\frac{\tilde{x}}{\tilde{w}}=\frac{a_{11}·u+a_{12}·v+a_{13}}{a_{31}·u+a_{32}·v+1}\\ y=\frac{\tilde{y}}{\tilde{w}}=\frac{a_{21}·u+a_{22}·v+a_{23}}{a_{31}·u+a_{32}·v+1}\end{array}\right.---\left(5\right)$可见已知4个不共线的顶点坐标，并且已知它们映射后的位置坐标，可以计算出a₁₁到a₃₂这8个参数，从而得到透视变换矩阵；(2)、分割映射图像中目标的最大可能区域，利用变换矩阵可以将彩色图像的斜视视角透视变换为鸟瞰视角，将步骤3子步骤(4)中的目标外接矩形的4个顶点坐标乘以透视变换矩阵可以得到它们映射后的位置，据此在俯视图中分割出包含目标的最大可能区域，若目标外接矩形的4个顶点经透视变换矩阵映射后为[x₁ y₁]^T、[x₂ y₂]^T、[x₃ y₃]^T、[x₄ y₄]^T，则包含目标的最大可能区域在横轴方向范围为min(x₁,x₂,x₃,x₄)到max(x₁,x₂,x₃,x₄)，在纵轴方向范围为min(y₁,y₂,y₃,y₄)到max(y₁,y₂,y₃,y₄)，其中max，min分别为求集合中的最大值、最小值；(3)、求偏航角，在此分割出的区域中重复步骤3中子步骤(3)的方法，用与步骤3中子步骤(4)相同的形态学处理方法，提取目标最大外边缘的旋转外接矩形的中心；识别并提取该分割区域中靶标的外正方形对应的旋转外接矩形的中心坐标[x y]^T、内矩形对应的旋转外接矩形的中心坐标[m n]^T，并采用如下公式(6)即可求得偏航角θ，$\theta =\left\{\begin{array}{cc}arctan\left(\frac{x-m}{y-n}\right),& (x-m)\ge 0\\ arctan\left(\frac{x-m}{y-n}\right)+\pi ,& (x-m)<0\end{array}\right.---\left(6\right)$(4)、根据步骤3中检测到的目标，重复步骤4中子步骤(2)至(3)，依次计算不同目标的相对偏航角。