基于立体视觉的吊车避障系统

摘要

一种基于立体视觉的吊车避障系统。包括：标定双目立体视觉系统，得到左右相机的内参数，以及左右相机之间的外参数；使用立体视觉系统拍摄吊车工作场景的图像，重建吊车工作空间中的静态障碍物；在负载运送的过程中，实时跟踪负载，同时检测突然进入吊车工作空间的运动物体（人、车辆、或者其它障碍物等），并估计负载和运动物体的运动信息、位置信息和尺寸信息；根据碰撞预测策略，预测负载与障碍物（静态障碍物和运动物体）是否发生碰撞，以决定是否采取紧急制动，避免负载与障碍物发生碰撞。

主权项

一种基于立体视觉的吊车避障系统，其特征在于该系统由四部分组成，包括：第1、双目立体视觉系统的标定第1.1、模型分析相机模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉系统一般由左右两个相机组成，其成像模型均采用所述的针孔模型；在双目立体视觉系统中，需要标定的参数包括左相机和右相机的内参数Al、Ar，Al为左相机的内参数矩阵，Ar为右相机的内参数矩阵，以及左相机和右相机之间的外参数R和t，R和t分别表示左相机和右相机之间外参数的旋转矩阵和平移向量；第1.2、基于全局代价函数优化的立体标定立体标定包括左相机和右相机的内参数标定、左相机和右相机分别与标定板之间的外参数标定、镜头畸变系数的标定、以及左右相机之间外参数标定；引入左右相机之间外参数保持不变这一约束条件，并选取全局代价函数作为优化目标进行非线性优化，所述基于全局代价函数优化的立体标定方法包括：角点提取、2维单应矩阵的估计、相机内外参数的估计、径向畸变的估计，以及基于全局代价函数的非线性优化五个步骤：第1.2.1、左右相机同时各拍摄3幅以上的标定图像，利用Harris角点检测算法提取出角点坐标，精确至亚像素精度；第1.2.2、对于每幅图像，计算左右相机图像平面与标定板之间的2维单应矩阵；第1.2.3、估计得到左右相机的内参数，以及它们与标定板之间的外参数；第1.2.4、采用最小二乘方法估计径向畸变系数；第1.2.5、引入左右相机之间外参数不变这一约束条件，基于全局代价函数进行非线性优化；第2、吊车工作空间中静态障碍物的重建首先提取图像的边缘特征；然后利用极线约束和邻域灰度信息，沿特征点的主方向建立描述符；同时通过“冗余角阈值”策略来选择合适的候选匹配点；最后通过计算特征点与候选匹配点之间的相关度，得到正确的匹配点,第2.1、具有旋转不变性的边缘点匹配算法针对传统边缘匹配算法对图像旋转敏感，易发生误匹配的缺点，提出了一种具有旋转不变性的边缘点匹配算法，通过将SIFT算子的旋转不变性引入匹配中来提高对图像旋转的鲁棒性，具体包括五个步骤：第2.1.1、图像预处理，包括灰度化处理，直方图均衡化，图像平滑滤波操作；第2.1.2、特征点提取，特征点提取在图像空间中进行，利用Canny边缘检测算子得到样本图和搜索图的轮廓点信息，并保存搜索图的轮廓图像；第2.1.3、特征点描述符的建立对任意特征点，首先计算特征点主方向；在以该特征点为中心的邻域窗口内采样，使用 梯度方向直方图统计邻域像素的梯度方向和幅值；直方图的峰值代表该特征点邻域内梯度的主方向，即特征点的主方向；获得特征点主方向后，利用邻域灰度信息，沿特征点主方向来建立描述符，从而保证特征点描述符具备旋转不变性；第2.1.4、候选匹配点的选取为了消除旋转对匹配结果的影响，采用SIFT算子的旋转不变性来建立特征点描述符，但匹配结果出现二义性，即一个样本点可能对应多个搜索点，为此，采用一种“冗余角阈值”策略对二义性问题进行处理，在匹配时，仅仅将搜索图中对应主方向附近的特征点作为候选，以剔除错误的匹配点；第2.1.5、特征点描述符相关度的计算特征点的匹配，实质是计算特征点描述符之间的相关度；对两个点p1、p2，设其描述符分别为v1、v2；v1和v2的相关度越高，则两个点的匹配度越高；反之，则匹配度越低；使用如下向量夹角余弦值来计算两个描述符之间的相关度，当余弦值等于1时，两特征点具有最佳匹配；当余弦值等于0时，则匹配度最低；使用以上“吊车工作空间中静态障碍物的重建”方法对吊车工作场景进行重建，最终得到吊车工作空间中静态障碍物的位置信息和尺寸大小；第3、吊车工作空间中动态障碍物的检测与跟踪使用背景差分法，实时检测出突然进入吊车工作空间的运动物体， 再使用camshift算法，实时跟踪负载和运动障碍物，估计它们各自的位置信息和尺寸信息， 最后对这些信息进行kalman滤波，得到准确的估计值；第3.1、基于背景差分法的运动检测第3.1.1、一般情况下，前景的运动目标的灰度值与背景的灰度值之间有很大的差异，而运动物体本身的灰度值一般不会有很大差异，因此通过图像差分就能很好地反映出两帧图像之间的变化，如能检测出这种变化，就可以将运动目标提取出来并分析其运动特征；第3.1.2、由于噪声及背景提取存在的误差，需要对得到的差分图像进行二值化处理，即将属于背景的静止像素和属于目标的运动像素分开，得到二值化图像；第3.1.3、得到二值化图像后，对图像进行腐蚀和膨胀操作，消除孤立点或较小的孤立区域，连通碎化的区域，然后统计连通区域个数，判断是否有运动障碍物进入，对运动物体进行编号；同时统计连通区域的外接矩形，可以估计运动物体的尺寸信息，还可以用于camshift跟踪算法的初始化；第3.2、尺寸信息估计根据第3.1.3步得到的图像上连通区域的外接矩形，估计运动物体的实际尺寸信息；第3.2.1、匹配左图像和右图像中的连通区域，根据图像上连通区域的中心位置，来计算物体中心的实际坐标，得到物体的深度值ZC； 第3.2.2、已知连通区域的外接矩形的长轴a，短轴b，以及外接矩形与水平方向的偏转角度为θ，可以得到长边在u，v方向上的长度Δu，Δv；根据投影原理，可以得到物体在XC，YC方向上的长度ΔXC和ΔYC，进一步得到物体的包围球半径r；第3.3、camshift跟踪算法Camshift算法可以分为两大部分，第一部分meanshift查找目标，第二部分自适应调整搜索窗口的长、宽、方向；对于每一幅图像，先采用meanshift算法计算出目标包围窗口，在通过公式自适应的计算出下一幅图像的初始搜索框的长和宽，这样就完成了对搜索框的自适应更新；第3.4、kalman滤波以上第3.3步跟踪算法得到的只是物体每时刻位置的估计，这个估计是不准确，可以将这些不准确简单地看作跟踪过程中的噪声；为了最大限度地估计物体的运动，使用多个测量的累积可以检测出不受噪声影响的部分观测轨迹；应用在吊车系统中，我们将物体的状态用三个位置变量x、y和z，以及三个速度变量vx，vy和vz表示，这六个变量组成状态向量xk的元素；我们用立体视觉来测量物体的位置，作为观测值来进行更新，就可以得到最优的估计值；第4、碰撞预测使用包围球来表示负载和障碍物的碰撞模型，以静止包围球的碰撞相交算法为基础，得到运动的包围球碰撞算法；负载在场景中运动，根据运动包围球碰撞算法，实时预测负载与静态或者动态障碍物是否发生碰撞，以启动紧急制动控制；第4.1、碰撞模型包围球碰撞模型，是指包含物体的最小球体，包括球体中心坐标C和半径R；第4.1.1、静态障碍物的包围球创建根据立体匹配重建得到的物体轮廓的点集Xj(0≤j≤n)，首先，累积所有点的坐标向量获取平均向量C，即为包围球的中心点；然后再根据所有点到中心点的最大距离确定包围球的半径R；第4.1.2、动态障碍物的包围球创建根据第3步实时跟踪并经过kalman滤波后得到的中心点位置作为包围球的中心点，实时估计的最大半径作为包围球的半径，并可以在线更新；第4.2、运动碰撞预测算法第4.2.1、计算负载包围球中心Ol与障碍物包围球中心Oo之间的距离d1，判断障碍物是否在安全半径范围之内，如果在，进行下一步；其中，安全半径Rsafe由吊车负载的最大安全制动距离dsafe、负载包围球半径Rl和障碍物包围球半径Ro组成；第4.2.2、计算负载与障碍物的相对速度是否为零，如果相对速度为零，则两个物体不会发生碰撞；若不为零，则进行下一步；其中，相对速度Vrel由负载速度Vl和障碍物速 度Vo生成；第4.2.3、计算直线与平面的交点Pinter；其中，直线过负载中心点且方向向量为相对速度方向，平面过障碍物中心点且法向量为相对速度方向；第4.2.4、然后计算交点Pinter与障碍物中心点之间距离d2；如果d2小于Rl和Ro之和，则负载与障碍物发生碰撞，反之，则不发生碰撞；第4.2.5、当预测负载与障碍物将发生碰撞时，及时采取制动措施。