一种基于视觉的管口空间位置定位方法

摘要

本发明提出一种基于视觉的管口空间位置定位方法，主要步骤包括：1)机器人手眼关系标定，多个坐标系的标定与转换，确定2D像素坐标与三维空间场景间的几何映射关系；2)获取冷凝器图像，管口图像点集的分割，拟合管口曲线，提取每个管口的中心像点；3)根据管口中心的像点及参数K、R、t，计算深度信息，进一步确定出管口空间实际位置。水下清洗机器人在启动高压喷水枪清洗管口时，使用该方法辅助其搜索及定位管口位置，实现机器人对管口自动定位及完成清洗工作。该方法可极大提高机器人对管口定位的准确性及机器人代替人类工作的自动化程度，提高机器人的作业性能和对环境的适应性。

主权项

1.一种基于视觉的管口空间位置定位方法，采用装配了摄像机的机器人对需要清洗的冷凝管管口进行定位，其特征在于，包括以下步骤：1)离线标定机器人手眼关系R、t和摄像机内参数K；其中R为旋转关系，t为平移关系；2)通过摄像机获取管口图像，从图像中分离出管口并经拟合获取第i个管口中心像点坐标m_i；其中i＝1～n，n为总的管口数；3)根据机器人手眼关系R、t和摄像机内参数K以及管口中心像点坐标m_i求得第i个管口的空间位置(X_i，Y_i)；所述步骤1)中标定机器人手眼关系R、t的步骤为：A)精确控制机器人的机械手末端执行器做2次以上运动，机械手平台运动量记为Me，Me从光电编码器读出；B)机器人的摄像机运动量记为Mc，Mc的确定如下：摄像机对场景中具有直线的景物进行成像，空间景物直线Lc，及对应的像直线l，透视中心O位于同一平面π，取像直线方向及像直线的垂线作为平面π内的正交矢量基；空间景物直线Lc在平面π内的正交分解：以四元数表示线矩γ，β是正交分解的系数；P是空间景物直线Lc上的点；平台从位置A移动到B，移动前后分别提取图像中对应的直线l_a，l_b，其垂线分别为l_a⊥，l_b⊥，摄像机的运动量满足：是摄像机运动量Mc的双四元数表示；C)平台运动量Me与摄像机运动量Mc之间手眼关系满足：为平台运动量Me的双四元数表示；其中，双四元数手眼关系包含了旋转关系R和平移关系t，将上式化简整理为矩阵形式，最小二乘法求解双四元数手眼关系分解出旋转关系R和平移关系t；其中，分别为l_a、l_b和l_b⊥的双四元数表示，为的共轭；为的共轭；所述步骤2)包括：A)聚类：运用均值平移算法对二值图像I的边缘数据点{x_k}_k＝1^N进行聚类，收敛于聚类中心点x：公式$f_{\sigma }\left(x\right)=\frac{{\Sigma }_{j=1}^s{\Sigma }_{x_k\in {\mathrm{set}}_j}\omega \left({\left|\right|\frac{x_k-x}{\sigma }\left|\right|}^2\right)x_k}{{\Sigma }_{j=1}^s{\Sigma }_{x_k\in {\mathrm{set}}_j}\omega \left(\right|\left|{\frac{x_k-x}{\sigma }\left|\right|}^2\right)}-x,$式中，x_k＝{u，v}是像点位置2D信息数据点；ω(·)是高斯核函数，σ是聚类带宽；N个数据点预划分在s个子集set_j内，其中j＝1，…，s，s在聚类过程中自动更新；B)起终点搜索：运用模板与当前块执行“与”运算，遍历当前点I(u，v)为边缘曲线点的所有点，若结果为2时，即ss为起点或终点，公式：式中tmp1是3×3元素为1的模板，I_B是二值图像I的3×3当前检测块；符号“⊙”表示“与”运算；C)分割：在聚类数据块内进行连通域检测，标记出不同的管口点集，从每个起点或终点开始进行8邻域的连通域递归检测分割标记；检测标记det ect＝(tmp2⊙I_B(u，v))；重复标记检测re_det ect＝tmp2⊙mark_B(u，v)；得到连通边缘点标记$\mathrm{mark}=\det \mathrm{ect}\oplus \mathrm{re}\_\det \mathrm{ect};$式中tmp2是3×3中心元素为0，其它为1的模板，mark_B是连通标记mark的当前块；符号表示“或”运算；D)将各聚类区域的每条连通线局部坐标转换到整个像平面的全局坐标，记为连通域C_i(i＝1，2，…)；E)管口中心像点的提取整个视场内管口图像点集分割后，根据连通域C_i(i＝1，2，…)边缘点数据，采用最小二乘法、Hough变换进行二次曲线拟合，拟合为圆或椭圆，提取管口中心像点坐标m_i；所述步骤3)为：任一点从空间场景物体坐标系X_w到摄像机坐标系Y_c的转换关系为：从空间场景物体坐标系到机器人坐标系的转换关系^bT_w，从机器人坐标系到机械手臂坐标系的转换关系^eT_b，从机械手臂坐标系到摄像机坐标系的手眼转换为^cT_e，则各坐标系转换关系X_c＝^cT_e^eT_b^bT_wX_w，图像坐标系下的像点关系为λ_im_i＝KX_c；λ_i为深度；选机器人坐标系与空间场景物体坐标系为同一坐标系，^eT_b＝{R_b，t_b从光电编码器读取，R_b，t_b分别表示机器人机械臂在清洗中执行的旋转关系、平移关系，^cT_e＝{R，t}是手眼关系，则任一管口中心像点m_i与其对应的空间坐标位置X_wi之间存在关系：λ_iR_b^TR^TK^-1m_i-R_b^T(t_b+R^Tt)＝X_wi；其中，R_b^TR^TK^-1m_i是一个三维列向量，其三个分量分别为a_i，b_i，c_i；R_b^T(t_b+R^Tt)是一个三维列向量，其三个分量分别为t₁，t₂和t₃；则深度其中Z为机器人坐标系原点到管口平面的距离，为已知量；管口的空间位置(X_i，Y_i)为$\left\{\begin{array}{c}{X}_i=a_i{\lambda }_i-t_1\\ Y_i=b_i{\lambda }_i-t_2\end{array}\right..$