一种基于机器人的鞋底边缘线自动跟踪方法

摘要

本发明提供了一种基于机器人的鞋底边缘线自动跟踪方法首先将粘合好鞋底的鞋进行扫描，获得点云数据后利用加权的PCA三水平集总体最小二乘方法获得点云特征点，再将特征点分块投影到二维区域，利用二维线段拼接的方法获得二维图像中最长的特征特征线，将该特征线反投影回三维空间再进行空间直线投影的方法细化出鞋底边缘封闭的三维曲线，最后在生成过程中利用扫描的当前鞋面与前面生成的三维封闭曲线产生新的曲线，利用工业机器跟踪该曲线即可实现自动化的打磨、涂药水及涂胶水等操作。本发明可以广泛应用于制鞋自动化系统中，提高生产效率和产品品质。

主权项

一种基于机器人的鞋底边缘线自动跟踪方法，其特征在于，包括以下步骤： 步骤1：摄像机及机器人手眼标定：进行摄像机标定；将摄像机安装到机器人上，通过手眼标定得到摄像机和机器人之间的坐标转换关系； 步骤2：鞋面点云数据扫描：标定出扫描头上的激光平面方程；获得手眼标定和激光平面方程后，将机器人扫描头围绕鞋面周围旋转进行扫描，每运行距离s拍一幅图像，s的大小根据所需点云的稠密程度而定，扫描区域为鞋底边缘线上下一定的区域，拍完图后通过重心法获得激光光条点对应的摄像机坐标系中的三维坐标，这些点信息依靠之前手眼标定的结果统一转换到机器人基座坐标下，从而获得扫描区域内鞋的三维点集P_si； 步骤3：法向量估计：由于点云网格化耗费时间过多，直接在散乱点云上处理，对散乱点云处理的第一步需要求出每个点的法向量，首先需要用kd‑tree数据结构表示出散乱的点云，对云输入点云中的某点p，利用kd‑tree结构找出离p点最近的K个点组成一个K领域，在K领域内进行空间平面拟合，所得平面的法向作为p的法向估计； 步骤4：散乱点云特征提取：点云的特征估计是基于曲面微分几何的，在邻域内估计出点的高斯曲率，平均曲率以及主曲率和主方向； 步骤5：特征信息的投影：步骤4得到的特征信息是在三维点上的，为了方便提取出鞋底边缘线，将这些特征点以及其附带的特征信息向鞋子四周投影到二维图像中； 步骤6：二维图像中鞋底边缘线的提取：图像中特征点为灰色或者白色，像素灰度值大于0，无特征信息为黑色，像素灰度值为0，鞋底边缘线提取过程如下：遍历图像如果发现有特征点，就开始从这点开始寻找下一点，再寻找下一点的下一点，如此形成一条线，使用vector<point>容器L来表示，由此，获得很多线段，存在vector<vector<point>>容器Q当中，接下来要将这些线段连接成一条从图像左端一直延续到右端的特征线；由于L的增长机制是从图像左端增长到右端，则如果两条线段都是鞋底边缘线的一部分且相连，则必然是首尾相连，如果两条线段的首和另一条的尾之间距离很近，而且它们对应的首部和尾部线段方向大致相同，即他们向量的内积小于一个很小的正值ε，则连接成一条新的曲线段，如此迭代，直到有一条线段从投影图像的最左端一直延续到图像的最右端，则该条线段就是鞋底边缘线在二维图像中的投影；根据投影时保存的用于记录三维信息的三通道图像，可以将这条线段反投影回三维空间；此时在三维空间中的鞋底边缘线是一条线状散乱点集， 需要进行进一步的细化； 步骤7：鞋底边缘线的细化：采用空间直线投影的方法对鞋底边缘写进行细化，在鞋底边缘线中对每一个特征点进行局部的空间直线拟合，然后将该特征点向拟合出的直线投影，生成新的鞋底边缘线，如此对所有获得的特征点数据进行处理，获得平滑的鞋底边缘线。根据在二维图像中识别最长封闭特征线的过程可知，这条特征线上的点是有序的，则最终细化后的鞋底边缘线上点也是有序，将相邻点之间两两相连成小线段，机器人可沿着小线段完成鞋底边缘线跟踪，小线段上两个点的法向量可为机器人跟踪时姿态提供参考； 步骤8：鞋面新的跟踪曲线生成：在后续的生产过程中，将需打磨喷胶的鞋面倒置安装在鞋楦上并放置到扫描位置，通过机器人扫描获得鞋面的三维点云数据P_sc，将之前获得的带有鞋底的鞋点集P_si和P_sc利用ICP算法将两个点云数据进行对齐；然后将初始鞋底边缘线上l_o间隔δ采样，采样点为p_o，以p_o为起点，p_o所处P_si点集处的法向量为方向生成直线l_n，计算l_n与P_sc的交点获得新的点集P_i，将新的点集P_i拟合出封闭的三维跟踪曲线l_sc，机器人沿l_sc运行并对l_sc以上的鞋面进行打磨和喷胶，完成全自动的鞋底边缘线的跟踪、打磨、喷胶操作。