基于多方位视觉定位的机械手臂抓取控制系统及方法

摘要

本发明提供了一种基于多方位视觉定位的机械手臂抓取控制系统及方法，通过在机械手臂的不同位置设置双目图像采集单元和二维图像采集单元进行多方位视觉定位，能够实现对三维立体空间中任意位置的目标物体实施定位抓取，且在实施定位抓取任务的过程中，利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪，能够在待抓取目标物体发生位置、姿态改变的情况下及时的对机械手臂的抓取动作做出调整，重新定位抓取位置、设定夹持方向，防止出现“抓空”、抓取目标物体松脱等现象，能够控制机械手臂有效完成定位抓取任务，并有效避免了因目标物体被遮挡而导致定位失效的问题，提高了机械手臂实施定位抓取任务的灵活性和准确性。

主权项

基于多方位视觉定位的机械手臂抓取控制方法，其特征在于，采用基于多方位视觉定位的机械手臂抓取控制系统实施操作；所述基于多方位视觉定位的机械手臂抓取控制系统包括机械手臂，以及用于控制机械手臂执行抓取操作的机械手臂控制机构；所述机械手臂具有一臂部，以及一可旋转地设置于所述臂部前端的夹持手，由机械手臂控制机构控制所述臂部的位姿以及所述夹持手的旋转角度和抓取动作；还包括多方位视觉定位处理机构；所述多方位视觉定位处理机构包括定位处理单元，以及与定位处理单元进行数据通信的双目图像采集单元和二维图像采集单元；所述双目图像采集单元设置于机械手臂的旁侧，用于对预设的载物空间区域进行双目图像采集；所述二维图像采集单元设置于机械手臂的夹持手位置处，用于采集所述夹持手前方空间的二维图像；所述定位处理单元还与机械手臂控制机构进行数据通信，用于实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像，根据采集到的双目图像实时地进行待抓取目标物体识别，计算待抓取目标物体的三维空间位置坐标，并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别，判断待抓取目标物体的姿态和二维平面位置坐标，将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构；所述机械手臂控制机构用于接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息，实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿，使得机械手臂的夹持手靠近待抓取目标物体，并在夹持手靠近待抓取目标物体的过程中，实时地根据待抓取目标物体的三维空间位置坐标和二维平面位置坐标跟踪待抓取目标物体所在的三维空间位置，且实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度，使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应，进而控制夹持手对待抓取目标物体进行抓取；该方法包括如下的操作步骤：1）当机械手臂启动抓取任务后，由多方位视觉定位处理机构的双目图像采集单元对预设的载物空间区域进行双目图像采集，同时由多方位视觉定位处理机构的二维图像采集单元采集机械手臂的夹持手前方空间的二维图像；2）多方位视觉定位处理机构的定位处理单元实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像，根据采集到的双目图像实时地进行待抓取目标物体识别，计算待抓取目标物体的三维空间位置坐标，并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别，判断待抓取目标物体的姿态和二维平面位置坐标，将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构；3）机械手臂控制机构实时接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息，并实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿，使得机械手臂的夹持手靠近待抓取目标物体；4）机械手臂控制机构在控制夹持手靠近待抓取目标物体的过程中，实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度，使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应，并实时地判断在夹持手靠近待抓取目标物体的过程中，待抓取目标物体的二维平面位置坐标是否发生变化；若发生变化，执行步骤5；若未发生变化，则执行步骤7；5）机械手臂控制机构判断当前是否成功获取到抓取目标物体的三维空间位置坐标；若是，则根据抓取目标物体当前的三维空间位置坐标重新确定待抓取目标物体所在的三维空间位置；否则，根据抓取目标物体的二维平面位置坐标的变化幅度和方向，对此前最新获取到的抓取目标物体的三维空间位置坐标进行修正，重新确定待抓取目标物体所在的三维空间位置；然后执行步骤6；6）机械手臂控制机构根据重新确定的待抓取目标物体所在的三维空间位置，再次调整机械手臂的臂部位姿，使得机械手臂的夹持手靠近待抓取目标物体；返回步骤4；7）机械手臂控制机构根据当前确定的待抓取目标物体所在的三维空间位置以及当前所调整的夹持手的抓取方向，控制夹持手对待抓取目标物体进行抓取。