基于多方位视觉定位的机械手臂抓取控制系统及方法

摘要

本发明提供了一种基于多方位视觉定位的机械手臂抓取控制系统及方法，通过在机械手臂的不同位置设置双目图像采集单元和二维图像采集单元进行多方位视觉定位，能够实现对三维立体空间中任意位置的目标物体实施定位抓取，且在实施定位抓取任务的过程中，利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪，能够在待抓取目标物体发生位置、姿态改变的情况下及时的对机械手臂的抓取动作做出调整，重新定位抓取位置、设定夹持方向，防止出现“抓空”、抓取目标物体松脱等现象，能够控制机械手臂有效完成定位抓取任务，并有效避免了因目标物体被遮挡而导致定位失效的问题，提高了机械手臂实施定位抓取任务的灵活性和准确性。

主权项

基于多方位视觉定位的机械手臂抓取控制系统，包括机械手臂，以及用于控制机械手臂执行抓取操作的机械手臂控制机构；其特征在于：所述机械手臂具有一臂部，以及一可旋转地设置于所述臂部前端的夹持手，由机械手臂控制机构控制所述臂部的位姿以及所述夹持手的旋转角度和抓取动作；还包括多方位视觉定位处理机构；所述多方位视觉定位处理机构包括定位处理单元，以及与定位处理单元进行数据通信的双目图像采集单元和二维图像采集单元；所述双目图像采集单元设置于机械手臂的旁侧，用于对预设的载物空间区域进行双目图像采集；所述二维图像采集单元设置于机械手臂的夹持手位置处，用于采集所述夹持手前方空间的二维图像；所述定位处理单元还与机械手臂控制机构进行数据通信，用于实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像，根据采集到的双目图像实时地进行待抓取目标物体识别，计算待抓取目标物体的三维空间位置坐标，并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别，判断待抓取目标物体的姿态和二维平面位置坐标，将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构；所述机械手臂控制机构用于接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息，实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿，使得机械手臂的夹持手靠近待抓取目标物体，并在夹持手靠近待抓取目标物体的过程中，实时地根据待抓取目标物体的三维空间位置坐标和二维平面位置坐标跟踪待抓取目标物体所在的三维空间位置，且实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度，使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应，进而控制夹持手对待抓取目标物体进行抓取。