一种基于Kinect的无标定人机交互控制系统及方法

摘要

本发明公开了一种基于Kinect的无标定人机交互控制系统及方法，该系统包括人体骨骼信息获取、计算机软件系统、机械臂，人体深度图像信息获取主要由Kinect传感器完成。计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标。机械臂的控制系统获取计算机系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。本发明构建手部相对于髋骨中心与末端执行器相对于机械臂基座的运动映射关系进行主从控制，实现人手与机器臂的实时交互。实验结果表明该系统能够很好的完成手部跟踪和主从控制任务，具有较高的实时性和交互性。

主权项

一种基于Kinect的无标定人机交互控制系统，其特征在于：主要有四部分构成包括操作者、Kinect传感器，计算机软件系统和机械臂控制系统；其中操作者处于Kinect的工作空间内，Kinect通过USB数据线计算机系统连接，机械臂控制系统通过RS232与计算机系统连接；整个系统主要包含四大功能模块，分别是人体深度图像信息获取模块、人体骨骼点追踪模块、逆运动学分析模块和下位机通讯模块；人体深度图像信息获取模块主要由Kinect传感器完成，它以每秒30帧的速度把深度图像传送给计算机系统；人体骨骼点追踪模块由计算机软件系统完成，主要完成的工作包括图像预处理、人体关节点识别和骨骼数据的平滑处理；逆运动学计算模块主要工作包括人手相对于自身髋骨中心的运动与机械臂相对于基座运动之间的映射转换以及机械臂逆运动学分析与求解；下位机通讯模块主要完成控制指令的生成、规范指令格式和指令的收发工作。