基于kinect人体骨骼跟踪控制的智能机器人人机交互方法

摘要

本发明提供了一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，3D深度传感器检测操作者的动作，获得数据帧，转化为图像，分割图像中类似于人体的物体与背景环境，获取景深数据；提取人体骨骼信息，识别人体不同部位，建立人体各关节3D坐标；识别人体双手骨骼节点转动信息，通过捕捉不同骨骼关节点角度的变化辨识是人体哪只手的触发；解析出操作者不同的动作特征，将相应字符作为控制指令发送给下位机机器人；AVR单片机主控器接收、处理字符，控制下位机机器人执行相应的动作，实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。该方法摆脱传统外部设备对人机交互的约束，实现自然的人机交互。

主权项

一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，其特征在于，该交互方法具体按以下步骤进行：步骤1：智能机器人上使用由kinect和PC机组成的追踪设备；启动追踪设备，初始化kinect，设置摄像头仰角，3D深度传感器检测操作者的动作，kinect从颜色流、深度流和骨架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图像类型，将图像中类似于人体的物体与背景环境分割开，得到景深图像，Kinect获取该景深图像的景深数据；步骤2：根据景深数据，提取出人体骨骼信息，以识别人体不同的部位，建立人体各个关节的3D坐标；具体为：从景深数据中优先提取出物体的主体和形状；用这些形状信息匹配人体的各个部分，计算匹配出的各个关节在人体中的位置；如果某个骨骼点位置相对于初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正在发生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪；根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来辨识是人体哪只手的触发；步骤3：根据步骤2识别的手部骨骼节点的转动信息，并且跟踪不同骨骼关节点相对于初始状态角度转动的变化，解析出操作者不同的动作特征，该动作特征触发相应的字符，将该字符作为控制指令发送给下位机机器人；步骤4：下位机机器人接收步骤3发出的字符，AVR单片机主控器对接收到的字符进行处理，下位机机器人主控器AVR单片机控制下位机机器人执行相应的动作，如果未收到上位机发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。