一种结合人脸和手势控制的人机交互方法及装置

摘要

本发明涉及一种结合人脸和手势控制的人机交互方法及装置，该方法用于与人机交互装置进行交互，人机交互装置获取人手区域信息和人脸区域信息，根据人手区域和人脸区域分别计算并设置开启人机交互的人手中心点和人脸中心点，通过人手中心点和人脸中心点的运动轨迹，分别判断是静态变化手势或动态变化手势、静态人脸动作或动态人脸动作。人机交互装置识别并获得与动作对应的控制指令，控制指令用于控制终端设备完成相应的操作。该人机交互方法在传统的人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的问题；相比于传统的人机交互方法，该方法步骤设计更为合理有效，作用明显，效果显著，具有很高的实用价值。

主权项

一种结合人脸和手势控制的人机交互方法，该方法包括：通过人体的动作集实现与人机交互装置的操作，所述动作集包括单纯人手动作、单纯人脸动作及人手与人脸结合的动作；人机交互装置分别获取人脸区域信息和人手区域信息，其中，所述人手区域位于人体与所述人机交互装置之间；所述人手动作为人手区域内的人手动作，所述人脸动作为人脸区域内的人脸动作；所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心点作为人手区域在三维空间运动的参考基点，通过判断人手中心点在三维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势；所述人机交互装置根据人脸区域信息计算并设置开启人机交互动作的人脸中心点，所述人脸中心点作为人脸区域在三维空间运动的参考基点，通过判断人脸中心点在三维空间内的运动轨迹，来确定人脸动作为静态脸部动作或动态脸部动作；所述人机交互装置识别并获得与动作集里的动作相对应的控制指令，所述控制指令用于控制终端设备完成相应操作。