一种基于动作元的体感姿势识别方法

摘要

本发明公开了一种基于动作元的体感姿势识别方法，采用对象映射生成技术、元动作分割技术、动作自动组合技术、顶级动作消缺技术，兼顾Kinect For Windows的马达以及语音识别，使用Kinect For Windows SDK实现一种依靠Kinect For Windows SDK骨骼信息生成基础元动作，根据元动作生成出复杂动作姿势的姿势识别方法。本发明增加了姿势识别的重用性，避免了每一次的动作逻辑都要与骨骼信息进行交互，提高了姿势识别的准确度和效率，并且可以对所需识别的姿势进行扩充，有效解决了Kinect For Windows SDK缺少姿势识别模块带来的不便。

主权项

一种基于动作元的体感姿势识别方法，其特征是，采用对象映射生成技术、元动作分割技术、动作自动组合技术、顶级动作消缺技术，兼顾Kinect For Windows的马达以及语音识别，使用Kinect For Windows SDK实现一种依靠Kinect For Windows SDK骨骼信息生成基础元动作，根据元动作生成出复杂动作姿势的姿势识别方法；其中：由Kinect骨骼信息接口（1）、骨骼深度信息转化模块（2）、基础元动作生成模块（3）、复杂动作扩展模块（4）组成，其中基础元动作生成模块包括动作匹配工厂（31）、元动作库（32）组成，复杂动作扩展模块包括顶级动作消缺模块（41）、时序分析模块（42）、扩展模板（43）组成；在Kinect骨骼信息接口（1）中，通过Kinect体感识别设备捕捉人体的20个骨骼点，人体20个骨骼点分别是头、左/右肩、肩部中心点、左/右肘关节、左/右腕关节、左/右手掌、脊柱、左/右臀、臀部中心点、左/右膝关节、左/右踝关节、左/右脚掌；将捕捉到的20个骨骼点传递到骨骼深度信息转化模块（2），进行进一步的骨骼信息解析；骨骼深度信息转化模块（2）将骨骼对象映射为对应的屏幕坐标信息（x,y,z），其中x为水平方向上的坐标，y为竖直方向上的坐标，z为垂直于屏幕的深度坐标，最后将得到的骨骼点的坐标信息整合为深度图像数据；骨骼深度信息转化模块（2）将骨骼深度图像数据传递到基础元动作生成模块（3），解析元动作；元动作为人体日常活动中理论上手、腿、头、躯干等可以达到的所有单一基本动作，分割出人体手和腿部在X‑Y平面内，即沿水平和竖直两个方向上的所有元动作；并分割出人体手和腿部涉及沿Z轴方向，即会与Kinect设备距离发生变化方向的所有元动作；通过基础元动作生成模块可以确切的得到每一条骨架信息产生的所有元动作，并且保证每一部分动作体有且只有一条元动作与之对应；基础元动作生成模块（3）接收到骨骼深度信息，通过骨骼动作匹配工厂（31）、元动作库（32），生成此次骨架信息对应的各种元动作链表，并将元动作链表传递到复杂动作扩展模块（4），完成所需要的复杂动作识别；复杂动作扩展模块（4）可以通过扩展模板（43）由用户自行扩展所需要的复杂动作，扩展模板（43）包含每一部分动作体的元动作列表，既扩展模板（43）中的动作体与元动作是一对多的关系；复杂动作扩展模块（4）中的动作识别由顶级动作消缺模块（41）对用户自行扩展的扩展模板（43）进行第一步识别动作；在复杂动作扩展模块（4）接收到元动作列表信息以后，顶级动作消缺模块（41）开始对用户自行扩展的扩展模板（43）进行分析，并消去此次识别的用户所设置的最顶级动作子动作集合，保留最顶级动作作为此次的复杂动作识别结果，并将结果传递到时序分析模块（42）中，进行时序分析，在操作人员动作完成的时间范围内完成此套动作的识别；在时序分析模块（42）中，根据Kinect的骨骼识别频率30帧/秒来设定计时器，即通过对骨骼帧的计数来计算出相对应的时间，每一次复杂动作的识别时间为1/30F秒，通过用户自行设定此套复杂动作所跨越的时间段。