基于骨骼关节特征和表面特征融合的人体行为识别方法

摘要

本发明公开了一种人体行为识别方法，具体为一种新的结合骨骼局部的关节特征和全局的表面特征的融合框架进行行为识别的方法。首先，收集整个序列的关节特征和表面特征，并且分别地对上述收集到的特征进行训练支持向量机(SVM)模型；然后对待检测某一行为的每一种特征(关节或者表面)都进行标签类的匹配；最后，将上述匹配后的两种特征进行融合，通过融合框架计算特征概率来进行人体行为识别。本发明不但能够提供人体每个行为的独特性信息，同时，由于该方法融合了人们的局部深度信息和全局深度信息，因此，能够识别具有挑战性的人体行为。

主权项

一种基于骨骼关节特征和表面特征融合的人体行为识别方法，包括以下步骤：步骤1：获取局部深度关节特征：采用人体骨骼关节特征来构建人类活动的局部变化模型；步骤1.1：获取深度视频序列：采用Kinect传感器获得带有深度信息的视频序列；步骤1.2：捕捉骨骼并计算关节之间的距离：采用骨骼跟踪器检测所述深度视频序列中每一帧的关节数量并计算关节之间的距离，这些距离信息构成多维向量1；步骤1.3：获取关节周围的点云数量：从所述深度视频序列的每一帧中获得3D点云，定位每个关节在点云中的位置，然后围绕关节获得方形区域，最后把方形区域划分为小的区域，计算每个小区域中存在的点云数量，构成新的向量2；步骤1.4：量化关节局部特征：将所述深度视频序列中的每一帧的向量1和向量2进行组合，这些组合共同表示出人体行为的局部特征；步骤2：获取全局深度表面特征：采用4D空间的法向量分布来构建人类活动的全局变化模型；步骤2.1：获取表面地图：由Kinect获取带有深度信息的视频序列，每一个视频都有T帧图片序列，每一张图片都是带有深度信息的3D点云图像；步骤2.2：计算全局表面特征：在每一帧的3D点云图像的基础上增加时间轴构成4D空间，之后将4D空间分成不同的区域，在每个区域中都计算相应的法向量，用4D空间的法向量分布来表明人体运动的全局特性；步骤2.3：量化全局表面特征：通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后，量化相应区域的数据，构成全局表面特征直方图；步骤3：训练与融合：为整个序列收集上述局部深度关节特征和全局深度表面特征，并分别对收集到的上述局部深度关节特征和全局深度表面特征进行训练SVM模型，得到相应局部深度关节特征和全局深度表面特征所对应标签的后验概率，然后基于条件概率的最大化将上述两种特征融合成为一套统一框架。