基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法

摘要

一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法。具体包含以下步骤：视频预处理；目标运动变化过程描述；多尺度多方向等级层次特征提取；模型构建；模型选择和推断。本发明首先利用深度图像进行行为识别能够克服可见光图像行为识别常遇到的困难，如光照变化、阴影、物体遮挡等因素的干扰；其次本发明提出的深度差值运动历史图像和深度限制RGB图差值运动历史图像能很好捕获深度图像序列和RGB图像序列中人体行为的变化过程；再次本发明公开的多尺度多方向等级层次特征既有空间分辨能力也有细节描述能力，且具有很好的鲁棒性和区分性；最后、根据光线的亮暗，可自主选择模型，进一步提高了行为识别算法的适应性。

主权项

一种基于深度与RGB信息和多尺度多方向等级层次特征的行为识别方法，该方法具体包含以下步骤：第1、视频预处理预处理包括对输入的深度和RGB图像序列滤波去噪，同时，通过Kinect设备的红外装置，可以测出目标与摄像头的大概距离，根据该距离值，加上0.5获得大阈值，减去1获得小阈值；当某像素的深度值大于该阈值时，将该像素标记为0，否则标记为1，这样，能够移除背景对目标的干扰；第2、运动变化过程描述（1）捕获深度视频序列人体变化过程，获得深度差值运动历史图像；（2）捕获RGB视频序列人体运动变化过程，获得深度限制RGB图差值运动历史图像；第3、多尺度多方向等级层次特征提取在第2步获得的深度差值运动历史图像和深度限制RGB差值运动历史图像的基础上，分别寻找图像中非零像素，从而获得对应的人体历史运动的矩形区域，并在该区域内，提取多尺度多方向的等级层次特征描述对应的人体行为； 第4、不同模型构建公共行为数据集DHA中每个样本都包括RGB和深度图像序列，同时，该数据集被划分为训练数据集和测试数据集，按照第3步的方法，为DHA的训练数据集中的每个样本分别提取深度图像序列和RGB图像序列上的多尺度多方向的等级层次特征，然后，在训练数据集上分别训练基于深度的多尺度多方向的等级层次特征和基于深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型；第5、模型选择和模型推断在公共行为数据集DHA中测试数据集上，按照第3步的方法，提取深度和RGB运动历史图像上的多尺度多方向的等级层次特征，同时，计算RGB矩形区域内平均亮度，根据其光线的亮暗情况，选择不同的、已训练好的模型，当光线较暗时，采用基于深度的多尺度多方向的等级层次特征的支持向量机模型，反之，则采用深度、RGB融合的多尺度多方向的等级层次特征的支持向量机模型，将测试样本中提取的特征输入到选择的模型中，模型将自动地对样本的行为类别进行判断。