基于HTG-HOG和STG特征的人体行为识别方法

摘要

本发明涉及新的人体行为识别。首先分别从深度图中提取出了HTG‑HOG特征和STG特征。第一种特征提取的是视频序列的时空局部特征，对视频序列的每一帧图像分别提取HTG特征，融合为2维矩阵。再对该矩阵提取HOG特征。第二种特征提取的是整个视频序列的全局特征。对于每个输入视频序列，选取加权动态能量值较大的前K帧图像作为该视频序列的关键帧。根据关键帧提取出视频序列的STG特征。再将两种特征融合成一个超大的向量。最后采用随机决策森林来对该向量进行分类判别。该发明识别机制结构简单易行，适用于老年人监护、智能视频监控等实时处理。

主权项

本发明是针对视频信息进行的人体行为识别方法。能够有效的节省劳动力，降低劳动强度，与此同时还能提高工作效率和识别精度。为达到上述发明目的，本发明采用的技术方案是一种基于HTG‑HOG和STG特征的人体行为识别机制。包括如下步骤：(一)STG特征的提取：(1)根据加权差值图的动态能量值提取出视频的关键帧；(2)对(1)中所提取的关键帧计算其非零区域的长度和宽度；(3)计算原始输入视频的非零区域的长度和宽度；(4)分别计算每帧关键帧中(2)和(3)中长度和宽度的比值；并将所有关键帧的比值联接成行向量；(二)HTG‑HOG特征的提取：(1)对每帧图像提取HTG特征；(2)在时间上，将视频中每帧图像提取的HTG特征的列向量合成为一个2维矩阵；(3)对以上(2)中产生的2维矩阵提取HOG特征，生成HTG‑HOG的行向量；(三)两大特征融合成超大向量：将步骤(一)和步骤(二)所生成的行向量联结成超大的行向量，然后再转置为超大的列向量。(四)使用随机决策森林对输入视频进行人体行为的类别判定。