基于多尺度卷积神经网络的实时人体异常行为识别方法

摘要

本发明公开一种基于多尺度卷积神经网络的实时人体异常行为识别方法，采用卷积神经网络取代了传统的特征提取算法，并将卷积神经网络改进，适应人体行为分类的需求；具体的增加了三维卷积、三维下采样、NIN、三维金字塔结构，使得卷积神经网络可以对人体异常行为有更强的特征提取能力；在特定的视频集中训练，获得更具有分类能力的特征，增强整个识别算法的鲁棒性和准确性；另外，为了满足实际应用的需求进行了GPU加速，可以满足多路视频的实时监测。

主权项

基于多尺度卷积神经网络的实时人体异常行为识别方法，其特征在于，包括：S1、确定多尺度卷积神经网络的结构；包括第一层、第二层、第三层、第四层、第五层、第六层以及第七层；所述第一层是输入层，包含三个通道，该三个通道分别接受灰度转换后的当前时刻上一秒的视频图像信息和该视频计算出的稠密光流的两个通道Ox,Oy；第二层是三维卷积层，用数量为n、尺度为cw*ch*cl的卷积核对第一层输入的视频和光流进行卷积运算；第三层是三维下采样层，用尺度为pw，ph，pl的卷积核对第二层的输出进行最大池化；第四层是三维卷积层，用于对第三层的输出进行卷积运算；第五层是NIN层，采用由两层感知机卷积层的网络组成，用于根据第四层的输出提取人体行为的非线性特征；第六层是金字塔下采样层，由不同大小的三维下采样层组成，用于对第五层输出的人体行为的非线性特征进行下采样处理；第七层是全连接层，根据第六层的输出得到固定维度的特征向量；其中，Ox表示光流在x方向轴上的分量，Oy表示光流在y方向轴上的分量；cw表示卷积核的宽度，ch表示卷积核高度，cl表示卷积核在时间轴上的长度；S2、多尺度卷积神经网络的离线训练；通过在异常人体行为库中进行学习，得到网络参数模型结合步骤S1确定的多尺度卷积神经网络的结构作为在线识别时的模型文件；S3、卷积神经网络的在线识别；通过将视频输入模型文件得到作为识别依据的特征向量。