人体骨架运动序列行为识别方法

摘要

本发明公开了一种人体骨架运动序列行为识别方法。其中，该方法包括获取人体骨架节点坐标；将人体骨架各肢体对应的节点进行串接，形成四肢和躯干的运动特征表达；将四肢和躯干的运动特征表达进行串接，形成人体骨架的向量表达；将人体骨架运动序列中各帧所对应的向量表达，按照时间顺序排列，得到三维矩阵；对三维矩阵中的数值做归一化和维度归一化，得到人体骨架序列对应的图像表达；采用卷积神经网络来自适应地提取图像表达中的纹理特征表达；基于该纹理特征表达进行行为类别判定，并以投票的方式确定人体骨架序列所属的行为类别。本发明实施例无需复杂的数据预处理，即可根据人体骨架坐标序列对人的行为进行精确识别。

主权项

一种人体骨架运动序列行为识别方法，其特征在于，所述方法至少包括：获取所述人体骨架节点坐标；其中，一系列连续时刻的所述人体骨架构成所述人体骨架运动序列；将所述人体骨架各肢体对应的节点进行串接，形成四肢和躯干的运动特征表达；将所述四肢和所述躯干的运动特征表达进行串接，形成人体骨架的向量表达；将所述人体骨架运动序列中各帧所对应的所述向量表达，按照时间顺序排列，得到三维矩阵；对所述三维矩阵中的数值做归一化和维度归一化，得到人体骨架序列对应的图像表达；采用卷积神经网络来自适应地提取所述图像表达中的纹理特征表达；将所述纹理特征表达通过全连接神经网络层映射为维度与数据库中所含行为类别总数相同的向量，并通过软最大化层归一化，确定所述人体骨架的类属概率；最小化以下最大似然损失函数:$L\left(\Omega \right)=-\underset{m=0}{\overset{M-1}{\Sigma }}ln\underset{k=0}{\overset{C-1}{\Sigma }}\delta (k-r)p\left(C_k\right|x_m)$其中，所述M表示数据库中的所述人体骨架运动序列样本的总量；所述δ(·)表示Kronecker函数；所述C表示行为类别总数；所述k表示行为项数；所述p(C_k|x_m)表示所述第m个人体骨架运动序列样本x_m隶属于第k个行为C_k的类属概率；所述r为人体骨架运动序列样本x_m对应真实行为类别标号；所述L(Ω)表示最大似然损失函数；从所述人体骨架序列对应的图像表达及其翻转图像中确定四个角部区域和中心区域，分别进行行为类别判定，并以投票的方式确定所述人体骨架序列所属的行为类别。