一种多视角行为识别方法

摘要

本发明公开了一种多视角行为识别方法。该方法包括以下步骤：对每个视角的动作视频样本提取其局部和全局特征，并把每个动作视频样本表示成为一个特征向量；对源视角和目标视角的动作视频样本的变换矩阵进行初始化；然后在信息论的框架下求得源视角和目标视角的动作视频样本的变换矩阵；根据两个视角的动作视频样本的变换矩阵求得虚拟视角核；然后求得每个动作视频样本之间的相似度；最后使用支持向量机分类器对测试动作视频进行分类。本发明通过连接在源视角和目标视角的连续通路达到多视角行为识别的目的；通过虚拟视角核计算得到的相似度矩阵能够作为任何基于核分类器的输入。

主权项

一种多视角行为识别方法，其特征在于，该方法包括以下步骤：步骤1，首先提取多个已分类动作视频样本中的每一个动作视频样本的局部时空兴趣点，利用词包模型对每个动作视频样本产生M维的局部时空兴趣点特征向量；提取每个动作视频样本的全局外形流特征，然后再次利用词包模型对每个动作视频样本产生N维的全局外形流特征特征向量；最后将两个特征向量连接在一起形成M+N维的特征向量作为相应动作视频样本的特征表示向量；步骤2，用源视角和目标视角动作视频样本的特征表示向量的主成分对源视角和目标视角动作视频样本的变换矩阵Ms和Mt进行初始化；步骤3，基于所述源视角和目标视角动作视频样本的变换矩阵Ms和Mt的初始值，利用源视角和目标视角动作视频样本之间的相似度与源视角和目标视角动作视频样本分类标签之间的互信息求得源视角和目标视角动作视频样本的变换矩阵Ms和Mt；步骤4，利用所述步骤3求得的源视角和目标视角动作视频样本的变换矩阵Ms和Mt求得参数虚拟视角核；步骤5，利用所述步骤4求取的所述虚拟视角核求得所有动作视频样本中两两样本之间的相似度，训练支持向量机得到分类模型，并利用得到的分类模型来对测试动作视频中的行为进行分类，以得到行为识别的结果。