一种基于多模态序列融合的动作识别方法

摘要

本发明公开了一种基于多模态序列融合的动作识别方法，包括以下步骤：获得原始视频多种模态下的信息，并进行预处理获取初始RGB图像序列及初始深度图像序列，以及获取骨架特征序列；对初始RGB图像序列进行背景建模，通过得到的背景建模结果来提取第一人体区域外接矩形，同时提取初始深度图像序列上相应位置的第二人体区域外接矩形；在第一、第二人体区域外接矩形上分别提取人体动作特征，得到RGB模态和深度模态下的特征向量；根据得到的RGB-LBP、D-LBP特征向量序列，以及骨架特征序列，通过多视角判别模型来进行动作识别。本发明能够将多种模态的序列信息进行互补融合，能够有效提高动作识别准确率。

主权项

一种基于多模态序列融合的动作识别方法，其特征在于，所述方法包括以下步骤：获得原始视频多种模态下的信息，并进行预处理，获取初始RGB图像序列、初始深度图像序列，以及获取骨架特征序列；对所述初始RGB图像序列进行背景建模，通过得到的背景建模结果来提取第一人体区域外接矩形，同时提取所述初始深度图像序列上相应位置的第二人体区域外接矩形；在第一、第二人体区域外接矩形上分别提取人体动作特征，得到RGB模态和深度模态下的RGB‑LBP、D‑LBP特征向量序列；根据所述RGB‑LBP、D‑LBP特征向量序列，以及所述骨架特征序列，通过多视角判别模型来进行动作识别。