基于多模态自编码模型的单视角视频人体姿态恢复方法

摘要

本发明公开了一种基于多层感知网络的单视角视频人体三维姿态恢复的方法。本发明包括以下步骤：1、采用基于超图学的多模态低秩矩阵表示获得图像的视觉特征；2、通过训练自编码模型获得图像与三维姿态的内在特征；3、采用无监督流形对齐技术，将图像与三维姿态的内在特征投影到一个共享的低维空间中；4、训练神经网络用于学图像与三维姿态之间的映射关系；5、利用自编码模型，无监督流形对齐模型及神经网络模型，构建五层感知器网络，并微调五层网络的参数；6、以图像的多种视觉特征作为输入，得到的输出即为对应三维姿态。本发明不仅提高了三维姿态恢复的质量，而且缩短了姿态恢复的时间，可达到实时姿态恢复的要求。

主权项

一种基于多层感知器模型的三维姿态重建方法，其特征在于包括以下步骤：步骤1、在提取视觉特征的过程中，针对图像的形状、颜色、边界等多种视觉特征，采用基于超图学习的多模态低秩矩阵表示获得的图像的统一视觉特征；步骤2、在内在特征提取过程中，通过训练自编码模型分别获得图像与三维姿态的内在特征；步骤3、基于步骤2获得图像与三维姿态的内在特征，采用无监督流形对齐技术，将图像与三维姿态的内在特征投影到一个共享的低维空间中，获得低维特征；步骤4、在训练多层感知器网络的过程中，基于步骤3已获得的图像与三维姿态的低维特征，再训练一个神经网络模型用于学习图像与三维姿态之间的映射关系；步骤5、在训练多层感知器网络的过程中，利用步骤2中的自编码模型，步骤3中的无监督流形对齐模型以及步骤4中的神经网络模型，构建五层的全新感知器网络，以图像块作为输入，三维人体姿态作为输出，微调五层全新感知器网络的参数；步骤6、将步骤5得到的五层全新感知器网络做图像三维姿态重建，以图像的多种视觉特征作为输入，得到的输出即为对应三维姿态。