一种多视角多状态的步态识别方法

摘要

本发明提出一种多视角多状态的步态识别方法，包括：对训练集里步态视频进行轮廓提取和时间同步，建立表象期望值、视角、状态和身份之间的投影关系；对原型集人体步态轮廓序列进行视角估计，从表象期望值、视角、状态、身份之间的投影关系获得身份信息；对测试集里人体步态轮廓序列进行视角估计，从训练集中的表象期望值、视角、状态、身份之间的投影关系获得身份信息，与原型集里已有的所有身份向量进行比对，判断得到是原型集中的哪一个人。与现有的基于整个步态周期的方法不同，本发明以单个状态作为最小单位，更加准确的建模步态运动的变化过程并用于识别，训练出各个视角下的多状态模型，能够估计待识别视频的步态视角。

主权项

1.一种多视角多状态的步态识别方法，其特征在于：具体包括以下几个步骤：步骤一：对训练集里多个已知视角的多段步态视频进行轮廓提取和时间同步，对不同视角下的多状态模型进行参数估计，建立表象期望值、视角、状态和身份之间的投影关系；(1)对训练集里每一个人在不同视角下的行走视频，顺次通过前景检测、形态学滤波和归一化处理，提取每一个人各视角下的人体步态轮廓序列；(2)采用局部线性嵌入、互相关系数分析和序列平移的方法，将获得的各个视角的人体步态轮廓序列进行时间上的同步；(3)在训练集中选择一个视角作为基础视角，根据该基础视角的所有人的人体步态轮廓序列，建立一个包含状态间的转移参数和各状态的表象参数的多状态模型来表征该基础视角下的步态特性；状态间的转移参数表征各状态之间的转移关系，各状态的表象参数表征各状态下表现出来的步态特征；各个视角下的多状态模型选择隐马尔可夫-混合高斯模型，其状态间的转移参数用维数为状态数的转移概率矩阵表示，各状态的表象参数用混合高斯模型表示，使用波氏估计算法得到基础视角下的状态间的转移参数和各状态的表象参数，得到多状态模型；(4)建立训练集里除基础视角以外其他所有视角的多状态模型，其状态间的转移参数直接由基础视角下多状态模型中的状态间的转移参数复制得到，对于各状态的表象参数，先采用步骤一(3)中基础视角下的多状态模型对基础视角的所有人体步态轮廓序列进行维特比解码求出人体步态轮廓序列中各帧的状态，按照各帧状态的不同，将基础视角下人体步态轮廓序列分成若干子序列，分割后的每个子序列内的所有帧拥有同一状态，然后将步骤一(2)中时间同步后的其他所有视角下的所有人体步态轮廓序列依照基础视角下的分割产生各状态的子序列进行分割，再以这些其他所有视角下的各状态的子序列为样本，用混合高斯模型的期望最大化算法估计出其他所有视角下的各状态的表象参数，根据状态间的转移参数和各状态的表象参数，得到除基础视角以外其他所有视角的多状态模型；(5)由步骤一(3)和步骤一(4)中获得的各个视角下的多状态模型，用维特比解码得到各个视角下的所有人体步态轮廓序列各帧的状态，获得每一个人的各视角下的各状态的表象期望值，并在表象期望值、视角、状态和身份这四个维度的张量空间中进行奇异值分解，得到表象期望值、视角、状态、身份之间的投影关系；所述的表象期望值、视角、状态、身份之间的投影关系的建立是将整个训练集表示为张量积形式G，其中，S是由张量奇异值分解得到的张量核，U_feature、U_sctance、U_view、U_person分别是表象期望值、视角、状态和身份这四个维度的投影矩阵：G＝S×₁U_feature×₂U_stance×₃U_vier×₄U_person$S=G{\times }_1{U}_{\mathrm{feature}}^T{\times }_2{U}_{s\tan \mathrm{ce}}^T{\times }_3{U}_{\mathrm{view}}^T{\times }_4{U}_{\mathrm{person}}^T$步骤二：对原型集里每一个人的一段或多段人体步态轮廓序列进行视角估计，将提取的步态特征输入到估计视角下的步骤一得到的多状态模型，从表象期望值、视角、状态、身份之间的投影关系获得身份信息；(1)从原型集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角，待识别人体步态轮廓序列的提取过程与步骤一(1)相同；(2)根据原型集里各个人体步态轮廓序列以及步骤一获得的各人体步态轮廓序列的估计视角下的多状态模型，对各人体步态轮廓序列提取出各人体步态轮廓序列的估计视角下的各状态的表象期望值，各状态的表象期望值的提取过程与步骤一(5)相同；(3)根据步骤二(2)提取出的原型集里每一个人的一个或多个视角、一个或多个状态的表象期望值，以及步骤一(5)中获得的表象期望值、视角、状态、身份之间的投影关系计算出原型集中所有人的身份向量，身份向量的计算过程是将原型集中每一个人的一个或多个视角、一个或多个状态的表象期望值形成一个待识别张量P，将其向第4维度身份维度上展开得到与P数据量相同、维度组合不同的中间变量P₄，用C_stance只含有1和0的单位向量组成的矩阵表示此人现有的所有状态，用C_view只含有1和0的单位向量组成的矩阵表示此人现有的所有视角；将在第4维度上求逆，再乘上中间变量P₄得到身份向量${\hat{u}}_{\mathrm{person}}=P_4{\times }_1{\left(S{\times }_1{U}_{\mathrm{feature}}{\times }_2{C}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\times }_3{C}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4};$步骤三：对测试集里多个人的一段或多段的人体步态轮廓序列进行视角估计，将提取的步态特征输入到步骤一训练得到的多视角下的多状态模型，从训练集中的表象期望值、视角、状态、身份之间的投影关系获得身份信息，与原型集里已有的所有身份向量进行比对，得到是原型集中的哪一个人；(1)从测试集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的训练集中的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角，待识别人体步态轮廓序列的提取过程与步骤一(1)相同，视角估计过程与步骤二(1)相同；(2)根据测试集里各个人体步态轮廓序列以及步骤一获得的各序列的估计视角下的多状态模型，对各人体步态轮廓序列提取出各序列的估计视角下的该状态的表象期望值，各状态的表象期望值的提取过程与步骤一(5)相同；(3)根据步骤三(2)提取出的测试集里每一个人的一个或多个视角、一个或多个状态的表象期望值，与步骤一(4)中获得的表象期望值、视角、状态、身份之间的投影关系计算出测试集中的身份向量：将测试集中每一个行人的一个或多个视角、一个或多个状态的表象期望值堆砌成一个待识别张量Q，将其向第4维度身份维度上展开得到与M数据量相同、维度组合方式不同的中间变量Q₄；用D_stance只含有1和0的单位向量组成的矩阵表示此人现有的所有状态；D_view只含有1和0的单位向量组成的矩阵表示此人现有的所有视角；D_view和D_stance的组成与步骤二(2)中的C_view和C_stance相同；将在第4维度上求逆，再乘上Q₄求得身份向量${\hat{v}}_{\mathrm{person}}=Q_4{\times }_1{\left(S{\times }_1{U}_{\mathrm{feature}}{\times }_2{D}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\times }_3{D}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4}$对测试集的每一个人，将得到的身份向量与原型集的所有身份向量计算欧式距离，并用最近邻法在原型集里找出最佳匹配项，若与最佳匹配项的距离大于阈值，则视为在原型集里没有此人，否则将找到的最佳匹配项作为最终识别结果，身份向量的计算过程与步骤二(3)相同，得到了测试集的所有人的身份向量，若此人已被包含在原型集则给出最佳匹配项，否则在原型集里没有此人的记录。