基于多模态非接触身份特征的识别方法

摘要

本发明公开了一种基于多模态非接触身份特征的识别方法，包括如下步骤：对于当前待注册用户，获取其S幅人脸图像、S幅步态图像及N幅人耳图像；提取S幅人脸图像、S幅步态图像及N幅人耳图像的特征，得到人脸图像特征矩阵、步态图像特征矩阵及人耳图像特征矩阵；步骤3、进行图像特征矩阵融合，得到融合矩阵；实时识别。本发明提出了一种基于层次结构的人脸、步态、人耳图像融合识别方法。本发明提出的方法对人脸识别、步态识别和人耳识别进行了有效的融合。

主权项

一种基于多模态非接触身份特征的识别方法，包括如下步骤：步骤1、对于当前待注册用户，获取其S幅人脸图像、S幅步态图像及N幅人耳图像；步骤2、提取S幅人脸图像、S幅步态图像及N幅人耳图像的特征，得到人脸图像特征矩阵F_M×S、步态图像特征矩阵G_N×S及人耳图像特征矩阵B_H×N，则有：式中，每幅人脸图像有多个特征点，将这些特征点每两个连成一条线段后去除冗余线段，得到M条有效线段，y_s(m)表示第s幅人脸图像中归一化后的第m条有效线段的长度，s＝1，2，…，S，m＝1，2，…，M；式中，每幅步态图像以其高度分为多级，记录每一级的像素点作为向量的元素，去除冗余信息后，得到N维向量，x_s(n)表示第s幅步态图像对应的N维向量中归一化后的第n个元素所含的像素数，n＝1，2，…，N；式中，每幅人耳图像有多个特征点，这些特征点的连线去除冗余线段后得到H条有效线段，z_n(h)表示第n幅人耳图像中归一化后的第h条有效线段的长度，h＝1，2，…，H；步骤3、将人脸图像特征矩阵F_M×S、步态图像特征矩阵G_N×S及人耳图像特征矩阵B_H×s进行融合，得到融合矩阵A_M×H，则有：A_M×H＝F_M×S×G_N×S^T×B_H×N^T，当前待注册用户的注册信息包含该融合矩阵A_M×H的特征向量及当前待注册用户的个人信息，将该注册信息保存至训练数据库，当前待注册用户变为已注册用户；步骤4、重复步骤1至步骤3，直至将所有待注册用户的注册信息均保存至训练数据库，即训练数据库中保存有所有已注册用户的注册信息；步骤5、实时获取待识别用户的图像视频集，判断该图像视频集是否包含人脸图像、步态图像及人耳图像，若是，则分别提取人脸图像、步态图像及人耳图像的特征后进行融合，得到融合后的特征向量，将融合后的特征向量与训练数据库中各已注册用户的注册信息进行比对，若匹配，则获得待识别用户的个人信息。