基于人脸-指纹协同的身份识别方法

摘要

一种基于人脸-指纹协同的身份识别方法，属于利用机器视觉和模式识别领域，通过模拟人类能够综合利用多种信息以及异类信息之间的内在联系来认知世界的能力，试图寻找人脸与指纹特征之间的关联性，在自行构建的人脸-指纹协同数据库上，利用人脸、指纹及其两者之间的关联性，来进行多模态生物特征识别的方法。具体包含以下步骤：1)图像低层视觉特征选择与融合；2)图像高层语义特征表述；3)人脸与指纹特征之间的关联分析；4)高层语义特征的多模态信息交互；5)建立人脸-指纹协同数据库。本方法在包含同一个人的人脸和指纹的大型的数据库进行验证，具有较高的准确性和较强的鲁棒性。

主权项

一种基于人脸—指纹协同的身份识别方法，用于机器视觉和模式识别领域中的身份识别，具体步骤如下：1)图像低层视觉特征选择与融合，是以识别为目标，使用全局特征向量与局部特征向量相融合的方法来提取人脸图像和指纹图像的高效低层视觉特征；2)建立图像高层语义特征表述模型，是对图像的低层视觉特征与高层语义之间的内在联系进行分析，通过函数关系实现低层视觉特征到高层语义之间的映射；3)分析人脸与指纹特征之间的关联性，是基于非参数模型的方法，采用联合分布来表示不同模态信息之间的关联性，把不同模态信息的联合特征向量映射到一个低维的特征子空间，然后在低维子空间里估计不同模态信息的联合分布；4)解决多分类器在训练阶段以及决策阶段的协同，实现高层语义特征的多模态信息交互，是依据协同训练算法，在人脸所包含的信息构成的视图以及指纹所包含的信息构成视图上，首先利用有标记数据分别训练出多个分类器，然后，利用每个分类器对未标识数据进行预测，并对预测结果进行融合，最后，依据融合结果将其中具有较高置信度的数据添加到对方的标识数据集中，以便对方用扩大的数据集来进行下一轮训练，此过程不断叠代进行，直到满足终止条件；5)建立人脸‑指纹协同数据库，包含同一个人的人脸和指纹图像的数据库；所述步骤1)中，是以识别为目标，合理选择Gabor滤波器、SIFT以及LBP有效成分，研究更有效的局部特征提取方式，从而得到对局部形变、尺度、光照、视角构成不变量的高效低层视觉特征，最后，通过融合全局特征和局部特征来实现图像表征；所述步骤2)中，所述通过函数关系实现低层视觉特征到高层语义之间的映射，具体为：假设图像为I，图像块集为对每个图像块提取其低层视觉特征，则得到局部特征其中V_j∈R^e×1，图像I的全局特征表示为其中，1≤i≤H，H表示训练样本的总数，通过线性支持向量机，得到区分训练样本集中正、负样本的决策超平面的法向量其中，支持向量S_f(1≤f≤F，F表示支持向量的个数)和通过优化下面的目标函数得到，即$\begin{array}{c}{L}_D=\underset{i=1}{\overset{H}{\Sigma }}{\mu }_i-\frac{1}{2}\underset{i=1}{\overset{H}{\Sigma }}\underset{g=1}{\overset{H}{\Sigma }}{\mu }_i{\mu }_g{y}_i{y}_g{X}_i^T{X}_g\\ s.t.0\le {\mu }_i\le r,\underset{i=1}{\overset{H}{\Sigma }}{\mu }_i{y}_i=0\end{array}$式中，y_i是X_i的类别标签，y_i∈{‑1,1}，并且y_i＝‑1表示负样本，否则表示正样本；是由非零的μ_i组成的列向量，事实上，法向量中的每个元素度量了X_i中对应维度对分类的贡献，并且X_i的对应于中绝对值越大元素的维度对视觉词构造越重要，因此，依据法向量中的元素大小，重新排列X_i的维度，从而得到图像新的全局特征在上，重新构造图像I的局部特征集合其中，表示局部特征集合中的第n个局部特征，并且每个局部特征的维度为l，参数n和l的选择要满足约束条件：n×l≤e×s，此时，图像I由一组新的局部特征表示，即然后，通过矢量量化将局部特征指定到某类视觉词上，实现对图像内容的理解，假设用K‑means算法将所有图像的所有新的局部特征聚成C类，每类对应一个聚类中心，并且，将聚类产生的C类分别用整数1,2,…,C表示，如果图像I的某局部特征属于聚类中心c，1≤c≤C，则该局部特征对应的视觉词为c，最终，图像I表示为向量W_i＝(m₁,…,m_c,…,m_C)^T，从而完成了对图像内容的理解，后续的学习、识别任务均在以图像的视觉词表示的W_i上进行，这里，m_c(1≤c≤C)表示图像I有m_c个第c类视觉词，且为整数，图像I的视觉词个数为N，所述视觉词个数即为新局部特征个数，因此始终满足m₁+m₂+…+m_C＝N。