一种大规模人脸图像检索方法

摘要

本发明公开了一种大规模人脸图像检索方法，包含如下步骤：预处理；局部特征提取；全局几何特征提取；局部特征量化；全局几何特征量化；建立倒排索引；检索候选人脸图像集合；候选人脸图像集合重排序。本发明能够对大规模人脸图像库建立索引，实现快速的人脸检索，提高了检索效率。此外，通过嵌入辅助信息的特征量化和候选人脸图像集合重排序算法，提高了人脸检索的准确率。本发明实现了高效、准确的大规模人脸图像检索，因此具有较高的使用价值。

主权项

一种大规模人脸图像检索方法，其特征在于，包含以下步骤：对待检索的人脸图像和人脸图像数据库中所有人脸图像分别进行以下步骤1～步骤4的处理；步骤1，人脸图像预处理：定位人脸图像中的关键点，并将人脸图像与预设的标准人脸图像对齐；步骤2，提取局部特征：根据关键点位置将人脸图像分成p块，每一块称为一个局部块，提取每一个局部块的特征；步骤3，提取全局几何特征：根据关键点位置，提取人脸图像全局几何特征，包括距离特征、角度特征以及曲率特征；步骤4，将人脸图像局部特征和全局几何特征量化为视觉单词：利用训练集得到局部特征词典和全局特征词典，将人脸图像局部特征和全局几何特征量化为视觉单词；步骤5，对人脸图像数据库中的所有人脸图像建立倒排索引；步骤6，根据待检索人脸图像的视觉单词从步骤5的倒排索引中获得候选人脸图像集合；步骤7，利用重排序算法对候选人脸图像集合进行重排序，得到人脸图像参考集，人脸图像参考集为最终有序的检索结果；步骤1具体包括如下步骤：定位关键点，对人脸图像中的关键点进行定位，关键点的集合作为人脸形状；将人脸图像与预设的标准人脸图像对齐包括，对于标准人脸图像a和任意人脸图像b，其人脸形状分别为X_a和X_b，对齐过程即计算参数组(θ,s,t)，使E＝(X_a‑M(s,θ)[X_b]‑t)^TW(X_a‑M(s,θ)[X_b]‑t)最小，其中，M(s,θ)[X_b]+t表示对人脸图像b人脸形状向量的变换，M表示对齐函数，θ表示旋转参数，s表示缩放参数，t表示位移参数，W是每个关键点的权值组成的对角矩阵；根据参数组(θ,s,t)，将人脸图像b与标准人脸图像a对齐；步骤2中提取每一个局部块的特征包括局部二元模式和尺度不变特征转换两种特征；步骤3提取全局几何特征具体包括关键点之间的空间几何关系，包括距离特征、角度特征和曲率特征；步骤4中利用训练集得到局部特征词典和全局特征词典包括如下步骤：定义视觉单词：视觉单词包括Name ID,Age ID,Gender ID,Position ID；其中，对于局部特征，Name ID表示局部块所属人脸的姓名，Age ID表示局部块所属人脸的年龄段，Gender ID表示局部块所属人脸的性别，Position ID表示局部块在所属人脸中的编号；对于全局特征，Name ID表示全局特征对应人脸的姓名，Age ID表示全局特征对应人脸的年龄段，Gender ID表示全局特征对应人脸的性别，Position ID设为固定值p+q，q取值任意正整数；利用训练集生成局部特征词典过程如下：对训练集中所有的人脸图像进行步骤1～2，并将训练集所有人脸图像的局部二元模式、尺度不变特征转换两种特征各自归入一个集合，每个集合称为局部特征集合；将每个局部特征集合中同一个年龄段、同一种性别和同一编号的局部特征作为一组，每组分别利用稀疏编码模型进行训练，得到一个局部特征词典，该词典由一组特征向量组成，每个特征向量对应组中的一个局部特征，称为基；任意一个特征向量都由基的线性组合进行重构，线性组合的系数向量是特征向量的稀疏编码表示；利用训练集生成全局特征词典过程如下：对训练集中所有的人脸图像进行步骤1和步骤3，将训练集中同一个年龄段、同一种性别的全局几何特征作为一组，每个组视为一个全局特征词典；步骤4中将人脸图像局部特征和全局几何特征量化为视觉单词包括如下步骤：对每一个人脸图像局部特征F_l，根据相同特征种类、相同年龄段、相同性别和相同编号的人脸图像局部特征词典的基线性组合进行重构，得到系数向量中非零元素对应的基；基的人脸图像的姓名作为人脸图像局部特征F_l对应视觉单词的Name ID，年龄段作为人脸图像局部特征F_l对应视觉单词的Age ID，性别作为人脸图像局部特征F_l对应视觉单词的Gender ID，编号作为人脸图像局部特征F_l对应视觉单词的Position ID；对于一个人脸图像全局几何特征F_g，选出其相同年龄段、相同性别的全局特征词典，将人脸图像全局几何特征F_g和词典中的全局特征进行最近邻搜索，得到词典中最近邻的人脸图像的姓名作为人脸图像全局几何特征F_g对应视觉单词的Name ID，年龄段作为人脸图像全局几何特征F_g对应视觉单词的Age ID，性别作为人脸图像全局几何特征F_g对应视觉单词的Gender ID，人脸图像全局几何特征F_g的Position ID设为p+q，q取值任意正整数；步骤5包括如下步骤：将所有不重复的视觉单词组成一个视觉单词集合，视觉单词集合中每个视觉单词都作为一个索引项，每个索引项和一个包含该视觉单词的人脸图像集合绑定；将人脸图像数据库中量化成视觉单词的人脸图像与视觉单词集合中的视觉单词关联，形成倒排索引，即将人脸图像数据库中的人脸图像量化后，将人脸图像加入到其对应视觉单词的索引项列表中；步骤6包括如下步骤：根据待检索人脸图像对应的视觉单词，从倒排索引的视觉单词集合中搜索所述视觉单词，将与其关联的人脸图像数据库的人脸图像取出，取出的所有人脸图像组成的集合称为候选人脸图像集合；步骤7包括如下步骤：根据待检索人脸图像，通过迭代法从候选人脸图像集合中选出一组人脸图像，加入人脸图像参考集，迭代结束后，最终的人脸图像参考集即为重排序后的检索结果；每一轮迭代，对候选人脸图像集合中每一张人脸图像计算其与待检索人脸图像和人脸图像参考集中人脸图像的整体距离D，将整体距离D值最小的人脸图像从候选人脸图像集合中去除，并加入人脸图像参考集，整体距离D采用如下公式计算：$D=-\beta ·\mathrm{sign}\left(f(Q,I)\right)+d(Q,I)+\alpha ·\frac{1}{\left|R\right|}\underset{i}{\Sigma }d(R_i,I),$其中，Q是待检索人脸图像，I是候选人脸图像集合中的任意一个人脸图像，‑β·sign(f(Q,I))+d(Q,I)表示候选人脸图像集合中人脸图像I和待检索人脸图像Q的距离，表示候选人脸图像集合中人脸图像I和人脸图像参考集中人脸图像的距离，整体距离D为两者之和；α，β为比例系数，α、β的取值范围为0～1，sign(f(Q,I))为语义分类项，其中f(Q,I)表示对待检索人脸图像Q和候选人脸图像集合中的人脸图像I进行语义分类，判断其是否属于同一类，f是分类函数，sign是取符号函数，d(Q,I)表示计算待检索人脸图像Q和候选人脸图像集合中图像I的距离，表示计算候选人脸图像集合中人脸图像I和人脸图像参考集的平均距离，|R|表示人脸图像参考集的大小，R_i表示当前迭代中人脸图像参考集中第i张人脸图像。