发明名称 一种多光谱人脸识别方法及其系统
摘要 本发明涉及一种多光谱人脸识别方法及其系统,其特征在于包括多光谱成像系统、彩色相机、人脸识别模块、数据存储模块、中心控制模块和光谱仪;多光谱成像系统将拍摄的人脸图像数据输出至人脸识别模块,人脸识别模块根据数据存储模块中的标准人脸数据库的信息进行识别,然后将识别的结果进行输出;中心控制模块控制多光谱成像系统的图像摄取和人脸识别模块的识别;所述多光谱成像系统包括物镜、液晶可调滤光片和CCD相机;在CCD相机的CCD镜头前设有液晶可调滤光片,液晶可调滤光片的前端设有物镜。本方法的人脸图像中多特征的提取,也使得识别过程中类间距离更明显,识别算法的可分离性更强,有利于提高识别效果。
申请公布号 CN102831400A 申请公布日期 2012.12.19
申请号 CN201210271210.5 申请日期 2012.07.31
申请人 西北工业大学 发明人 赵永强;杨劲翔;张清勇
分类号 G06K9/00(2006.01)I;G06K9/20(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 西北工业大学专利中心 61204 代理人 王鲜凯
主权项 1.一种多光谱人脸识别方法,其特征在于步骤如下:步骤1:从多光谱人脸图像上提取五个区域:头发、前额、左脸颊、右脸颊和嘴唇;步骤2:进入探测器的辐射强度Lg与反射率R之间有线性关系:Lg=k×R+b,根据反演模型:<maths num="0001"><![CDATA[<math><mrow><mi>k</mi><mo>=</mo><mfrac><mrow><mi>N&Sigma;</mi><mrow><mo>(</mo><msub><mi>DN</mi><mi>i</mi></msub><msub><mi>R</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><mi>&Sigma;</mi><msub><mi>DN</mi><mi>i</mi></msub><mi>&Sigma;</mi><msub><mi>R</mi><mi>i</mi></msub></mrow><mrow><mi>N&Sigma;</mi><msup><msub><mi>R</mi><mi>i</mi></msub><mn>2</mn></msup><mo>-</mo><msup><mrow><mo>(</mo><mi>&Sigma;</mi><msub><mi>R</mi><mi>i</mi></msub><mo>)</mo></mrow><mn>2</mn></msup></mrow></mfrac></mrow></math>]]></maths><maths num="0002"><![CDATA[<math><mrow><mi>b</mi><mo>=</mo><mfrac><mrow><mi>&Sigma;</mi><mrow><mo>(</mo><msub><mi>DN</mi><mi>i</mi></msub><msub><mi>R</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><mi>k&Sigma;</mi><msup><msub><mi>R</mi><mi>i</mi></msub><mn>2</mn></msup></mrow><mrow><mi>&Sigma;</mi><msub><mi>R</mi><mi>i</mi></msub></mrow></mfrac></mrow></math>]]></maths>上式中,DN<sub>i</sub>为图像上的一样本区域的灰度值,R<sub>i</sub>为光谱仪所得的对应区域光谱反射率,N为样本区域内的像素数,求和对N个点求和;通过最小二乘法计算多光谱人脸图像的光谱反射率和灰度的关系参数k,b;步骤3求取头发区域的光谱反射率:对于每个人脸头发区域,先进行经验线性法反演,根据灰度DN<sub>hi</sub>得到反射率数据:R<sub>h</sub>(x,y,λ<sub>i</sub>)=(DN<sub>hi</sub>(x,y,λ<sub>i</sub>)-b)/k,通过<img file="FDA00001964280700013.GIF" wi="783" he="120" />得到光谱反射率向量R<sub>h</sub>=(R<sub>h</sub>(λ<sub>1</sub>),R<sub>h</sub>(λ<sub>2</sub>),...R<sub>h</sub>(λ<sub>1n</sub>))<sup>T</sup>;其中,R(x,y,λ<sub>i</sub>)是λ<sub>i</sub>的波段、像素(x,y)处的反射率,I<sub>n</sub>为波段数,对所选人脸头发方块区域内所有像素求和;求取前额区域的光谱反射率:对于每个人脸前额区域,先进行经验线性法反演,根据灰度DN<sub>fi</sub>得到反射率数据:R<sub>f</sub>(x,y,λ<sub>i</sub>)=(DN<sub>fi</sub>(x,y,λ<sub>i</sub>)-b)/k,通过<img file="FDA00001964280700014.GIF" wi="786" he="120" />得到光谱反射率向量R<sub>f</sub>=(R<sub>f</sub>(λ<sub>1</sub>),R<sub>f</sub>(λ<sub>2</sub>),...R<sub>f</sub>(λ<sub>1n</sub>))<sup>T</sup>;其中,R(x,y,λ<sub>i</sub>)是λ<sub>i</sub>的波段、像素(x,y)处的反射率,I<sub>n</sub>为波段数,对所选人脸前额方块区域内所有像素求和;求取左脸颊区域的光谱反射率:对于每个人脸左脸颊区域,先进行经验线性法反演,根据灰度DN<sub>lci</sub>得到反射率数据R<sub>lc</sub>(x,y,λ<sub>i</sub>)=(DN<sub>lci</sub>(x,y,λ<sub>i</sub>)-b)/k,通过<img file="FDA00001964280700021.GIF" wi="784" he="120" />得到光谱反射率向量R<sub>lc</sub>=(R<sub>lc</sub>(λ<sub>i</sub>),R<sub>lc</sub>(λ<sub>i</sub>),...R<sub>lc</sub>(λ<sub>1n</sub>))<sup>T</sup>;其中,R(x,y,λ<sub>i</sub>)是λ<sub>i</sub>的波段、像素(x,y)处的反射率,I<sub>n</sub>为波段数,对所选人脸左脸颊方块区域内所有像素求和;求取右脸颊区域的光谱反射率:对于每个人脸右脸颊区域,先进行经验线性法反演,根据灰度DN<sub>rc</sub>得到反射率数据<img file="FDA00001964280700022.GIF" wi="760" he="49" />通过<img file="FDA00001964280700023.GIF" wi="784" he="120" />得到光谱反射率向量R<sub>rc</sub>=(R<sub>rc</sub>(λ<sub>1</sub>),R<sub>rc</sub>(λ<sub>2</sub>),...R<sub>rc</sub>(λ<sub>1n</sub>))<sup>T</sup>;其中,R(x,y,λ<sub>i</sub>)是λ<sub>i</sub>的波段、像素(x,y)处的反射率,I<sub>n</sub>为波段数,对所选人脸右脸颊方块区域内所有像素求和;求取嘴唇区域的光谱反射率:对于每个人脸嘴唇区域,先进行经验线性法反演,根据灰度DN<sub>li</sub>得到反射率数据R<sub>l</sub>(x,y,λ<sub>i</sub>)=(DN<sub>li</sub>(x,y,λ<sub>i</sub>)-b)/k,通过<img file="FDA00001964280700024.GIF" wi="757" he="120" />得到光谱反射率向量R<sub>l</sub>=(R<sub>l</sub>(λ<sub>1</sub>),R<sub>l</sub>(λ<sub>2</sub>),...R<sub>l</sub>(λ<sub>1n</sub>))<sup>T</sup>;其中,R(x,y,λ<sub>i</sub>)是λ<sub>i</sub>的波段、像素(x,y)处的反射率,I<sub>n</sub>为波段数,对所选人脸嘴唇方块区域内所有像素求和;步骤4:对各个区域的光谱分别采用包络线消除法分析光谱。设光谱曲线数组为R(i),i=0,1,2,...k-1,波长数组为W(i),i=0,1,2...k-1,具体步骤如下:步骤a:i=0,将R(i)、W(i)带入包络线节点列表;步骤b:求新的包络线节点,如果i=k-1,结束;否则,令j=i+1,继续循环;步骤c:检查直线(i,j)与光谱曲线W(i)的交点,如果j=k-1,结束,将R(i)、W(i)加入到包络线节点表中,否则:1)m=j+12)如果m=j-1完成检查,j是包络线上的节点,将R(i)、W(i)加入到包络线节点表中,i=j,转到步骤b;3)求直线(i,j)和光谱曲线W(i)的交点r1(m);4)如果R(m)>r1(m,则j不是包络线上的点,j=j+1,转到步骤c;如果R(m)&lt;r1(m);则直线(i,j)与光谱曲线W(i)最多有一交点,m=m+1,转到2);步骤d:得到包络线节点表后,将相邻的节点用直线段依次相连接,求出W(i)所对应的折线段上的点的函数值H(i)i=0,1,2,...k-1,从而得到该光谱曲线,的包络线,显然有H(i)>R(i);步骤e:对光谱曲线进行包络线消除:R<sub>u</sub>(i)=R(i)/H(i),i=0,1,2,3,...k-1,从而得到包络线消除后的光谱曲线R<sub>u</sub>(i);步骤5:对每个区域分别计算SAI,<maths num="0003"><![CDATA[<math><mrow><mi>SAI</mi><mo>=</mo><mfrac><mrow><msub><mi>dR</mi><mrow><mi>S</mi><mn>1</mn></mrow></msub><mo>+</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>d</mi><mo>)</mo></mrow><msub><mi>R</mi><mrow><mi>S</mi><mn>2</mn></mrow></msub></mrow><msub><mi>R</mi><mi>M</mi></msub></mfrac><mo>,</mo></mrow></math>]]></maths>其中:中心波长M为反射率曲线上极小值点对应的波长位置;R<sub>S1</sub>、λ<sub>S1</sub>为反射率曲线上吸收左肩端S1的反射率和波长位置;R<sub>M</sub>、λ<sub>M</sub>为反射率曲线上吸收点M的反射率和波长位置;R<sub>S2</sub>、λ<sub>S2</sub>为反射率曲线上吸收右肩端S2的反射率和波长位置;反射率曲线上吸收右肩端与吸收左肩端的波长差为吸收宽度W=λ<sub>S2</sub>-λ<sub>S1</sub>;反射率曲线上光谱吸收深度D=|1-R<sub>M</sub>|;步骤6:计算上述5个区域的组织类型t处人脸样本i到样本j的距离,通过马氏距离来定义:<maths num="0004"><![CDATA[<math><mrow><msup><msub><mi>D</mi><mi>t</mi></msub><mo>&prime;</mo></msup><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><msub><mover><mi>SAI</mi><mo>&OverBar;</mo></mover><mi>t</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>-</mo><msub><mover><mi>SAI</mi><mo>&OverBar;</mo></mover><mi>t</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>&Sigma;</mi><mi>t</mi><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><msub><mover><mi>SAI</mi><mo>&OverBar;</mo></mover><mi>t</mi></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>-</mo><msub><mover><mi>SAI</mi><mo>&OverBar;</mo></mover><mi>t</mi></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>)</mo></mrow></mrow></math>]]></maths>人脸样本i到样本j的距离为D(i,j)=ω<sub>f</sub>D<sub>f</sub>(i,j)+ω<sub>lc</sub>D<sub>lc</sub>(i,j)+ω<sub>rc</sub>D<sub>rc</sub>(i,j)+ω<sub>h</sub>D<sub>h</sub>(i,j)+ω<sub>l</sub>D<sub>l</sub>(i,j)上式各个权值ω根据相应的区域在图像中可见或不可见取1或0;步骤7:对于每个样本来说,∑t是对应向量<img file="FDA00001964280700033.GIF" wi="90" he="63" />的协方差阵,维数为I<sub>n</sub>;整个数据库每个组织类型t取一个协方差阵∑t。我们通过每个波段对应的方差生成的对角阵Lt来近似∑t;步骤8:假设有C类样本,对于训练样本j,测试样本库中与其同类的定义为T<sub>j</sub>。我们先计算j到样本库中每个图像i的距离D(i,j),如果D(T<sub>j</sub>,j)是C种距离当中最小的,则认为样本j被正确识别。
地址 710072 陕西省西安市友谊西路127号