发明名称 一种人脸三庭五眼自动定位及比例确定方法
摘要 本发明公开了一种人脸三庭五眼自动定位及比例确定方法,在高清人脸图像上自动检测及提取完整人脸,自动检测局部特征及定位特征点,检测的局部特征包括左眼、右眼、左眉毛、右眉毛、鼻子、嘴巴、额头发际区、下巴区及脸宽区;定位的特征点包括左眼内眼角点、左眼外眼角点、右眼内眼角点、右眼外眼角点、左眉头点、右眉头点、鼻下点、下巴点、额头发际点、左眼外眼角外侧发际点以及右眼外眼角外侧发际点,最终,根据特征点在人脸图像中的坐标位置,自动计算出三庭五眼的像素间距及比例关系。本发明方法,定位及计算结果直观可见,准确度高。
申请公布号 CN104021550B 申请公布日期 2017.01.18
申请号 CN201410219690.X 申请日期 2014.05.22
申请人 西安理工大学 发明人 胡涛;冯玉娜;王亚丹;范彩霞;景宁
分类号 G06T7/00(2006.01)I;G06K9/46(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 西安弘理专利事务所 61214 代理人 李娜
主权项 一种人脸三庭五眼自动定位及比例确定方法,其特征在于,具体按照以下步骤实施:步骤1、检测人脸及提取完整人脸,具体步骤是:对于一幅人脸正面高清图像,利用AdaBoost算法的人脸分类器进行人脸检测,所检测到的人脸区域记为FaceROI,定义其左上角点为LeftTopPoint<sub>face</sub>,该点的横坐标为LeftTopPoint<sub>face</sub>.x、纵坐标为LeftTopPoint<sub>face</sub>.y,宽为w<sub>face</sub>,高为h<sub>face</sub>,由区域FaceROI经公式(1)计算得到完整人脸区域FaceROI_Whole的左上角点的横坐标为LeftTopPoint<sub>face_Whole</sub>.x,纵坐标为LeftTopPoint<sub>face_Whole</sub>.y,宽度为W,高度为H,参照如下公式(1):<maths num="0001"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>LeftTopPoint</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi><mo>_</mo><mi>W</mi><mi>h</mi><mi>o</mi><mi>l</mi><mi>e</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>=</mo><msub><mi>LeftTopPoint</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>-</mo><mfrac><msub><mi>w</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub><mn>7</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>LeftTopPoint</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi><mo>_</mo><mi>W</mi><mi>h</mi><mi>o</mi><mi>l</mi><mi>e</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>=</mo><msub><mi>LeftTopPoint</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>-</mo><mfrac><msub><mi>h</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub><mn>5</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>W</mi><mo>=</mo><msub><mi>w</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub><mo>+</mo><mfrac><mrow><mn>2</mn><mo>*</mo><msub><mi>w</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub></mrow><mn>7</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>H</mi><mo>=</mo><msub><mi>h</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub><mo>+</mo><mfrac><mrow><mn>12</mn><mo>*</mo><msub><mi>h</mi><mrow><mi>f</mi><mi>a</mi><mi>c</mi><mi>e</mi></mrow></msub></mrow><mn>35</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000013.GIF" wi="1475" he="655" /></maths>得到最终提取的完整人脸区域FaceROI_Whole;步骤2、检测人脸局部特征,定位特征点,具体步骤是:2.1)检测眼睛及眼角点定位2.1.1)检测眼睛及初步定位眼睛区域在完整人脸区域FaceROI_Whole中,由点(0,0)、(W/2,H/2)围成的矩形区域内,利用AdaBoost算法的眼睛分类器进行左眼检测,所检测到的左眼区域记为LeftROI,其宽、高分别记为w<sub>eyeL</sub>、h<sub>eyeL</sub>,左上角点记为LeftTopPoint<sub>LeftROI</sub>;在由点(W/2,0)、(W,H/2)围成的矩形区域内,利用AdaBoost算法的眼睛分类器进行右眼检测,所检测到的右眼区域记为RightROI,其宽、高分别记为w<sub>eyeR</sub>、h<sub>eyeR</sub>,左上角点记为LeftTopPoint<sub>RightROI</sub>;2.1.2)定位眼睛区域在完整人脸区域FaceROI_Whole中拷贝LeftROI区域到LeftROIImg,对区域LeftROIImg灰度化,计算区域LeftROIImg的灰度均值记为LeftROIImgG,再对LeftROIImg二值化,LeftROIImg的二值化阈值LeftThreshold的计算公式为:LeftThreshold=0.8*LeftROIImgG, (2)二值化时,若像素的灰度值大于阈值LeftThreshold,则把像素置黑,否则置白,以下所有二值化操作均遵循此原则;置LeftROIImg二值图中高为<img file="FDA0001012456640000021.GIF" wi="186" he="142" />的上边界区域为黑;在完整人脸区域FaceROI_Whole中拷贝RightROI区域到RightROIImg,对区域RightROIImg灰度化,计算区域RightROIImg的灰度均值记为RightROIImgG,再对RightROIImg二值化,RightROIImg的二值化阈值RightThreshold的计算公式为:RightThreshold=0.8*RightROIImgG, (3)置RightROIImg二值图中高为<img file="FDA0001012456640000022.GIF" wi="190" he="143" />的上边界区域为黑;遍历LeftROIImg二值图,分别寻找上、下、左、右第一个白点L<sub>t</sub>、L<sub>b</sub>、L<sub>l</sub>、L<sub>r</sub>,过L<sub>t</sub>、L<sub>b</sub>分别沿水平方向画线,过L<sub>l</sub>、L<sub>r</sub>分别沿垂直方向画线,该四条直线的交点所围成的矩形区域的中心点记为O<sub>eyeLS</sub>,宽、高分别记为w<sub>eyeLS</sub>、h<sub>eyeLS</sub>;返回完整人脸区域FaceROI_Whole中,以O<sub>eyeLS</sub>为中心点,得到新的矩形区域LeftROI_new,其左上角点记为LeftTopPoint<sub>LeftROI_new</sub>,宽、高分别为w<sub>eyeLnew</sub>、h<sub>eyeLnew</sub>,计算公式如下:<maths num="0002"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>w</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>L</mi><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>=</mo><mn>2</mn><mo>*</mo><msub><mi>w</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>L</mi><mi>S</mi></mrow></msub></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>h</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>L</mi><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>=</mo><mn>2</mn><mo>*</mo><msub><mi>h</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>L</mi><mi>S</mi></mrow></msub></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000031.GIF" wi="1174" he="198" /></maths>遍历RightROIImg二值图,分别寻找上、下、左、右第一个白点R<sub>t</sub>、R<sub>b</sub>、R<sub>l</sub>、R<sub>r</sub>,过R<sub>t</sub>、R<sub>b</sub>分别沿水平方向画线,过R<sub>l</sub>、R<sub>r</sub>分别沿垂直方向画线,此四条直线的交点所围成的矩形区域的中心点记为O<sub>eyeRS</sub>,宽、高分别记为w<sub>eyeRS</sub>、h<sub>eyeRS</sub>;返回完整人脸区域FaceROI_Whole中,以O<sub>eyeRS</sub>为中心点,得到新的矩形区域RightROI_new,其左上角点记为LeftTopPoint<sub>RightROI_new</sub>,宽、高分别为w<sub>eyeRnew</sub>、h<sub>eyeRnew</sub>,计算公式如下:<maths num="0003"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>w</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>R</mi><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>=</mo><mn>2</mn><mo>*</mo><msub><mi>w</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>R</mi><mi>S</mi></mrow></msub></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>h</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>R</mi><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>=</mo><mn>2</mn><mo>*</mo><msub><mi>h</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>R</mi><mi>S</mi></mrow></msub></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000032.GIF" wi="1190" he="199" /></maths>2.1.3)定位内外眼角点2.1.3.1)在完整人脸区域FaceROI_Whole中拷贝LeftROI_new区域到LeftROI_newImg,对区域LeftROI_newImg灰度化,再对区域LeftROI_newImg二值化,LeftROI_newImg的二值化阈值计算公式同公式(2);置LeftROI_newImg二值图中高度为<img file="FDA0001012456640000033.GIF" wi="246" he="142" />的上边界区域、宽度为<img file="FDA0001012456640000034.GIF" wi="286" he="143" />的左边界区域、高度为<img file="FDA0001012456640000035.GIF" wi="247" he="141" />的下边界区域、宽度为<img file="FDA0001012456640000041.GIF" wi="286" he="143" />的右边界区域为黑;在完整人脸区域FaceROI_Whole中拷贝RightROI_new区域到RightROI_newImg,对区域RightROI_newImg灰度化,再对区域RightROI_newImg二值化,RightROI_newImg的二值化阈值计算公式同公式(3);置RightROI_newImg二值图中高度为<img file="FDA0001012456640000042.GIF" wi="250" he="143" />的上边界区域、宽度为<img file="FDA0001012456640000043.GIF" wi="288" he="143" />的左边界区域、高度为<img file="FDA0001012456640000044.GIF" wi="246" he="148" />的下边界区域、宽度为<img file="FDA0001012456640000045.GIF" wi="291" he="142" />的右边界区域为黑;2.1.3.2)遍历LeftROI_newImg二值图,分别寻找左、右第一个白点,即为疑似左眼外、内眼角点L<sub>eyeOut</sub>、L<sub>eyeIn</sub>;遍历RightROI_newImg二值图,分别寻找左、右第一个白点,即为疑似右眼内、外眼角点R<sub>eyeIn</sub>、R<sub>eyeOut</sub>;2.1.3.3)分别计算L<sub>eyeIn</sub>、L<sub>eyeOut</sub>的水平间距d<sub>InOutLx</sub>、垂直间距d<sub>InOutLy</sub>,分别计算R<sub>eyeIn</sub>、R<sub>eyeOut</sub>的水平间距d<sub>InOutRx</sub>、垂直间距d<sub>InOutRy</sub>,计算公式如下:<maths num="0004"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>I</mi><mi>n</mi><mi>O</mi><mi>u</mi><mi>t</mi><mi>L</mi><mi>x</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>O</mi><mi>u</mi><mi>t</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>I</mi><mi>n</mi><mi>O</mi><mi>u</mi><mi>t</mi><mi>L</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>O</mi><mi>u</mi><mi>t</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>I</mi><mi>n</mi><mi>O</mi><mi>u</mi><mi>t</mi><mi>R</mi><mi>x</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>O</mi><mi>u</mi><mi>t</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>I</mi><mi>n</mi><mi>O</mi><mi>u</mi><mi>t</mi><mi>R</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>O</mi><mi>u</mi><mi>t</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000046.GIF" wi="1174" he="486" /></maths>其中,L<sub>eyeIn</sub>.x、L<sub>eyeIn</sub>.y分别为左眼内眼角点L<sub>eyeIn</sub>的横、纵坐标,L<sub>eyeOut</sub>.x、L<sub>eyeOut</sub>.y分别为左眼外眼角点L<sub>eyeOut</sub>的横、纵坐标,R<sub>eyeIn</sub>.x、R<sub>eyeIn</sub>.y分别为右眼内眼角点R<sub>eyeIn</sub>的横、纵坐标,R<sub>eyeOut</sub>.x、R<sub>eyeOut</sub>.y分别为右眼外眼角点R<sub>eyeOut</sub>的横、纵坐标;判断L<sub>eyeIn</sub>、L<sub>eyeOut</sub>、R<sub>eyeIn</sub>、R<sub>eyeOut</sub>、d<sub>InOutLx</sub>、d<sub>InOutLy</sub>、d<sub>InOutRx</sub>、d<sub>InOutRy</sub>是否满足公式(7)中的条件:<img file="FDA0001012456640000051.GIF" wi="1534" he="677" />其中,min(w<sub>eyeLS</sub>,w<sub>eyeRS</sub>)为w<sub>eyeLS</sub>、w<sub>eyeRS</sub>两者中值较小者,min(h<sub>eyeLS</sub>,h<sub>eyeRS</sub>)为h<sub>eyeLS</sub>、h<sub>eyeRS</sub>两者中值较小者,L<sub>eyeIn</sub>.y为左眼内眼角点L<sub>eyeIn</sub>的纵坐标,L<sub>eyeOut</sub>.y为左眼外眼角点L<sub>eyeOut</sub>的纵坐标,R<sub>eyeIn</sub>.y为右眼内眼角点R<sub>eyeIn</sub>的纵坐标,R<sub>eyeOut</sub>.y为右眼外眼角点R<sub>eyeOut</sub>的纵坐标;不满足条件①时,扩大区域LeftROI_new、RightROI_new,区域中心点O<sub>eyeLS</sub>、O<sub>eyeRS</sub>保持不变,宽度分别变为1.2*w<sub>eyeLnew</sub>、1.2*w<sub>eyeRnew</sub>,高度分别变更为1.2*h<sub>eyeLnew</sub>、1.2*h<sub>eyeRnew</sub>,重新执行步骤2.1.3.1)、步骤2.1.3.2)、步骤2.1.3.3),直到满足条件①为止;不满足条件②、③、④时,把步骤2.1.3.1)中置黑的上、下边界区域高度分别扩大为原上、下边界区域高度的1.3倍,重新执行步骤2.1.3.2)、步骤2.1.3.3),直到满足条件②、③、④为止;这时,L<sub>eyeIn</sub>、L<sub>eyeOut</sub>即为最终定位的左眼内、外眼角点,R<sub>eyeIn</sub>、R<sub>eyeOut</sub>即为最终定位的右眼内、外眼角点;2.2)确定眉毛区域及定位眉头点2.2.1)确定眉毛区域在完整人脸区域FaceROI_Whole中,定义O<sub>eyeLS</sub>点垂直方向上方2*h<sub>eyeLS</sub>处的点为O<sub>LM</sub>,以O<sub>LM</sub>为中心点,2.5*w<sub>eyeLS</sub>为宽,2*h<sub>eyeLS</sub>为高,即为左眉毛所在区域LeftMROI,其宽、高分别记为w<sub>LM</sub>、h<sub>LM</sub>;定义O<sub>eyeRS</sub>点垂直方向上方2*h<sub>eyeRS</sub>处的点为O<sub>RM</sub>,以O<sub>RM</sub>为中心点,2.5*w<sub>eyeRS</sub>为宽,2*h<sub>eyeRS</sub>为高,即为右眉毛所在区域RightMROI,其宽、高分别记为w<sub>RM</sub>、h<sub>RM</sub>;2.2.2)定位眉头点2.2.2.1)在完整人脸区域FaceROI_Whole中拷贝LeftMROI区域到LeftMROIImg,对区域LeftMROIImg灰度化,计算区域LeftMROIImg的灰度均值记为LeftMROIImgG,再对LeftMROIImg二值化,LeftMROIImg的二值化阈值LeftThreshold_M的计算公式为:LeftThreshold_M=0.85*LeftMROIImgG, (8)置LeftMROIImg二值图中上边界高度为<img file="FDA0001012456640000061.GIF" wi="211" he="143" />的区域、右边界宽度为<img file="FDA0001012456640000062.GIF" wi="182" he="142" />的区域为黑;在完整人脸区域FaceROI_Whole中拷贝RightMROI区域到RightMROIImg,对区域RightMROIImg灰度化,计算区域RightMROIImg的灰度均值记为RightMROIImgG,再对RightMROIImg二值化,RightMROIImg的二值化阈值RightThreshold_M的计算公式为:RightThreshold_M=0.85*RightMROIImgG, (9)置RightMROIImg二值图中上边界高度为<img file="FDA0001012456640000063.GIF" wi="195" he="142" />的区域、左边界宽度为<img file="FDA0001012456640000064.GIF" wi="186" he="139" />的区域为黑;2.2.2.2)遍历LeftMROIImg二值图,由右到左、由上到下寻找第一个白点LM<sub>t</sub>,由右到左、由下到上寻找第一个白点LM<sub>b</sub>,LM<sub>t</sub>、LM<sub>b</sub>即为疑似左眉头上、下点;遍历RightMROIImg二值图,由左到右、由上到下寻找第一个白点RM<sub>t</sub>,由左到右、由下到上寻找第一个白点RM<sub>b</sub>,RM<sub>t</sub>、RM<sub>b</sub>即为疑似右眉头上、下点;2.2.2.3)计算LM<sub>t</sub>、LM<sub>b</sub>的垂直间距d<sub>LMy</sub>,RM<sub>t</sub>、RM<sub>b</sub>的垂直间距d<sub>RMy</sub>,LM<sub>t</sub>、RM<sub>t</sub>的垂直间距d<sub>LRMty</sub>和LM<sub>b</sub>、RM<sub>b</sub>的垂直间距d<sub>LRMby</sub>,计算公式如下:<maths num="0005"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>LM</mi><mi>t</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>LM</mi><mi>b</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>R</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>RM</mi><mi>t</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>RM</mi><mi>b</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi><mi>t</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>LM</mi><mi>t</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>RM</mi><mi>t</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi><mi>b</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>LM</mi><mi>b</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>RM</mi><mi>b</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000071.GIF" wi="1182" he="391" /></maths>LM<sub>t</sub>.y为左眉头上点LM<sub>t</sub>纵坐标,LM<sub>b</sub>.y为左眉头下点LM<sub>b</sub>纵坐标,RM<sub>t</sub>.y为右眉头上点RM<sub>t</sub>纵坐标,RM<sub>b</sub>.y为右眉头下点RM<sub>b</sub>纵坐标;判断d<sub>LMy</sub>、d<sub>RMy</sub>、d<sub>LRMty</sub>、d<sub>LRMby</sub>是否满足公式(11)中的条件:<maths num="0006"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mo>|</mo><msub><mi>d</mi><mrow><mi>L</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>-</mo><msub><mi>d</mi><mrow><mi>R</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>|</mo><mo>&lt;</mo><mfrac><mrow><mi>min</mi><mrow><mo>(</mo><msub><mi>h</mi><mrow><mi>L</mi><mi>M</mi></mrow></msub><mo>,</mo><msub><mi>h</mi><mrow><mi>R</mi><mi>M</mi></mrow></msub><mo>)</mo></mrow></mrow><mn>3</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi><mi>t</mi><mi>y</mi></mrow></msub><mo>&lt;</mo><mfrac><mrow><mi>min</mi><mrow><mo>(</mo><msub><mi>h</mi><mrow><mi>L</mi><mi>M</mi></mrow></msub><mo>,</mo><msub><mi>h</mi><mrow><mi>R</mi><mi>M</mi></mrow></msub><mo>)</mo></mrow></mrow><mn>5</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi><mi>b</mi><mi>y</mi></mrow></msub><mo>&lt;</mo><mfrac><mrow><mi>min</mi><mrow><mo>(</mo><msub><mi>h</mi><mrow><mi>L</mi><mi>M</mi></mrow></msub><mo>,</mo><msub><mi>h</mi><mrow><mi>R</mi><mi>M</mi></mrow></msub><mo>)</mo></mrow></mrow><mn>5</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000072.GIF" wi="1374" he="470" /></maths>其中,min(h<sub>LM</sub>,h<sub>RM</sub>)为h<sub>LM</sub>、h<sub>RM</sub>两者中值较小者;不满足条件时,把步骤2.2.2.1)中置黑的上边界区域高度扩大为原上边界区域高度的1.5倍,重新执行步骤2.2.2.2)、步骤2.2.2.3),直到满足条件为止;最终定位的左眉头点LM的横坐标LM.x、纵坐标LM.y,右眉头点RM的横坐标RM.x、纵坐标RM.y的计算公式如下:<maths num="0007"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mi>L</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>=</mo><mfrac><mrow><mo>(</mo><msub><mi>LM</mi><mi>t</mi></msub><mo>.</mo><mi>x</mi><mo>+</mo><msub><mi>LM</mi><mi>b</mi></msub><mo>.</mo><mi>x</mi><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>L</mi><mi>M</mi><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><mo>(</mo><msub><mi>LM</mi><mi>t</mi></msub><mo>.</mo><mi>y</mi><mo>+</mo><msub><mi>LM</mi><mi>b</mi></msub><mo>.</mo><mi>y</mi><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>R</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>=</mo><mfrac><mrow><mo>(</mo><msub><mi>RM</mi><mi>t</mi></msub><mo>.</mo><mi>x</mi><mo>+</mo><msub><mi>RM</mi><mi>b</mi></msub><mo>.</mo><mi>x</mi><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>R</mi><mi>M</mi><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><mo>(</mo><msub><mi>RM</mi><mi>t</mi></msub><mo>.</mo><mi>y</mi><mo>+</mo><msub><mi>RM</mi><mi>b</mi></msub><mo>.</mo><mi>y</mi><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000081.GIF" wi="1278" he="567" /></maths>其中,LM<sub>t</sub>.x、LM<sub>t</sub>.y为左眉头上点LM<sub>t</sub>的横、纵坐标,LM<sub>b</sub>.x、LM<sub>b</sub>.y为左眉头下点LM<sub>b</sub>的横、纵坐标,RM<sub>t</sub>.x、RM<sub>t</sub>.y为右眉头上点RM<sub>t</sub>的横、纵坐标,RM<sub>b</sub>.x、RM<sub>b</sub>.y为右眉头下点RM<sub>b</sub>的横、纵坐标;2.3)检测鼻子及定位鼻下点2.3.1)确定鼻子区域在完整人脸区域FaceROI_Whole中,由点(0,H/3)、(W,H)围成的矩形区域内,利用AdaBoost算法的鼻子分类器进行鼻子检测,所检测到的区域记为NoseROI,定义其左上角点为LeftTopPoint<sub>NoseROI</sub>,它的横坐标为LeftTopPoint<sub>NoseROI</sub>.x、纵坐标为LeftTopPoint<sub>NoseROI</sub>.y,宽为w<sub>N</sub>,高为h<sub>N</sub>;判断NoseROI区域是否满足公式(13)中的条件:<maths num="0008"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mfrac><mi>W</mi><mn>5</mn></mfrac><mo>&lt;</mo><msub><mi>w</mi><mi>N</mi></msub><mo>&lt;</mo><mfrac><mi>W</mi><mn>3</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mi>H</mi><mn>6</mn></mfrac><mo>&lt;</mo><msub><mi>h</mi><mi>N</mi></msub><mo>&lt;</mo><mfrac><mi>H</mi><mn>3</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mi>W</mi><mn>3</mn></mfrac><mo>&lt;</mo><msub><mi>LeftTopPoint</mi><mrow><mi>N</mi><mi>o</mi><mi>s</mi><mi>e</mi><mi>R</mi><mi>O</mi><mi>I</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>&lt;</mo><mfrac><mi>W</mi><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mi>H</mi><mn>3</mn></mfrac><mo>&lt;</mo><msub><mi>LeftTopPoint</mi><mrow><mi>N</mi><mi>o</mi><mi>s</mi><mi>e</mi><mi>R</mi><mi>O</mi><mi>I</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>&lt;</mo><mfrac><mrow><mn>2</mn><mo>*</mo><mi>H</mi></mrow><mn>3</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>13</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000082.GIF" wi="1126" he="567" /></maths>W、H分别为步骤1中确定的完整人脸区域FaceROI_Whole的宽、高;满足条件时,NoseROI区域即为确定的鼻子区域NoseROI_final,其宽、高分别记为w<sub>Nf</sub>、h<sub>Nf</sub>,左上角点记为LeftTopPoint<sub>NoseROI_final</sub>;否则,NoseROI_final区域的左上角点的横坐标LeftTopPoint<sub>NoseROI_final</sub>.x、纵坐标LeftTopPoint<sub>NoseROI_final</sub>.y、宽度w<sub>Nf</sub>、高度h<sub>Nf</sub>由公式(14)计算得出:<maths num="0009"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>LeftTopPoint</mi><mrow><mi>N</mi><mi>o</mi><mi>s</mi><mi>e</mi><mi>R</mi><mi>O</mi><mi>I</mi><mo>_</mo><mi>f</mi><mi>i</mi><mi>n</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>=</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>LeftTopPoint</mi><mrow><mi>N</mi><mi>o</mi><mi>s</mi><mi>e</mi><mi>R</mi><mi>O</mi><mi>I</mi><mo>_</mo><mi>f</mi><mi>i</mi><mi>n</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>+</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi></mrow><mn>2</mn></mfrac><mo>+</mo><mfrac><mi>H</mi><mn>12</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>w</mi><mrow><mi>N</mi><mi>f</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>h</mi><mrow><mi>N</mi><mi>f</mi></mrow></msub><mo>=</mo><mfrac><mi>H</mi><mn>7</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>14</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000091.GIF" wi="1510" he="566" /></maths>其中,L<sub>eyeIn</sub>.x、L<sub>eyeIn</sub>.y为步骤2.1.3)中定位的左眼内眼角点L<sub>eyeIn</sub>的横、纵坐标,R<sub>eyeIn</sub>.x、R<sub>eyeIn</sub>.y为步骤2.1.3)中定位的右眼内眼角点R<sub>eyeIn</sub>的横、纵坐标,H为步骤1中确定的完整人脸区域FaceROI_Whole的高;2.3.2)定位鼻下点2.3.2.1)在完整人脸区域FaceROI_Whole中拷贝NoseROI_final区域到NoseROI_finalImg,对区域NoseROI_finalImg灰度化,计算区域NoseROI_finalImg的灰度最小值记为NoseROI_finalImgM,再对NoseROI_finalImg二值化,NoseROI_finalImg的二值化阈值NoseThreshold的计算公式为:NoseThreshold=4*NoseROI_finalImgM+10, (15)2.3.2.2)遍历NoseROI_finalImg二值图,由下到上、由左到右寻找第一个白点N<sub>L</sub>,由下到上、由右到左寻找第一个白点N<sub>R</sub>,N<sub>L</sub>、N<sub>R</sub>即为疑似左、右鼻孔点;2.3.2.3)分别计算N<sub>L</sub>、N<sub>R</sub>的水平间距d<sub>NLRx</sub>、垂直间距d<sub>NLRy</sub>,计算公式如下:<maths num="0010"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>N</mi><mi>L</mi><mi>R</mi><mi>x</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>N</mi><mi>L</mi></msub><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>N</mi><mi>R</mi></msub><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>N</mi><mi>L</mi><mi>R</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>N</mi><mi>L</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>N</mi><mi>R</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>16</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000101.GIF" wi="1244" he="215" /></maths>其中,N<sub>L</sub>.x、N<sub>L</sub>.y为左鼻孔点N<sub>L</sub>的横、纵坐标,N<sub>R</sub>.x、N<sub>R</sub>.y为右鼻孔点N<sub>R</sub>的横、纵坐标;判断N<sub>L</sub>.x、N<sub>L</sub>.y、N<sub>R</sub>.x、N<sub>R</sub>.y、d<sub>NLRx</sub>、d<sub>NLRy</sub>是否满足公式(17)中的条件:<img file="FDA0001012456640000102.GIF" wi="775" he="654" />不满足条件①、②、③、④时,扩大区域NoseROI_final,区域中心保持不变,高度变为1.2*h<sub>Nf</sub>,重新执行步骤2.3.2.1)、步骤2.3.2.2)、步骤2.3.2.3),直到满足条件①、②、③、④为止;不满足条件⑤、⑥时,将步骤2.3.2.1)中二值化阈值NoseThreshold减小为0.85*NoseThreshold,重新执行步骤2.3.2.2)、步骤2.3.2.3),直到满足条件⑤、⑥为止;最终定位的鼻下点N的横坐标N.x、纵坐标N.y的计算公式如下:<maths num="0011"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mi>N</mi><mo>.</mo><mi>x</mi><mo>=</mo><mfrac><mrow><mo>(</mo><mi>L</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>+</mo><mi>R</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>N</mi><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><mo>(</mo><msub><mi>N</mi><mi>L</mi></msub><mo>.</mo><mi>y</mi><mo>+</mo><msub><mi>N</mi><mi>R</mi></msub><mo>.</mo><mi>y</mi><mo>)</mo></mrow><mn>2</mn></mfrac><mo>+</mo><mfrac><mi>H</mi><mn>60</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>18</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000103.GIF" wi="981" he="263" /></maths>其中,LM.x、RM.x为步骤2.2.2)中定位的左、右眉头点LM、RM的横坐标,N<sub>L</sub>.y为左鼻孔点N<sub>L</sub>的纵坐标,N<sub>R</sub>.y为右鼻孔点N<sub>R</sub>的纵坐标,H为步骤1中确定的完整人脸区域FaceROI_Whole的高;2.4)确定下巴区域及定位下巴点2.4.1)确定下巴区域在完整人脸区域FaceROI_Whole中,由点(0,H/2)、(W,H)围成的矩形区域内,利用AdaBoost算法的嘴巴分类器进行嘴巴检测,所检测到的区域记为MouthROI,定义其左上角点为LeftTopPoint<sub>MouthROI</sub>,它的横坐标为LeftTopPoint<sub>MouthROI</sub>.x、纵坐标为LeftTopPoint<sub>MouthROI</sub>.y,宽为w<sub>M</sub>,高为h<sub>M</sub>;判断MouthROI区域是否满足公式(19)中的条件:<maths num="0012"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mfrac><mi>W</mi><mn>5</mn></mfrac><mo>&lt;</mo><msub><mi>w</mi><mi>M</mi></msub><mo>&lt;</mo><mfrac><mi>W</mi><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mi>H</mi><mn>10</mn></mfrac><mo>&lt;</mo><msub><mi>h</mi><mi>M</mi></msub><mo>&lt;</mo><mfrac><mi>H</mi><mn>3</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mi>W</mi><mn>5</mn></mfrac><mo>&lt;</mo><msub><mi>LeftTopPoint</mi><mrow><mi>M</mi><mi>o</mi><mi>u</mi><mi>t</mi><mi>h</mi><mi>R</mi><mi>O</mi><mi>I</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>&lt;</mo><mfrac><mi>W</mi><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mi>H</mi><mn>2</mn></mfrac><mo>&lt;</mo><msub><mi>LeftTopPoint</mi><mrow><mi>M</mi><mi>o</mi><mi>u</mi><mi>t</mi><mi>h</mi><mi>R</mi><mi>O</mi><mi>I</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>&lt;</mo><mfrac><mrow><mn>5</mn><mo>*</mo><mi>H</mi></mrow><mn>6</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>19</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000111.GIF" wi="1054" he="567" /></maths>W、H分别为步骤1中确定的完整人脸区域FaceROI_Whole的宽、高;满足条件时,MouthROI区域即为确定的嘴巴区域MouthROI_final,其宽、高分别记为w<sub>Mf</sub>、h<sub>Mf</sub>,左上角点记为LeftTopPoint<sub>MouthROI_final</sub>;否则,MouthROI_final区域的左上角点的横坐标LeftTopPoint<sub>MouthROI_final</sub>.x、纵坐标LeftTopPoint<sub>MouthROI_final</sub>.y、宽度w<sub>Mf</sub>、高度h<sub>Mf</sub>由公式(20)计算得出:<maths num="0013"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>LeftTopPoint</mi><mrow><mi>M</mi><mi>o</mi><mi>u</mi><mi>t</mi><mi>h</mi><mi>R</mi><mi>O</mi><mi>I</mi><mo>_</mo><mi>f</mi><mi>i</mi><mi>n</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>=</mo><mi>N</mi><mo>.</mo><mi>x</mi><mo>-</mo><mfrac><mi>W</mi><mn>6</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>LeftTopPoint</mi><mrow><mi>M</mi><mi>o</mi><mi>u</mi><mi>t</mi><mi>h</mi><mi>R</mi><mi>O</mi><mi>I</mi><mo>_</mo><mi>f</mi><mi>i</mi><mi>n</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>=</mo><mi>N</mi><mo>.</mo><mi>y</mi><mo>+</mo><mfrac><mi>W</mi><mn>15</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>w</mi><mrow><mi>M</mi><mi>f</mi></mrow></msub><mo>=</mo><mfrac><mi>W</mi><mn>3</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>h</mi><mrow><mi>M</mi><mi>f</mi></mrow></msub><mo>=</mo><mfrac><mi>H</mi><mn>8</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>20</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000121.GIF" wi="1419" he="631" /></maths>其中,N.x、N.y为步骤2.3.2)中定位的鼻下点N的横、纵坐标,W、H分别为步骤1中确定的完整人脸区域FaceROI_Whole的宽、高;在完整人脸区域FaceROI_Whole中拷贝MouthROI_final区域到MouthROI_finalImg,把MouthROI_finalImg由RGB空间转换到HSV空间,转换公式如下:V=max(R,G,B)<maths num="0014"><math><![CDATA[<mrow><mi>S</mi><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mrow><mi>V</mi><mo>=</mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mfrac><mrow><mi>m</mi><mi>a</mi><mi>x</mi><mrow><mo>(</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>)</mo></mrow><mo>-</mo><mi>min</mi><mrow><mo>(</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>)</mo></mrow></mrow><mrow><mi>m</mi><mi>a</mi><mi>x</mi><mrow><mo>(</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>)</mo></mrow></mrow></mfrac></mtd><mtd><mrow><mi>V</mi><mo>&NotEqual;</mo><mn>0</mn></mrow></mtd></mtr></mtable></mfenced><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>21</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000122.GIF" wi="1423" he="230" /></maths><maths num="0015"><math><![CDATA[<mrow><mi>H</mi><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mrow><mi>V</mi><mo>=</mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><mfrac><mrow><mo>(</mo><mi>G</mi><mo>-</mo><mi>B</mi><mo>)</mo></mrow><mrow><mi>V</mi><mi>S</mi></mrow></mfrac><mo>&times;</mo><mn>60</mn></mrow></mtd><mtd><mrow><mi>V</mi><mo>=</mo><mi>R</mi></mrow></mtd></mtr><mtr><mtd><mrow><mo>(</mo><mn>2</mn><mo>+</mo><mfrac><mrow><mi>B</mi><mo>-</mo><mi>R</mi></mrow><mrow><mi>S</mi><mi>V</mi></mrow></mfrac><mo>)</mo><mo>&times;</mo><mn>60</mn></mrow></mtd><mtd><mrow><mi>V</mi><mo>=</mo><mi>G</mi></mrow></mtd></mtr><mtr><mtd><mrow><mo>(</mo><mn>4</mn><mo>+</mo><mfrac><mrow><mi>R</mi><mo>-</mo><mi>G</mi></mrow><mrow><mi>S</mi><mi>V</mi></mrow></mfrac><mo>)</mo><mo>&times;</mo><mn>60</mn></mrow></mtd><mtd><mrow><mi>V</mi><mo>=</mo><mi>B</mi></mrow></mtd></mtr><mtr><mtd><mrow><mi>H</mi><mo>+</mo><mn>360</mn></mrow></mtd><mtd><mrow><mi>H</mi><mo>&lt;</mo><mn>0</mn></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0001012456640000123.GIF" wi="902" he="594" /></maths>其中,max(R,G,B)、min(R,G,B)分别为像素的R、G、B值中的最大值和最小值;若像素的H、S值满足公式(22)中的条件,则将像素置白,否则将像素置黑,得到MouthROI_finalImg的二值图;320≤H&lt;360且0.3≤S&lt;1, (22)遍历MouthROI_finalImg二值图,由左到右、由下到上按列扫描寻找第一个白点M<sub>L</sub>,由右到左、由下到上按列扫描寻找第一个白点M<sub>R</sub>,由下到上、由右到左按行扫描寻找第一个白点M<sub>M</sub>,M<sub>L</sub>、M<sub>R</sub>、M<sub>M</sub>即为疑似左嘴角点、右嘴角点、嘴巴下边缘点;计算M<sub>L</sub>、M<sub>R</sub>的水平间距d<sub>MLRx</sub>,M<sub>L</sub>与M<sub>M</sub>、M<sub>R</sub>与M<sub>M</sub>的垂直间距d<sub>MLMy</sub>、d<sub>MRMy</sub>,计算公式如下:<maths num="0016"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>M</mi><mi>L</mi><mi>R</mi><mi>x</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>M</mi><mi>L</mi></msub><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>M</mi><mi>R</mi></msub><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>M</mi><mi>L</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>M</mi><mi>L</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>M</mi><mi>M</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>M</mi><mi>R</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>M</mi><mi>R</mi></msub><mo>.</mo><mi>y</mi><mo>-</mo><msub><mi>M</mi><mi>M</mi></msub><mo>.</mo><mi>y</mi><mo>|</mo></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>23</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000131.GIF" wi="1158" he="295" /></maths>其中,M<sub>L</sub>.x、M<sub>L</sub>.y为左嘴角点M<sub>L</sub>的横、纵坐标,M<sub>R</sub>.x、M<sub>R</sub>.y为右嘴角点M<sub>R</sub>的横、纵坐标,M<sub>M</sub>.y为嘴巴下边缘点M<sub>M</sub>的纵坐标;判断M<sub>L</sub>.x、M<sub>L</sub>.y、M<sub>R</sub>.x、M<sub>R</sub>.y、M<sub>M</sub>.x、M<sub>M</sub>.y、d<sub>MLRx</sub>、d<sub>MLMy</sub>、d<sub>MRMy</sub>是否满足公式(24)中的条件:<img file="FDA0001012456640000132.GIF" wi="1414" he="686" />不满足条件①、②时,修正公式(22)中H、S的取值范围,H下限值在原基础上减5,S下限值在原基础上减0.05,重新二值化,直到满足条件①、②为止;不满足条件③、④、⑤时,缩小MouthROI_final区域,保持MouthROI_final区域中心不变,宽、高分别变为0.9*w<sub>Mf</sub>、0.9*h<sub>Mf</sub>,重新进行由RGB到HSV的颜色空间转换及二值化,直到满足条件③、④、⑤为止;定位的嘴巴下边缘点M的横坐标M.x、纵坐标M.y的计算公式是:<maths num="0017"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mi>M</mi><mo>.</mo><mi>x</mi><mo>=</mo><mfrac><mrow><mo>(</mo><mi>L</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>+</mo><mi>R</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><mi>M</mi><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><mo>(</mo><msub><mi>M</mi><mi>L</mi></msub><mo>.</mo><mi>y</mi><mo>+</mo><msub><mi>M</mi><mi>R</mi></msub><mo>.</mo><mi>y</mi><mo>)</mo></mrow><mn>2</mn></mfrac><mo>+</mo><mfrac><mrow><mo>(</mo><msub><mi>d</mi><mrow><mi>M</mi><mi>L</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>+</mo><msub><mi>d</mi><mrow><mi>M</mi><mi>R</mi><mi>M</mi><mi>y</mi></mrow></msub><mo>)</mo></mrow><mn>2</mn></mfrac></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>25</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000141.GIF" wi="1238" he="293" /></maths>LM.x、RM.x为步骤2.2.2)中定位的左、右眉头点LM、RM的横坐标;在完整人脸区域FaceROI_Whole中,定义M点垂直方向下方h<sub>Mf</sub>处的点为O<sub>C</sub>,以O<sub>C</sub>为中心点,<img file="FDA0001012456640000142.GIF" wi="126" he="132" />为宽,2*h<sub>Mf</sub>为高,即为下巴所在区域ChinROI,其宽、高分别记为w<sub>C</sub>、h<sub>C</sub>;2.4.2)定位下巴点2.4.2.1)在完整人脸区域FaceROI_Whole中拷贝ChinROI区域到ChinROIImg,对区域ChinROIImg灰度化,计算区域ChinROIImg的灰度均值为ChinROIImgG,再对ChinROIImg二值化,ChinROIImg的二值化阈值ChinThreshold的计算公式为:ChinThreshold=0.85*ChinROIImgG, (26)2.4.2.2)遍历ChinROIImg二值图,由上到下,分别寻找水平坐标值为0、<img file="FDA0001012456640000143.GIF" wi="1046" he="151" />w<sub>C</sub>时的第一个白点C<sub>1</sub>、C<sub>2</sub>、C<sub>3</sub>、C<sub>4</sub>、C<sub>5</sub>、C<sub>6</sub>、C<sub>7</sub>,若C<sub>i</sub>,i∈1,2,3,4,5,6,7不存在,则C<sub>i</sub>,i∈1,2,3,4,5,6,7的纵坐标值等于与其相邻的下一个点的纵坐标值,若C<sub>7</sub>不存在,则C<sub>7</sub>的纵坐标值等于C<sub>1</sub>的纵坐标值,C<sub>1</sub>、C<sub>2</sub>、C<sub>3</sub>、C<sub>4</sub>、C<sub>5</sub>、C<sub>6</sub>、C<sub>7</sub>即为7个疑似下巴点;2.4.2.3)判断点C<sub>1</sub>、C<sub>2</sub>、C<sub>3</sub>、C<sub>4</sub>、C<sub>5</sub>、C<sub>6</sub>、C<sub>7</sub>是否满足公式(27)中的条件;C<sub>i</sub>.y≠0,i=1,2,3,4,5,6,7, (27)其中,C<sub>i</sub>.y为疑似下巴点C<sub>i</sub>的纵坐标,i=1,2,3,4,5,6,7;不满足条件时,将步骤2.4.2.1)中二值化阈值ChinThreshold增大为1.05*ChinThreshold,重新执行步骤2.4.2.2)、步骤2.4.2.3),直到满足条件为止;这时,最终定位的下巴点C的横坐标C.x、纵坐标C.y的计算公式如下:<img file="FDA0001012456640000151.GIF" wi="1894" he="503" />其中,max(C<sub>1</sub>.y,C<sub>2</sub>.y,C<sub>3</sub>.y,C<sub>4</sub>.y,C<sub>5</sub>.y,C<sub>6</sub>.y,C<sub>7</sub>.y)为C<sub>1</sub>.y、C<sub>2</sub>.y、C<sub>3</sub>.y、C<sub>4</sub>.y、C<sub>5</sub>.y、C<sub>6</sub>.y、C<sub>7</sub>.y中的最大值,C<sub>1</sub>.y、C<sub>2</sub>.y、C<sub>3</sub>.y、C<sub>4</sub>.y、C<sub>5</sub>.y、C<sub>6</sub>.y、C<sub>7</sub>.y分别为疑似下巴点C<sub>1</sub>、C<sub>2</sub>、C<sub>3</sub>、C<sub>4</sub>、C<sub>5</sub>、C<sub>6</sub>、C<sub>7</sub>的纵坐标,LM.x、RM.x为步骤2.2.2)中定位的左、右眉头点LM、RM的横坐标;2.5)确定额头发际区域及定位额头发际点2.5.1)确定额头发际区域在完整人脸区域FaceROI_Whole中,定义左、右眉头点LM、RM的中心点为O<sub>LRM</sub>,LM、RM的水平间距为d<sub>LRM</sub>,O<sub>LRM</sub>的横、纵坐标O<sub>LRM</sub>.x、O<sub>LRM</sub>.y及d<sub>LRM</sub>的计算公式如下:<maths num="0018"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>O</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>=</mo><mfrac><mrow><mi>L</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>+</mo><mi>R</mi><mi>M</mi><mo>.</mo><mi>x</mi></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>O</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><mi>L</mi><mi>M</mi><mo>.</mo><mi>y</mi><mo>+</mo><mi>R</mi><mi>M</mi><mo>.</mo><mi>y</mi></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>R</mi><mi>M</mi></mrow></msub><mo>=</mo><mo>|</mo><mi>L</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>-</mo><mi>R</mi><mi>M</mi><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>29</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000161.GIF" wi="1150" he="374" /></maths>其中,LM.x、LM.y为步骤2.2.2)中定位的左眉头点LM的横、纵坐标,RM.x、RM.y为步骤2.2.2)中定位的右眉头点RM的横、纵坐标;在完整人脸区域FaceROI_Whole中,定义O<sub>LRM</sub>点垂直方向上方2*d<sub>LRM</sub>处的点为O<sub>F</sub>,以O<sub>F</sub>为中心点,<img file="FDA0001012456640000162.GIF" wi="140" he="143" />为宽,<img file="FDA0001012456640000163.GIF" wi="63" he="142" />为高,即为额头发际所在区域ForeROI,其宽、高分别记为w<sub>F</sub>、h<sub>F</sub>;2.5.2)定位额头发际点2.5.2.1)在完整人脸区域FaceROI_Whole中拷贝ForeROI区域到ForeROIImg,对区域ForeROIImg灰度化,计算区域ForeROIImg的灰度均值为ForeROIImgG,再对ForeROIImg二值化,ForeROIImg的二值化阈值ForeThreshold的计算公式为:ForeThreshold=0.8*ForeROIImgG, (30)2.5.2.2)遍历ForeROIImg二值图,由下到上,分别寻找水平坐标值为0、<img file="FDA0001012456640000164.GIF" wi="125" he="127" />w<sub>F</sub>时的第一个白点F<sub>1</sub>、F<sub>2</sub>、F<sub>3</sub>,若点F<sub>i</sub>,i∈1,2,3不存在,则F<sub>i</sub>,i∈1,2,3的纵坐标值等于与其相邻的下一个点的纵坐标值,若F<sub>3</sub>不存在,则F<sub>3</sub>的纵坐标值等于F<sub>1</sub>的纵坐标值,F<sub>1</sub>、F<sub>2</sub>、F<sub>3</sub>即为3个疑似发际点;2.5.2.3)判断点F<sub>1</sub>、F<sub>2</sub>、F<sub>3</sub>是否满足公式(31)中的条件:F<sub>i</sub>.y≠0,i=1,2,3, (31)其中,F<sub>i</sub>.y为疑似发际点F<sub>i</sub>的纵坐标,i=1,2,3;不满足条件时,将步骤2.5.2.1)中二值化阈值ForeThreshold增大为1.05*ForeThreshold,重新执行步骤2.5.2.2)、步骤2.5.2.3),直到满足条件为止;终定位的额头发际点F的横坐标F.x、纵坐标F.y的计算公式如下:<img file="FDA0001012456640000171.GIF" wi="1406" he="540" />其中,min(F<sub>1</sub>.y,F<sub>2</sub>.y,F<sub>3</sub>.y)为F<sub>1</sub>.y、F<sub>2</sub>.y、F<sub>3</sub>.y中的最小值,F<sub>1</sub>.y、F<sub>2</sub>.y、F<sub>3</sub>.y分别为发际点F<sub>1</sub>、F<sub>2</sub>、F<sub>3</sub>的纵坐标,LM.x、RM.x为步骤2.2.2)中定位的左、右眉头点LM、RM的横坐标;2.6)确定脸宽区域及定位两侧发际点2.6.1)确定脸宽区在完整人脸区域FaceROI_Whole中,定义左、右眼内眼角点L<sub>eyeIn</sub>、R<sub>eyeIn</sub>的中心点为O<sub>LReyeIn</sub>,L<sub>eyeIn</sub>、R<sub>eyeIn</sub>的水平间距为d<sub>LReyeIn</sub>,O<sub>LReyeIn</sub>的横、纵坐标O<sub>LReyeIn</sub>.x、O<sub>LReyeIn</sub>.y及d<sub>LReyeIn</sub>的计算公式如下:<maths num="0019"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>O</mi><mrow><mi>L</mi><mi>Re</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>=</mo><mfrac><mrow><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>+</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>O</mi><mrow><mi>L</mi><mi>Re</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>=</mo><mfrac><mrow><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi><mo>+</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>y</mi></mrow><mn>2</mn></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>d</mi><mrow><mi>L</mi><mi>Re</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>=</mo><mo>|</mo><msub><mi>L</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>-</mo><msub><mi>R</mi><mrow><mi>e</mi><mi>y</mi><mi>e</mi><mi>I</mi><mi>n</mi></mrow></msub><mo>.</mo><mi>x</mi><mo>|</mo></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>33</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000172.GIF" wi="1366" he="495" /></maths>其中,L<sub>eyeIn</sub>.x、L<sub>eyeIn</sub>.y为左眼内眼角点L<sub>eyeIn</sub>的横、纵坐标,R<sub>eyeIn</sub>.x、R<sub>eyeIn</sub>.y为右眼内眼角点R<sub>eyeIn</sub>的横、纵坐标;在完整人脸区域FaceROI_Whole中,以O<sub>LReyeIn</sub>为中心点,5*d<sub>LReyeIn</sub>为宽,<img file="FDA0001012456640000181.GIF" wi="357" he="151" />为高,即为脸宽区域FaceWidthROI,其宽、高分别记为w<sub>FW</sub>、h<sub>FW</sub>;2.6.2)定位两侧发际点2.6.2.1)在完整人脸区域FaceROI_Whole中拷贝FaceWidthROI区域到FaceWidthROIImg,对区域FaceWidthROIImg灰度化,计算区域FaceWidthROIImg的灰度均值为FaceWidthROIImgG,再对FaceWidthROIImg二值化,FaceWidthROIImg的二值化阈值FWThreshold的计算公式:FWThreshold=0.9*FaceWidthROIImgG, (34)2.6.2.2)在FaceWidthROIImg二值图中,由左眼外眼角点L<sub>eyeOut</sub>的横坐标L<sub>eyeOut</sub>.x、O<sub>LReyeIn</sub>的纵坐标O<sub>LReyeIn</sub>.y开始,沿水平方向向左寻找第一个白点FW<sub>L</sub>;由右眼外眼角点R<sub>eyeOut</sub>的横坐标R<sub>eyeOut</sub>.x、O<sub>LReyeIn</sub>的纵坐标O<sub>LReyeIn</sub>.y开始,沿水平方向向右寻找第一个白点FW<sub>R</sub>,FW<sub>L</sub>、FW<sub>R</sub>即为疑似左、右侧发际点;2.6.2.3)判断FW<sub>L</sub>、FW<sub>R</sub>是否满足公式(35)中的条件:<maths num="0020"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>FW</mi><mi>L</mi></msub><mo>.</mo><mi>x</mi><mo>&NotEqual;</mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>FW</mi><mi>R</mi></msub><mo>.</mo><mi>x</mi><mo>&NotEqual;</mo><mn>0</mn></mrow></mtd></mtr></mtable><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>35</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001012456640000182.GIF" wi="965" he="141" /></maths>FW<sub>L</sub>.x为左侧发际点FW<sub>L</sub>横坐标,FW<sub>R</sub>.x为右侧发际点FW<sub>R</sub>横坐标;不满足条件时,将步骤2.6.2.1)中二值化阈值增加为1.05*FWThreshold,重新执行步骤2.6.2.2)、步骤2.6.2.3),直到满足条件为止;这时,FW<sub>L</sub>、FW<sub>R</sub>即为最终定位的左、右两侧发际点;最终定位的特征点,包括额头发际点F、左眉头点LM、右眉头点RM、左眼内眼角点L<sub>eyeIn</sub>、左眼外眼角点L<sub>eyeOut</sub>、右眼内眼角点R<sub>eyeIn</sub>、右眼外眼角点R<sub>eyeOut</sub>、鼻下点N、下巴点C、左侧发际点FW<sub>L</sub>、右侧发际点FW<sub>R</sub>;步骤3、确定三庭五眼的像素间距及比例。
地址 710048 陕西省西安市金花南路5号