发明名称 一种基于相关高斯过程回归的面部年龄估计方法
摘要 本发明提出了一种基于相关高斯过程回归的面部年龄估计方法。该方法首先提取面部图像的形状特征,并对光照归一化和形状归一化后图像提取容貌特征;接着,根据所有图像对应的标定年龄建立性别差异化的从面部特征到目标年龄的高斯过程回归模型,并求解回归参数;最后,在给定待估计面部年龄图像时,提取面部形状和容貌特征并利用已学的高斯过程回归模型估计对应年龄。
申请公布号 CN105426872A 申请公布日期 2016.03.23
申请号 CN201510955985.8 申请日期 2015.12.17
申请人 电子科技大学 发明人 潘力立;王正宁;郑亚莉
分类号 G06K9/00(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 电子科技大学专利中心 51203 代理人 张杨
主权项 一种基于高斯过程回归的性别差异化面部年龄估计方法,包括以下步骤:步骤1:采集不同人的包含不同年龄的面部图像N幅,其中男性的面部图像数量为N<sub>1</sub>,女性的面部图像数量为N<sub>2</sub>,因此N=N<sub>1</sub>+N<sub>2</sub>;步骤2:对所有的面部图像利用FaceTracker方法跟踪面部特征点,共得到K个面部特征点;对于任意第n幅面部图像,用向量<img file="FDA0000881096830000011.GIF" wi="686" he="78" />记录所有特征点的位置,其中<img file="FDA0000881096830000012.GIF" wi="510" he="70" />表示第n幅面部图像的第k个特征点的位置坐标,由横坐标x<sub>nk</sub>和纵坐标y<sub>nk</sub>两维构成;步骤3:由于每一幅图像拍摄状态不同,造成拍摄到的人脸面部大小、位置和旋转角度不同,为了消除不同图像对应面部特征点之间的仿射变换,以第1幅图像为基准,对图片库中所有图像的特征点位置进行仿射变换,让变换后的特征点位置与第1幅基准图像的面部特征点位置尽量接近,对图像库中每一面部图像做上述变换,可得到所有N幅图像的面部形状特征,即:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msub><mover><mi>s</mi><mo>&OverBar;</mo></mover><mn>1</mn></msub><mo>,</mo><msub><mover><mi>s</mi><mo>&OverBar;</mo></mover><mn>2</mn></msub><mo>,</mo><mo>...</mo><mo>,</mo><msub><mover><mi>s</mi><mo>&OverBar;</mo></mover><mi>N</mi></msub><mo>;</mo></mrow>]]></math><img file="FDA0000881096830000013.GIF" wi="284" he="63" /></maths>步骤4:将所有图像对应的面部形状归一化为基准图像面部形状,并利用三角面片方法对面部容貌进行变换;步骤5:计算面部形状归一化图像的平均背景光照;首先计算各图像的灰度平均值图像;之后,计算灰度平均图像上每一个三角面片的灰度均值,将三角面片的灰度均值作为三角面片中心点的灰度值;最后,根据三角面片中心的灰度值进行线性插值,得到与原图像大小相同的背景光照图像I<sub>0</sub>;步骤6:对图片库中所有面部图像进行光照归一化;首先计算第n幅图像每一个三角面片的灰度均值,并将此灰度均值作为三角面片中心点的灰度值,接着利用已有三角面片中心点的灰度值进行线性插值,得到第n幅图像估计的背景光照图像I′<sub>n</sub>,光照归一化图像<img file="FDA0000881096830000014.GIF" wi="70" he="71" />由下式得到,<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msub><mover><mi>I</mi><mo>&OverBar;</mo></mover><mi>n</mi></msub><mo>=</mo><msub><mi>I</mi><mi>n</mi></msub><mo>-</mo><msub><msup><mi>I</mi><mo>&prime;</mo></msup><mi>n</mi></msub><mo>+</mo><msub><mi>I</mi><mn>0</mn></msub><mo>,</mo></mrow>]]></math><img file="FDA0000881096830000015.GIF" wi="414" he="70" /></maths>已有N幅图像对应的形状和光照归一化图像为<img file="FDA0000881096830000016.GIF" wi="271" he="70" />步骤7:对形状和光照归一化后的每一图像提取GLOH特征;将所有图像缩放到大小为66×66像素,同时将图像分为36个大小为11×11像素的小区域,在每个小区域内,使用半径为2,3,5三个长度和8个梯度方向计算直方图,得到136维的局部直方图特征;最后将36个区域的局部直方图特征级联在一起,得到每幅图像的GLOH特征为4896维;记所有N幅图像的GLOH特征为:<img file="FDA0000881096830000017.GIF" wi="300" he="62" />步骤8:对N幅图像的面部形状特征<img file="FDA0000881096830000021.GIF" wi="266" he="70" />和GLOH特征<img file="FDA0000881096830000022.GIF" wi="301" he="69" />利用线性主成分分析方法进行降维,分别降到40维和60维,两种特征降维后级联在一起,构成每一幅面部图像的最终特征表示<img file="FDA0000881096830000023.GIF" wi="208" he="70" />D=100;对于N幅图像,我们可以得到f<sub>1</sub>,f<sub>2</sub>,…,f<sub>N</sub>共N个特征向量;步骤9:将步骤8中得到的所有图像的特征和其对应的标定年龄,根据对应人的性别分为两组,第1组为男性,第2组为女性,令<img file="FDA0000881096830000024.GIF" wi="644" he="86" />表示所有男性的面部特征,任意列向量<img file="FDA0000881096830000025.GIF" wi="72" he="73" />为男性中第n个人的面部特征,令<img file="FDA0000881096830000026.GIF" wi="608" he="95" />表示上述男性面部图像对应的标定年龄;定义<img file="FDA0000881096830000027.GIF" wi="642" he="87" />表示所有女性的面部特征,任意列向量<img file="FDA0000881096830000028.GIF" wi="74" he="70" />为女性中第n个人的面部特征,同时令<img file="FDA0000881096830000029.GIF" wi="612" he="95" />表示上述女性面部图像对应的标定年龄;步骤10:在分组数据的基础上,假设对于男性或女性,其面部特征和对应年龄之间存在以下卷积高斯过程回归关系:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>z</mi><mrow><mo>(</mo><msubsup><mi>y</mi><mi>n</mi><mi>g</mi></msubsup><mo>)</mo></mrow><mo>=</mo><msub><mi>h</mi><mi>g</mi></msub><mrow><mo>(</mo><msubsup><mi>f</mi><mi>n</mi><mi>g</mi></msubsup><mo>)</mo></mrow><mo>+</mo><msubsup><mi>&epsiv;</mi><mi>n</mi><mi>g</mi></msubsup><mo>,</mo><msubsup><mi>&epsiv;</mi><mi>n</mi><mi>g</mi></msubsup><mo>~</mo><mi>N</mi><mrow><mo>(</mo><mn>0</mn><mo>,</mo><msubsup><mi>&sigma;</mi><mi>g</mi><mn>2</mn></msubsup><mo>)</mo></mrow><mo>,</mo><mi>g</mi><mo>=</mo><mn>1</mn><mo>,</mo><mn>2</mn></mrow>]]></math><img file="FDA00008810968300000210.GIF" wi="1045" he="85" /></maths>g表征回归模型是针对男性(g=1)或女性(g=2),<img file="FDA00008810968300000211.GIF" wi="76" he="77" />和<img file="FDA00008810968300000212.GIF" wi="72" he="77" />为男性或女性的第n个样本对应的面部特征和年龄,h<sub>g</sub>(·)是性别差异化回归函数,<img file="FDA00008810968300000213.GIF" wi="66" he="77" />为随机噪声变量,服从均值为0方差为<img file="FDA00008810968300000214.GIF" wi="72" he="78" />的高斯分布,<img file="FDA00008810968300000215.GIF" wi="140" he="85" />为隐含输出;定义隐含变量<img file="FDA00008810968300000216.GIF" wi="232" he="79" />为隐含输出变量,其中z(·)为卷积函数,其表达式一般为:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>z</mi><mrow><mo>(</mo><msubsup><mi>y</mi><mi>n</mi><mi>g</mi></msubsup><mo>)</mo></mrow><mo>=</mo><mi>a</mi><mi>tanh</mi><mo>&lsqb;</mo><mi>b</mi><mrow><mo>(</mo><msubsup><mi>y</mi><mi>n</mi><mi>g</mi></msubsup><mo>+</mo><mi>c</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow>]]></math><img file="FDA00008810968300000217.GIF" wi="572" he="79" /></maths>tanh为双曲正切函数,由参数φ={a,b,c}决定;步骤11:步骤10中的回归函数输出值<img file="FDA00008810968300000218.GIF" wi="742" he="103" />满足高斯过程先验,即:<img file="FDA00008810968300000219.GIF" wi="525" he="79" />其中<img file="FDA00008810968300000220.GIF" wi="588" he="102" />为男性或女性的面部特征集合,<img file="FDA00008810968300000221.GIF" wi="240" he="79" />为零向量,K<sub>g</sub>为大小N<sub>g</sub>×N<sub>g</sub>的协方差矩阵,其第m行n列的元素<img file="FDA00008810968300000222.GIF" wi="252" he="86" />表示回归函数在<img file="FDA00008810968300000223.GIF" wi="80" he="79" />和<img file="FDA00008810968300000224.GIF" wi="74" he="79" />处,即<img file="FDA00008810968300000225.GIF" wi="169" he="87" />和<img file="FDA00008810968300000226.GIF" wi="169" he="86" />的协方差<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><msub><mi>k</mi><mi>g</mi></msub><mrow><mo>(</mo><msubsup><mi>f</mi><mi>m</mi><mi>g</mi></msubsup><mo>,</mo><msubsup><mi>f</mi><mi>n</mi><mi>g</mi></msubsup><mo>)</mo></mrow><mo>=</mo><msub><mi>&theta;</mi><mn>0</mn></msub><mi>exp</mi><mo>{</mo><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>D</mi></munderover><msub><mi>&eta;</mi><mi>i</mi></msub><msup><mrow><mo>(</mo><msubsup><mi>f</mi><msub><mi>m</mi><mi>i</mi></msub><mi>g</mi></msubsup><mo>-</mo><msubsup><mi>f</mi><msub><mi>n</mi><mi>i</mi></msub><mi>g</mi></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>}</mo><mo>+</mo><msub><mi>&theta;</mi><mn>1</mn></msub><mo>+</mo><msub><mi>&theta;</mi><mn>2</mn></msub><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>D</mi></munderover><msubsup><mi>f</mi><msub><mi>m</mi><mi>i</mi></msub><mi>g</mi></msubsup><msubsup><mi>f</mi><msub><mi>n</mi><mi>i</mi></msub><mi>g</mi></msubsup></mrow>]]></math><img file="FDA0000881096830000031.GIF" wi="1366" he="183" /></maths><img file="FDA0000881096830000032.GIF" wi="81" he="84" />为<img file="FDA0000881096830000033.GIF" wi="84" he="78" />的第i个元素,<img file="FDA0000881096830000034.GIF" wi="71" he="87" />为<img file="FDA0000881096830000035.GIF" wi="71" he="79" />的第i个元素,参数为θ<sub>g</sub>={θ<sub>0</sub>,θ<sub>1</sub>,θ<sub>2</sub>,η<sub>1</sub>,…,η<sub>D</sub>};步骤12:根据步骤10中隐含变量<img file="FDA0000881096830000036.GIF" wi="71" he="79" />和回归函数<img file="FDA0000881096830000037.GIF" wi="166" he="79" />之间的关系,可以得到上式中p(z<sub>g</sub>|h<sub>g</sub>)的表达式为<img file="FDA0000881096830000038.GIF" wi="623" he="103" />再根据步骤11中对回归函数输出值的高斯过程先验假设,得到男性或女性面部特征F<sub>g</sub>已知条件下隐含变量向量<img file="FDA0000881096830000039.GIF" wi="527" he="103" />的分布函数:<img file="FDA00008810968300000310.GIF" wi="1365" he="127" />令<img file="FDA00008810968300000311.GIF" wi="463" he="102" />根据正态分布的表达式并对上式取对得到<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mi>ln</mi><mi> </mi><mi>p</mi><mrow><mo>(</mo><msub><mi>z</mi><mi>g</mi></msub><mo>|</mo><msub><mi>F</mi><mi>g</mi></msub><mo>)</mo></mrow><mo>=</mo><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><mi>l</mi><mi>n</mi><mo>|</mo><msub><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi></msub><mo>|</mo><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><msubsup><mi>z</mi><mi>g</mi><mi>T</mi></msubsup><msup><msub><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi></msub><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>z</mi><mi>g</mi></msub><mo>-</mo><mfrac><msub><mi>N</mi><mi>g</mi></msub><mn>2</mn></mfrac><mi>l</mi><mi>n</mi><mn>2</mn><mi>&pi;</mi></mrow>]]></math><img file="FDA00008810968300000312.GIF" wi="1089" he="124" /></maths>步骤13:<img file="FDA00008810968300000313.GIF" wi="74" he="78" />是卷积函数的反函数在<img file="FDA00008810968300000314.GIF" wi="72" he="71" />的输出值,即<img file="FDA00008810968300000315.GIF" wi="326" he="79" />与年龄相关的对数似然函数lnp(y<sub>g</sub>|F<sub>g</sub>)的表达式为,<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><mi>l</mi><mi>n</mi><mo>|</mo><msub><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi></msub><mo>|</mo><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><msubsup><mi>z</mi><mi>g</mi><mi>T</mi></msubsup><msubsup><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><msub><mi>z</mi><mi>g</mi></msub><mo>+</mo><munderover><mo>&Sigma;</mo><mrow><mi>n</mi><mo>=</mo><mn>1</mn></mrow><msub><mi>N</mi><mi>g</mi></msub></munderover><mi>ln</mi><mi> </mi><msup><mi>z</mi><mo>&prime;</mo></msup><mrow><mo>(</mo><msubsup><mi>y</mi><mi>n</mi><mi>g</mi></msubsup><mo>)</mo></mrow><mo>-</mo><mfrac><msub><mi>N</mi><mi>g</mi></msub><mn>2</mn></mfrac><mi>l</mi><mi>n</mi><mn>2</mn><mi>&pi;</mi></mrow>]]></math><img file="FDA00008810968300000316.GIF" wi="1076" he="198" /></maths>其中z′(·)表示卷积函数z(·)的导数。该对数似然函数是关于参数θ<sub>g</sub>,σ<sub>g</sub>和φ的函数,定义<img file="FDA00008810968300000317.GIF" wi="381" he="79" />步骤14:,为了寻找使得对数似然函数<img file="FDA00008810968300000323.GIF" wi="40" he="54" />取最大值时的参数θ<sub>g</sub>,σ<sub>g</sub>和φ,利用梯度法求解,梯度法中需要对对数似然函数<img file="FDA00008810968300000318.GIF" wi="50" he="63" />关于各个参数求偏导数,得到以下结果:<img file="FDA00008810968300000319.GIF" wi="990" he="171" /><img file="FDA00008810968300000320.GIF" wi="781" he="143" /><img file="FDA00008810968300000321.GIF" wi="894" he="199" />其中,<img file="FDA00008810968300000322.GIF" wi="72" he="87" />是向量θ<sub>g</sub>中的第j个元素,φ<sub>j</sub>是参数向量φ的第j元素;步骤15:给定待估计年龄的人脸图像,按照步骤3,4,5,6,7,8中的方法提取面部特征f<sub>*</sub>。这里假设待估计人脸图像的性别已知,可得到所有隐含变<img file="FDA0000881096830000041.GIF" wi="380" he="103" />和z<sub>*</sub>的联合分布函数如下:<img file="FDA0000881096830000042.GIF" wi="942" he="207" />其中<img file="FDA0000881096830000043.GIF" wi="775" he="127" />根据上式,可以求得p(z<sub>*</sub>|F<sub>g</sub>,z<sub>g</sub>,f<sub>*</sub>)服从高斯分布,均值μ<sub>*</sub>与方差γ<sub>*</sub><sup>2</sup>如下表示<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><msub><mi>&mu;</mi><mo>*</mo></msub><mo>=</mo><msubsup><mi>k</mi><mi>*</mi><mi>T</mi></msubsup><msup><msub><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi></msub><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>z</mi><mi>g</mi></msub></mrow>]]></math><img file="FDA0000881096830000044.GIF" wi="350" he="94" /></maths><maths num="0009" id="cmaths0009"><math><![CDATA[<mrow><msubsup><mi>&gamma;</mi><mo>*</mo><mn>2</mn></msubsup><mo>=</mo><msub><mi>k</mi><mi>g</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mo>*</mo></msub><mo>,</mo><msub><mi>x</mi><mo>*</mo></msub><mo>)</mo></mrow><mo>-</mo><msubsup><mi>k</mi><mo>*</mo><mi>T</mi></msubsup><msup><msub><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi></msub><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>k</mi><mo>*</mo></msub><mo>+</mo><msubsup><mi>&sigma;</mi><mi>g</mi><mn>2</mn></msubsup></mrow>]]></math><img file="FDA0000881096830000045.GIF" wi="726" he="95" /></maths>将μ<sub>*</sub>作为对待估计人脸特征f<sub>*</sub>的隐含输出z<sub>*</sub>的估计值,由于z<sub>*</sub>=z(y<sub>*</sub>),最后得到待估计人脸的年龄估计值y<sub>*</sub>为:<maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><msub><mi>y</mi><mo>*</mo></msub><mo>=</mo><msup><mi>z</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><msubsup><mi>k</mi><mi>*</mi><mi>T</mi></msubsup><msup><msub><mover><mi>K</mi><mo>~</mo></mover><mi>g</mi></msub><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>z</mi><mi>g</mi></msub><mo>)</mo></mrow><mo>.</mo></mrow>]]></math><img file="FDA0000881096830000046.GIF" wi="509" he="102" /></maths>
地址 611731 四川省成都市高新区(西区)西源大道2006号