发明名称 一种基于人脸超分辨率处理的人脸老化模拟方法
摘要 本发明公开了一种基于人脸超分辨率处理的人脸老化模拟方法,该方法包括:归一化处理人脸图像;训练各年龄段超分辨率方法;降低输入图像分辨率;进行指定年龄段的人脸超分辨率处理,即利用训练好的人脸超分辨率方法,将指定年龄的脸部纹理信息填补进低分辨率输入人脸图像,从而得到人脸老化模拟图像。可以使用的人脸超分辨率方法是基于学的人脸超分辨率方法,本发明采用本征转换Eigentransformation。本发明可以应用各种基于学的人脸超分辨方法;本发明利用基于学的人脸超分辨,可以真实可信的进行人脸老化模拟;且本发明仅考虑人脸纹理变化,计算速度快。
申请公布号 CN101425138A 申请公布日期 2009.05.06
申请号 CN200810226629.2 申请日期 2008.11.18
申请人 北京航空航天大学 发明人 王蕴红;耿 伟;姜方圆
分类号 G06K9/00(2006.01)I;G06K9/62(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 北京永创新实专利事务所 代理人 周长琪
主权项 1、一种基于人脸超分辨率处理的人脸老化模拟方法,该方法包括以下步骤:步骤一:归一化处理人脸图像;对人脸图像进行归一化处理,包括直方图均衡、图片大小归一化;步骤二:训练各年龄段超分辨率方法;用不同年龄段的人脸数据集来训练人脸超分辨率算法,以备选用;该方法中的训练过程是指通过使用PCA算法来构造本征脸空间,年龄段划分越细致,即年龄段中年龄跨度越小,则得到越精确的年龄的人脸老化模拟结果;在经由PCA提取的特征空间,不同频率的信息成分是不相关的,通过选择本征脸的数量,在去除噪声的同时最大限度的提取人脸信息;步骤三:降低输入图像分辨率;通过将输入图像降采样至低分辨率,使人脸图像纹理信息损失,为步骤四中用人脸超分辨率方法重建、填补指定年龄段的脸部纹理信息做准备;其特征在于,步骤四:进行指定年龄段的人脸超分辨率处理;利用已训练过的人脸超分辨率方法,将指定年龄的脸部纹理信息填补进低分辨率输入人脸图像,从而得到人脸老化模拟图像;所述的人脸超分辨率方法是基于学习的人脸超分辨率方法,本发明中采用本征转换Eigentransfromation;所述的本征转换Eigentransformation超分辨率算法的流程:首先,对输入的低分辨率人脸图像使用PCA来获得参数向量[c<sub>1</sub>,c<sub>2</sub>,…,c<sub>M</sub>]<sup>T</sup>;该参数向量[c<sub>1</sub>,c<sub>2</sub>,…,c<sub>M</sub>]<sup>T</sup>是将输入图像投影到本征脸空间获得的,其中,c<sub>1</sub>,c<sub>2</sub>,...,c<sub>M</sub>为输入图像在本征脸空间的投影坐标;然后,保持参数向量不变,将低分辨率人脸图像训练得到的特征向量集转换成对应的高分辨率人脸图像训练得到的特征向量集,获得初步的近似的超分辨率结果;<maths num="0001"><![CDATA[<math><mrow><msub><mover><mi>r</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub><mo>=</mo><msub><mi>LV</mi><mi>l</mi></msub><msup><msub><mi>&Lambda;</mi><mi>l</mi></msub><mrow><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac></mrow></msup><msub><mover><mi>w</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub><mo>+</mo><msub><mover><mi>m</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub><mo>=</mo><mi>L</mi><mover><mi>c</mi><mo>&RightArrow;</mo></mover><mo>+</mo><msub><mover><mi>m</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub></mrow></math>]]></maths>其中,脚标l取自然数[1,...,M],<img file="A200810226629C0002174451QIETU.GIF" wi="42" he="60" />表示重建的低分辨率的人脸图像,<img file="A200810226629C0002174500QIETU.GIF" wi="50" he="79" />为人脸数据集的平均脸,L为从每个人脸图像矢量中减去平均脸所获得的矩阵,V<sub>l</sub>为特征向量矩阵,人,为特征值矩阵,<maths num="0002"><![CDATA[<math><mrow><mover><mi>c</mi><mo>&RightArrow;</mo></mover><mo>=</mo><msub><mi>V</mi><mi>l</mi></msub><msup><msub><mi>&Lambda;</mi><mi>l</mi></msub><mrow><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac></mrow></msup><msub><mover><mi>w</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub><mo>=</mo><msup><mrow><mo>[</mo><msub><mi>c</mi><mn>1</mn></msub><mo>,</mo><msub><mi>c</mi><mn>2</mn></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msub><mi>c</mi><mi>M</mi></msub><mo>]</mo></mrow><mi>T</mi></msup><mo>,</mo></mrow></math>]]></maths><img file="A200810226629C00032.GIF" wi="36" he="45" />为参数向量,则上述公式被改写为:<maths num="0003"><![CDATA[<math><mrow><msub><mover><mi>r</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub><mo>=</mo><mi>L</mi><mover><mi>c</mi><mo>&RightArrow;</mo></mover><mo>+</mo><msub><mover><mi>m</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub><mo>=</mo><msubsup><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></msubsup><msub><mi>c</mi><mi>i</mi></msub><msubsup><mover><mi>l</mi><mo>&RightArrow;</mo></mover><mi>i</mi><mo>&prime;</mo></msubsup><mo>+</mo><msub><mover><mi>m</mi><mo>&RightArrow;</mo></mover><mi>l</mi></msub></mrow></math>]]></maths>其中,<img file="A200810226629C0003175425QIETU.GIF" wi="30" he="46" />反映了训练库中每个图像对重建图像的贡献,即权值;其中,<img file="A200810226629C00035.GIF" wi="28" he="57" />表示低分辨率的人脸图像,将<img file="A200810226629C00036.GIF" wi="29" he="56" />替换为对应的高分辨率图像<img file="A200810226629C00037.GIF" wi="33" he="58" />,并用高分辨率的平均脸<img file="A200810226629C00038.GIF" wi="44" he="45" />代替人脸数据集的平均脸<img file="A200810226629C00039.GIF" wi="41" he="45" />得到:<maths num="0004"><![CDATA[<math><mrow><msub><mover><mi>x</mi><mo>&RightArrow;</mo></mover><mi>h</mi></msub><mo>=</mo><msubsup><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>M</mi></msubsup><msub><mi>c</mi><mi>i</mi></msub><msubsup><mover><mi>h</mi><mo>&RightArrow;</mo></mover><mi>i</mi><mo>&prime;</mo></msubsup><mo>+</mo><msub><mover><mi>m</mi><mo>&RightArrow;</mo></mover><mi>h</mi></msub></mrow></math>]]></maths>其中,<img file="A200810226629C000311.GIF" wi="37" he="45" />为所需的由低分辨率重建出来的高分辨率图像;接着,再在高分辨率的本征脸空间进行一次PCA投影变换,并对获得的主成份元进行参数约束;最后,经过图像重建获得最终的人脸图像超分辨率结果。
地址 100083北京市海淀区学院路37号