人脸图像光照参数和去光照图的高精度同时估计方法

摘要

一种人脸图像光照参数和去光照图的高精度同时估计方法，基于商图算法的参数化光照子空间框架，提出了一个改进的目标函数及其约束条件，允许人脸各像素点拥有独立的反射系数，更加符合人脸物理实际，提高了参数估计的精度；设计了一个类EM的迭代算法来求解该目标函数，能够高效地实现光照参数和去光照图的同时估计目的。相对于原商图系列算法，所提改进算法改善了人脸图像光照参数和去光照图的估计精确度，从而可以被直接用于提高基于光照参数的人脸图像光照重绘质量，以及基于去光照图的人脸识别系统准确率。

主权项

1.一种人脸图像光照参数和去光照图的高精度同时估计方法，其特征在于，采用朗伯特反射模型来建模人脸图像的成像，该模型如下式(1)所示：I(p)＝ρ(p)n(p)^Ts(p)  (1)式(1)中的人脸图像I通过其每一个表而点上反映纹理信息的逐点反射系数ρ乘以该点上的法向量n和光源向量s的内积来表达，p＝1…P，表示总像素数为P的图像I中的每一个像素；根据一个三维物体在3D空间中的光照向量可以用3个独立点光源的线性组合来近似表达这一原理，设s_j，j＝1…3表示一组线性独立的点光源集，则光源向量s可以表达为：其中的光源组合权重系数x＝(x₁，x₂，x₃)^T即待估计的光照参数，它所张成的线性空间称为参数化光照子空间；接着采集N个人脸对象在这3个独立点光源s_j，j＝1…3分别照射下生成的3×N幅正面人脸图像，对这些图像进行特征点标定和后向变形(Warp)操作以实现像素级对准，获得训练样本集A_i，i＝1…N，其中每个样本A_i是一个P×3的非负实矩阵，表示第i个人脸对象在该组光源照射下得到的图像；设目标人脸对象r相对于训练样本集A_i，i＝1…N中任意第i个参考人脸对象的商图Q_i(p)为其两者间逐像素反射系数之比：ρ_i(p)和ρ_r(p)分别表示第i个参考人脸对象和目标人脸对象r在对应像素p上的反射系数；该定义下的商图集Q＝(Q_i，…，Q_N)是一组去耦了目标人脸图像光照因素而保留了其表面纹理差异特征的滤波图像，可被用于实现光照不变的人脸识别；设目标人脸图像T_I对应的对角阵diag(T_I)＝R，执行人脸光照参数和去光照图的同时估计核心算法，该算法流程描述如下：Step1.参数初始化：$x^{\left(1\right)}=\frac{1}{L}·u_x,Q_i^{\left(1\right)}=u_q,$i＝1…N，这里u_x∈_i^3×1和u_q∈_i^P×1是单位向量；Step2.将Q＝(Q₁,...,Q_N)代入线性方程组：根据公式$x={\left[\underset{i=1}{\overset{N}{\Sigma }}\left(A_i^T{A}_i\right)\right]}^{-1}\underset{i=1}{\overset{N}{\Sigma }}\left(A_i^T{\mathrm{RQ}}_i\right)$求解出x；Step3.将x代入线性方程组：R^TRQ_i＝R^TA_ix，i＝1…N，分别求解出i＝1…N时对应的每一个商图Q_i的解：p＝1…P，i＝1…N；Step4.令i＝1…N，为第d步迭代中得到的第i个商图中所有像素的平均值，根据式更新每一个商图Q_i上的每一个像素p处的灰度值；Step.5判断如果满足$\left|\right|x^{(d+1)}-x^{\left(d\right)}\left|\right|\le ϵ,\left|\right|Q_i^{(d+1)}-Q_i^{\left(d\right)}\left|\right|\le ϵ,$则即为所求光照参数，进入下一步；否则跳回Step2继续循环；Step.6对所得商图i＝1…N求其平均图并基于其标定特征点进行前向Warp操作以恢复其原始形状，即为所求目标人脸的去光照图，结束计算。