基于Hermite插值神经网络回归模型的人脸面部渲染方法

摘要

本发明公开了一种基于Hermite插值神经网络回归模型的人脸面部渲染方法，属于真实感图形实时绘制技术领域。该方法包括人脸面部区域划分、面部辐射度参数预计算、样本数据采集、Hermite插值神经网络回归模型的构建及训练、最终渲染。采用此方法，将回归分析理论引入到人脸面部渲染过程中，使用Hermite插值神经网络构建学模型，利用样本集进行训练，确定各隐层神经元之间的权值矩阵，从而有效发掘出面部各分区内可见点的物理属性与几何特征属性之间的非线性关联。通过这种非线性映射，可以将人脸表面各点的特征属性快速映射成为该点在给定光照条件下的颜色值。此方法能够有效减少计算规模，很好地实现人脸面部真实感图形实时渲染。

主权项

一种基于Hermite插值神经网络回归模型的人脸面部渲染方法，其特征是，包括如下步骤：步骤一，基于人脸面部各点的反射强度属性值将人脸面部划分为Re个分区，在各分区内基于各点的弯曲度属性值继续将分区划分为M个子分区，每个子区中分布的点数目为N，随机选取各子分区中的S个点作为样本点；步骤二，基于各片段点的法向量、辐照度和深度信息，计算各片段点的前后向属性及辐射度值；以在第m个子分区中，选择索引号为i的点作为样本点时，其中m∈[0,M‑1],i∈[0,S‑1]，计算当前片段点的前后向属性及辐射度值的具体过程为：S201、从视点位置开始绘制，将当前片段点在世界坐标下的法向量、辐照度、深度信息分别绘制到ENormTex、IrraTex和EDepthTex3幅纹理中；S202、从2幅纹理ENormTex、IrraTex中分别获取法向量及辐照度信息，计算出当前片段点的辐射度值；S203、通过纹理映射，读取EDepthTex中当前片段点的深度信息；计算当前片段点和视点的距离，将该距离与深度信息进行比较，如果该距离等于深度距离，则当前片段点为前向点，如果该距离大于深度距离，则当前片段点为后向点；S204、根据当前片段点的前后向属性分别记录其辐射度值；步骤三，计算各样本点与所属子分区内分布的其他点及其所对应的后向点之间的欧氏距离，以及该样本点处的颜色值及颜色梯度值；以在第m个子分区中，当选择索引号为i的点作为样本点时，计算当前片段点与样本点之间欧氏距离、颜色值及颜色梯度值的过程为：S301、从视点位置开始绘制，生成纹理IRegTex，IRegTex中包含当前片段点与样本点之间的欧氏距离；S302、从视点位置开始绘制，生成纹理LuminTex，LuminTex中包含当前片段点的颜色值；对纹理LuminTex进行梯度运算，得到梯度纹理Lumin_gradientTex，Lumin_gradientTex中包含当前片段点的颜色梯度值；S303、加载纹理EDepthTex，通过纹理映射，读取EDepthTex中当前片段点的深度信息；计算当前片段点和视点的距离，将此距离与深度信息进行比较，如果此距离大于深度距离，则当前片段点为后向点；S304、如果是后向点，则计算该点与样本点之间距离值；反之，进一步判断当前片段点是否为样本点，如果是样本点，则读取纹理LuminTex中该点处的颜色值及纹理Lumin_gradientTex中该点处的颜色梯度值；反之，表明当前片段点为前向点，则读取纹理IRegTex中当前片段点与样本点之间的欧氏距离；步骤四，Hermite插值神经网络回归模型的构建及训练：将样本点p_i与其子分区内点p_j之间的欧氏距离x_ij、p_i与p_j所对应的后向点p_b,j之间的欧氏距离y_ij分别作为节点的输入层，将样本点处的颜色值、颜色梯度值作为节点的输出层，辐射度参数作为输入层与隐含层之间的权值；构造一个包含3层隐含层的Hermite插值神经网络模型；并利用样本集对模型进行训练；步骤五，最终渲染：使用训练后的Hermite插值神经网络对面部各子分区次表面散射效果进行拟合，得到人脸面部各点的颜色值。