人脸视频压缩方法

摘要

一种人脸视频压缩方法，属于多媒体通信时人脸视频数据压缩技术领域，其特征在于，在发送端利用人脸模型进行视频中人脸的定位和参数化表征，得到由光照参数向量、姿态参数向量和形状和外观联合参数向量表示的人脸模型参数向量，并进行基于给定欲保留参数的帧样本个数时的全局最小参数误差和模型参数总比特小于给定上限的约束，把最优自适应帧间压缩后的人脸模型参数向量发送给接收端再利用独立分片线性插值方法进行人脸模型参数向量的恢复，经过人脸形状计算和经过恢复的人脸外观，得到原图像，在大大提高人脸视频压缩比的同时保证了最优重建质量，在时域上最大限度除去人脸视频中的冗余，从而提高了通信资源利用率。

主权项

一种人脸视频压缩方法，其特征在于，是一种在移动视频通话时对前后帧的人脸模型参数进行时域冗余度压缩的人脸模型的视频编码方法，是在移动视频通话系统的发射端和接收端中依次按以下步骤实现的：步骤(1)，系统初始化，使用至少包括云存储、介质存储、闲时传输三种方法之一的任何一种方法在发射端和接收端各建立一个统一的人脸模型，步骤如下：步骤(1.1)，采集D帧人脸图像，构建一个人脸图像训练数据库，包括：人脸训练图像集和人脸训练参数集，前者存储供训练用的D帧人脸图像，后者存储每帧人脸图像的相关训练数据，人脸训练参数，也称人脸模型参数，包括：人脸形状向量S_i，i为所述D帧人脸图像的序号，i＝{1，2，...，i，...，D}，D为有限正整数，还有人脸平均形状向量姿态参数向量(v_i，θ_i)，表示人脸在视频帧中的位置和角度，是用普鲁克分析方法Procrustes Analysis对所述人脸形状向量S_i和人脸平均形状向量用平移和旋转变换校正后得到的平移量v_i和旋转角θ_i，人脸形状参数向量b_si，表示至少包括轮廓、五官的位置、大小、形状和动作在内的人脸特征，人脸外观向量g_i，是以所述人脸平均形状向量为目标，通过分片仿射拉伸Piecewise Affine Warping方法使所述人脸形状向量S_i所定义的特征点与人脸平均形状向量所定义的同一个特征点位置相吻合从而得到的一幅由人脸图像中人脸部分的像素值所拉成的向量人脸平均外观向量是对人脸训练参数集中所有人脸外观向量进行平均所得到的，光照参数向量(μ_i，σ_i)，与拍摄时的光照条件、亮度、对比度和光照角度有关：${\mu }_i=mean\left(g_i\right),{\sigma }_i=\mathrm{var}\left(g_i\right),{\tilde{g}}_i=(g_i-{\mu }_i)/{\sigma }_i,$是对所述人脸外观向量g_i做像素强度归一化后得到的光照归一化外观向量，μ_i是归一化过程得到的平均像素强度，mean为平均值，σ_i是归一化过程得到的像素强度标准差，var为标准差，步骤(1.2)，按以下方法计算步骤(1.1)中的各人脸训练参数：所述人脸形状向量S_i，是对第i帧人脸图像用Regularized Landmark Mean‑Shift人脸定位算法所得到的s_i＝{(x_i1，y_i1)，...，(x_ij，y_ij)，...，(x_iF，y_iF)}，其中：j为特征点序号，j＝{1，2，...，j，...，F}，F为特征点数目，所述人脸平均形状向量为：$\bar{s}=\{(\underset{j=1}{\overset{D}{\Sigma }}{x}_{j1}/D,\underset{j=1}{\overset{D}{\Sigma }}{y}_{j1}/D),...,(\underset{j=1}{\overset{D}{\Sigma }}{x}_{ji}/D,\underset{j=1}{\overset{D}{\Sigma }}{y}_{ji}/D),...,(\underset{j=1}{\overset{D}{\Sigma }}{x}_{jF}/D,\underset{j=1}{\overset{D}{\Sigma }}{y}_{jF}/D)\},$所述形状向量参数其中：P_s是对所有的所述人脸形状向量S_i，i＝{1，...，i，...，D}用主成分分析方法Principal Component Analysis得到的人脸形状变化模式矩阵，为一个列正交矩阵，每一列表示人脸的一种整体运动模式，与反映人脸姿态及外观变化的人脸特征的坐标的整体运动模式，发射端对任一帧i实时输入的人脸图像，按以下步骤计算最终需压缩的人脸模型参数向量p_i：$p_i=\{(v_i,{\theta }_i),({\mu }_i,{\sigma }_i),c_i\},c_i=Q_i^T(b_i-\bar{b}),$步骤(2)，发射端对于实时输入的所述D帧人脸图像中的任选帧i按下式计算最终需压缩的某i个人脸模型参数向量p_i：p_i＝{(v_i，θ_i)，(μ_i，σ_i)，c_i}，其中c_i为任选帧的联合参数向量，其中：b_si为第i帧人脸形状参数向量，为第i帧人脸外观参数向量，b_i为第i帧人脸形状与外观联合参数向量，为D帧人脸图像的平均人脸形状与外观联合参数向量，$\bar{b}=\underset{i=1}{\overset{D}{\Sigma }}{b}_i/D,$P_g为对所述人脸训练参数集中的所有人脸外观向量g_i进行主成分分析Principal Component Analysis而得到的人脸外观变化模式矩阵，为一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体变化模式，Q是根据对所述人脸训练参数集中的人脸形状参数向量b_si和人脸外观参数向量计算得到的人脸形状和外观联合参数向量b_i，i＝{1，...，i，...，D}进行主成分分析Principal Component Analysis而形成的人脸形状和外观联合参数变化矩阵，为一个列正交矩阵，每一列表示所述人脸形状参数向量b_si和人脸外观参数向量的一种联合变化模式；步骤(3)，对于步骤(2)得到的人脸模型参数向量p_i依次按以下步骤进行最优自适应帧间压缩，满足给定的模型参数压缩比目标，并把压缩后的人脸模型参数向量p′_i发送给接收端；步骤(3.1)，设定：M为在设定时间段内输入并缓存的人脸模型参数向量p的缓存帧数，用p_i表示，i＝{1，...，i，...，M}为人脸模型参数向量p的序号，M在数值上等于人脸图像帧数D，N为欲保留的缓存帧数，M＞N，步骤(3.2)，对所述M个人脸模型参数向量p按以下步骤进行最优多边形近似插值，以便得到N个样本时全局的所有人脸模型参数v、θ、μ、σ、c的全局参数误差最小，步骤如下：步骤(3.2.1)，在所述M个缓存帧中，保留首、尾两个缓存帧，则每两个相邻人脸模型参数向量间在线性插值后跳过的样本个数为步骤(3.2.2)，根据步骤步骤(3.2.1)得到的结果对经过线性插值后得到的所有人脸模型参数向量p，对其中v、θ、μ、σ、c共五个人脸模型参数中的每一个，构筑其与任意一个相邻的人脸模型参数向量中同一类别的人脸模型参数之间通过同样的线性插值方式得到的近似结果与原数据之间的误差，用误差的平方和表示为e_i，i′，组成误差平方和矩阵E＝[e_i，i′]，1≤i≤M，1≤i′≤M，若：i′≥i，则e_i，i′＝0，步骤(3.2.3)，定义方矩阵H＝[h_i，i′]，1≤i≤M，i≤i′≤M，h_i，i′表示把步骤(3.2.2)中第1个人脸模型参数到第i个人脸模型参数之间分成k段再进行所述同样的线性插值方式得到的最小的逐点误差平方和，1≤i≤M，1≤i′≤M，i，i′为k段内的任意二个人脸模型参数向量中同一类别人脸模型参数的对应的参数点，且i′≥i时，h_i，i′＝∞，步骤(3.2.4)，定义矩阵F＝[f_i′，i]，1≤i≤M，1≤i′≤M，i′＜i，f_i′，i表示在步骤(3.2.3)中在把第1个到第i个人脸模型参数分成k段进行线性插值得到最小的逐点误差平方和时，第i个人脸模型参数之前的原始人脸模型参数序号，且i′≥i时，f_i′，i＝‑1，步骤(3.2.5)，依次按以下步骤计算任意一个人脸模型参数向量p_i中任意一个人脸模型参数在得到给定欲保留的缓存帧数N时的全局最小人脸模型参数误差及其序号f_l，m，设定：先后次序：段号m从1～m_max，l从1～l_max，段号l为不保留的M‑N个缓存帧样本的各段的序号，循环执行以下操作：把M个人脸模型参数向量分为从第1个人脸模型参数向量开始的N‑1段欲保留的缓存帧数和从第m_max+1个人脸模型参数向量开始的M‑N段不保留的人脸模型参数向量两大段，分别计算出对应于每个人脸模型参数向量中各类人脸模型参数点的误差平方和，再求出两者之和的最小值a_l，m，即得到对应于每个人脸模型参数的全局最小参数误差a_l，m及其序号f_l，m；$a_{l,m}=\underset{m\le i\le m_{max}}{min}(e_{i,i^{\prime }}+h_{i^{\prime \prime },i}),$下标i，i′为N‑1段内的二个参数点，m＝{1，2，...，N‑1}，i≠i′，下标i″，i为M‑N段内的二个参数点，l＝{m_max+1，...，M}，i≠i″，arg为对段中的点i取值，m_max＝N‑1，l_max＝M‑1，全部所述各类人脸模型参数的全局最小误差α_l，m的向量为A_L，M，步骤(3.2.6)，根据步骤(3.2.5)的结果，构造一个人脸模型参数误差矩阵R，简称参数误差矩阵，行数为所述人脸模型参数向量中人脸模型参数的个数，每一行对应一个人脸模型参数，步骤(3.2.7)，依次按以下步骤，按照任意可能的量化比特数与丢帧数的组合，计算在使用所选组合时该组合的模型参数在所述缓存帧中所造成的参数误差的和：步骤(3.2.7.1)，当所述参数误差矩阵R的每一行对应一个精度为b比特的一个所述人脸模型参数向量p_i中的一个人脸模型参数时，把每一行分为17块，每块对应一个量化比特数，共对应0～16比特共17个量化比特数,步骤(3.2.7.2)，在所述多边形近似插值公式下，步骤(3.2.7.1)中每一个所述的块对应于各类人脸模型参数下的量化比特数和丢帧数，构成所述参数误差矩阵R的各个元素，步骤(3.2.7.3)，遍历所述参数误差矩阵R中的各个元素，得到对应的量化比特数和丢帧个数，计算对应的经过所述的多边形近似插值方式得到的所述人脸模型参数与原始的所述人脸模型参数的误差，用∈(p_i)表示，对于不同物理意义的所述人脸模型参数的所述误差进行下述人为对p_i进行扰动Δp_i后再测量重建图像的误差，用∈(p_i+Δp_i)表示，得到所述人脸模型参数误差矩阵R的近似重构误差矩阵∈所需要的加权参数其中：$\frac{\partial \in }{\partial p_i}\approx \frac{\Delta \in }{{\mathrm{\Delta p}}_i}=\frac{\in \left(p_i\right)-\in (p_i+{\mathrm{\Delta p}}_i)}{{\mathrm{\Delta p}}_i},$对所述人脸模型参数误差矩阵R中的每一行使用上述加权即得到近似重构误差矩阵∈，步骤(3.2.7.4)，根据步骤(3.2.7.3)得到的近似重构误差矩阵∈，就得到对应的由量化比特数和丢帧个数相组合成的不同的组合方案，步骤(3.2.8)，按以下步骤生成一个与所述近似重构误差矩阵∈大小相同的比特开销矩阵W，记录所有人脸模型参数的所有组合方案的比特开销：步骤(3.2.8.1)，设定：所述比特开销矩阵W：行数为所述人脸模型参数的个数，列数等于欲保留的缓存帧数N，行序号为对应的人脸模型参数的序号，列为所述量化比特数b的17个块，矩阵元素代表第i个人脸模型参数采用量化比特数b和丢帧个数M‑N的组合方案时的比特开销，步骤(3.2.8.2)，对于第i个人脸模型参数向量p_i，在整段传输过程中产生的总信令开销：第1个比特，表示所述人脸模型参数向量p_i是否需要传输；1表示需要传输，0表示不需要传输，第2～10个比特表示每个需要传输的人脸模型参数向量p_i的4个量化比特数和欲保留的所述人脸模型参数的5个人脸模型参数向量的样本数，分别表示v、θ、μ、σ、c，步骤(3.2.8.3)，第i个人脸模型参数向量p_i在整个传输过程中产生的总数据开销：欲保留的人脸参数帧样本个数N与对应的人脸模型参数的量化比特数b的乘积，步骤(3.2.8.4)，对所述比特开销矩阵W中的所有矩阵元素，按步骤(3.2.8.1)‑步骤(3.2.8.3)分别计算其对应的总信令的和总数据的开销，输入到所述矩阵元素中，步骤(3.2.9)，依次按以下步骤采用时间开销较小的近似启发式算法求出人脸模型参数向量最小化的总比特开销作为总的实际比特开销：步骤(3.2.9.1)，对所述近似重构误差矩阵∈进行分行排序：步骤(3.2.9.1.1)，对每一行的各个所述近似重构误差从左到右依次递减排序得到一个重排近似误差矩阵简称矩阵并记录排序前各所述近似重构误差所对应的各元素的序号在排序后的对应位置，所述元素是指所述人脸模型参数向量中的一个人脸模型参数的一个所述组合方案，再根据所述排序前后序号的对应关系把所述比特开销矩阵W的每一行重新排列构成一个对应于各所述人脸模型参数的元素值的重排比特开销矩阵简称矩阵步骤(3.2.9.2)，记录所述矩阵中每一行元素从右到左的元素值的依次递增的误差增量，步骤(3.2.9.3)，以所述矩阵中每一行元素最右端的元素作为起始元素，按照当前的组合方案中选取的量化比特数与丢帧数计算出这种组合所需要的总比特开销，步骤(3.2.9.4)，若所述总比特开销大于给定的上限值，则根据当前选取的元素向左选取一个误差增量最小的元素，步骤(3.2.9.5)，若步骤(3.2.9.4)中所选定的元素仍然满足不了总比特开销小于给定上限的要求，则根据当前选定的元素，对另一个更向左的元素重复步骤(3.2.9.4)，直到满足要求为止；步骤(3.2.9.6)，根据步骤(3.2.9.5)的结果，进行所述人脸模型参数向量p_i的压缩，把结果发送给接收端；步骤(4)，接收端根据发送端提供的量化比特数和丟帧数的组合方案以及压缩后的人脸模型参数向量p′_i中各类人脸模型的参数，采用同样方式的线性插值方法进行人脸模型参数向量p_i的恢复，步骤(5)，依次按以下步骤进行人脸视频图像重建：步骤(5.1)，把所述的人脸形状和外观联合参数变化矩阵Q分为行数等于所述形状参数向量b_s元素个数的Q_s和行数等于所述外观参数向量b_g的元素个数的Q_g，步骤(5.2)，按下式计算人脸形状向量S和人脸外观向量g：$S^S=\bar{s}+P_s{Q}_{s}c,g=\bar{g}+P_g{Q}_{g}c,$步骤(5.3)，按下式对人脸外观向量g进行光照反归一化，恢复原图光照，得到原图光照的人脸外观向量g：g＝σg+μ，步骤(5.4)，通过分片仿射拉伸的方法，将原图光照的人脸外观向量g从由人脸平均形状向量所表示的特征点坐标位置拉伸至由人脸形状向量s所表示的特征点坐标位置。