低延迟视频编码中时域率失真优化方法

摘要

本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。本发明采用循环的图像组(group of picture，GOP)结构，每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ω_a和全局拉格朗日乘子λ_g。最后，本发明根据传播因子ω_a，仅通过对全局拉格朗日乘子λ_g的调整实现时域率失真优化。

主权项

低延迟视频编码中时域率失真优化方法，其特征在于，包括如下步骤：S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有如下特性：低延迟视频编码中每个GOP中第一帧，即rPOC＝1的帧仅考虑前一帧对其的影响，每个GOP内的其他三帧，即rPOC＝2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响，如图2所示；S2、建立当前编码单元U_i的时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为U_j的期望失真，o_i表示第i个编码单元的编码参数，R_i(o_i)表示第i个编码单元的码率，D_i为当前编码单元的失真，表示第j个受到当前编码单元U_i影响的后续编码单元的失真，λ_g为全局拉格朗日乘子，^*代表编码模式为可以得到的最优编码参数，定义当前编码单元U_i为帧f_i中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A；S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元U_i影响的后续编码单元的期望失真具体为：rPOC＝1的帧中的编码单元U_i+4m+1的期望失真为E(D_i+4m+1)，rPOC＝2的帧中的编码单元U_i+4m+2的期望失真为E(D_i+4m+2)，rPOC＝3的帧中的编码单元U_i+4m+3的期望失真为E(D_i+4m+3)，rPOC＝4的帧中的编码单元U_i+4m+4的期望失真为E(D_i+4m+4)，其中，K_i+4m+1为常数，P_i+4m,i+4m+1代表在帧f_i+4m+1中以f_i+4m为参考帧的块的比例，其中，K_i+4m+2为常数，P_{i+4m+1,i+4m+2}代表在帧f_i+4m+2中以f_i+4m+1为参考帧的块的比例，P_i+4m,i+4m+2代表在帧f_i+4m+2中以f_i+4m为参考帧的块的比例，其中，K_i+4m+3为常数，P_{i+4m+2,i+4m+3}代表在帧f_i+4m+3中以f_i+4m+2为参考帧的块的比例，P_i+4m,i+4m+3代表在帧f_i+4m+3中以f_i+4m为参考帧的块的比例，K_i+4m+4为常数，P_{i+4m+3,i+4m+4}代表在帧f_i+4m+4中以f_i+4m+3为参考帧的块的比例，P_i+4m,i+4m+4代表在帧f_i+4m+4中以f_i+4m为参考帧的块的比例，m＝0,1,2,...,M表示第m个GOP，共有M个GOP，o¹上标“1”表示前一帧为参考帧，o²上标“2”表示前向最近key帧为参考帧；S4、将所述S3中的受到当前编码单元U_i影响的后续编码单元的期望失真代入S2所述当前编码单元U_i的时域率失真优化目标方程，并删除所有常数项K_*，进行简化，具体简化为：当前编码单元U_i属于key帧(rPOC＝4)时，则简化为：$\underset{o_i}{min}\left(\begin{array}{c}{D}_i\left(o_i\right)+{\lambda }_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Sigma }}{P}_{j,j+1}·D_{j+1}(o_i,o_{i+1}^{*},...,o_{j+1}^1)\\ +\underset{m=0}{\overset{M-1}{\Sigma }}\underset{s=2}{\overset{4}{\Sigma }}{P}_{i+4m,i+4m+s}·D_{i+4m+s}(o_i,o_{i+1}^{*},...,o_{i+4m}^{*},o_{i+4m+s}^2)\end{array}\right),$当前编码单元U_i所在非key帧的rPOC分别为1、2、3时，则简化为：$\underset{o_i}{min}\left(\begin{array}{c}{D}_i\left(o_i\right)+{\lambda }_g{R}_i\left(o_i\right)+\underset{j=i}{\overset{N}{\Sigma }}{P}_{j,j+1}·D_{j+1}(o_i,o_{i+1}^{*},...,o_{j+1}^1)\\ +\underset{m=0}{\overset{M-1}{\Sigma }}\underset{s=2}{\overset{4}{\Sigma }}{P}_{i+4t+4-rPOC,i+4t+4-rPOC+s}·D_{i+4t+4-rPOC+s}(o_i,o_{i+1}^{*},...,o_{i+4t+4-rPOC}^{*},o_{i+4t+4-rPOC+s}^2)\end{array}\right);$S5、求S4中所述目标方程中的当前编码单元U_i及后续编码单元的失真，具体步骤为：β_i+4m,i+4m+1表示编码单元U_i+4m对U_i+4m+1的影响程度的经验值，β_i+4m,i+4m+1＝α·F(θ_i+4m,i+4m+1)，且F(θ)为经验值，原始编码单元U_i+4m与U_i+4m+1的运动补偿误差，α为常数，β_{i+4m+1,i+4m+2}表示编码单元U_i+4m+1对U_i+4m+2的影响程度的经验值，β_{i+4m+1,i+4m+2}＝α·F(θ_{i+4m+1,i+4m+2})，且原始编码单元U_i+4m+1与U_i+4m+2的运动补偿误差，β_i+4m,i+4m+2表示编码单元U_i+4m对U_i+4m+2的影响程度的经验值，β_i+4m,i+4m+2＝α·F(θ_i+4m,i+4m+2)，且原始编码单元U_i+4m与U_i+4m+2的运动补偿误差，β_{i+4m+2,i+4m+3}表示编码单元U_i+4m+2对U_i+4m+3的影响程度的经验值，β_{i+4m+2,i+4m+3}＝α·F(θ_{i+4m+2,i+4m+3})，且原始编码单元U_i+4m+2与U_i+4m+3的运动补偿误差，β_i+4m,i+4m+3表示编码单元U_i+4m对U_i+4m+3的影响程度的经验值，β_i+4m,i+4m+3＝α·F(θ_i+4m,i+4m+3)，且原始编码单元U_i+4m与U_i+4m+3的运动补偿误差，β_{i+4m+3,i+4m+4}表示编码单元U_i+4m+3对U_i+4m+4的影响程度的经验值，β_{i+4m+3,i+4m+4}＝α·F(θ_{i+4m+3,i+4m+4})，且原始编码单元U_i+4m+3与U_i+4m+4的运动补偿误差，β_i+4m,i+4m+4表示编码单元U_i+4m对U_i+4m+4的影响程度的经验值，β_i+4m,i+4m+4＝α·F(θ_i+4m,i+4m+4)，且原始编码单元U_i+4m与U_i+4m+4的运动补偿误差；S6、将S5中所述当前编码单元U_i及后续编码单元的失真代入S4中所述当前编码单元U_i的时域率失真优化目标方程，得到所述ω_a为传播因子，具体为：当前编码单元U_i属于key帧时，${\omega }_a=\underset{m=0}{\overset{M}{\Sigma }}\left\{\begin{array}{c}\underset{k=0}{\overset{3}{\Sigma }}(\underset{t=0}{\overset{k}{\Sigma }}{P}_{i+4m,i+4m+k+1-t}{\beta }_{i+4m,i+4m+k+1-t}·\underset{j=i+4m+k+1-t}{\overset{i+4m+k}{\Pi }}{P}_{j,j+1}{\beta }_{j,j+1})\\ ·\underset{s=0}{\overset{m-1}{\Pi }}(\underset{t=0}{\overset{3}{\Sigma }}{P}_{i+4s,i+4s+4-t}{\beta }_{i+4s,i+4s+4-t}·\underset{j=i+4s+4-t}{\overset{i+4s+3}{\Pi }}{P}_{j,j+1}{\beta }_{j,j+1})\end{array}\right\},$当前编码单元U_i属于非key帧时，$\begin{array}{c}{\omega }_a=\underset{t=i}{\overset{i+3-rPOC}{\Sigma }}\underset{j=i}{\overset{t}{\Pi }}{P}_{j,j+1}{\beta }_{j,j+1}\\ +\underset{m=1}{\overset{M}{\Sigma }}\left\{\begin{array}{c}\underset{k=0}{\overset{3}{\Sigma }}(\underset{t=0}{\overset{k}{\Sigma }}{P}_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}{\beta }_{i+4-rPOC+4m,i+4-rPOC+4m+k+1-t}·\underset{j=i+4-rPOC+4m+k+1-t}{\overset{i+4-rPOC+4m+k}{\Pi }}{P}_{j,j+1}{\beta }_{j,j+1})\\ ·\underset{s=0}{\overset{m-1}{\Pi }}(\underset{t=0}{\overset{3}{\Sigma }}{P}_{i+4s+4-rPOC,i+4s+8-rPOC-t}{\beta }_{i+4s+4-rPOC,i+4s+8-rPOC-t}·\underset{j=i+4s+8-rPOC-t}{\overset{i+4s+7-rPOC}{\Pi }}{P}_{j,j+1}{\beta }_{j,j+1})·\left(\underset{j=i}{\overset{i+3-rPOC}{\Pi }}{P}_{j,j+1}{\beta }_{j,j+1}\right)\end{array}\right\}\end{array}$，其中，β＝α·F(θ)，且m＝1,2,3,...,M，M为一个测试序列的GOP总数；S7、将全局拉格朗日乘子λ_g和S6所述传播因子ω_a代入进行时域率失真优化，初始化当前帧的λ_g为λ_HM，λ_HM为标准HEVC中设定的当前帧的拉格朗日乘子；S8、依次对当前帧中A个编码单元，进行步骤S2‑S7的所述的率失真优化处理；S9、对S7所述全局拉格朗日乘子λ_g进行更新，更新得到其中，A代表一帧中所有的编码单元，为U_i的时域累积失真；S10、对S1所述低延迟视频编码中其他帧进行步骤S2‑S9的所述率失真优化处理。