基于运动信息的视频帧重要性评估方法

摘要

本发明公开了一种基于运动信息的视频帧重要性评估方法，它属于视频通信技术领域，主要解决现有技术需要原始图像和解码图像，所需运算资源过多，且依赖编码端的问题。其实现步骤是：首先，通过解码器解码部分码流得到宏块编码模式和运动信息；然后，按照宏块编码模式对宏块进行分类，再根据不同类型宏块的运动特征，利用运动信息估计不同类型宏块的重要性；最后，根据图像组GOP的长度、当前帧在图像组GOP中的序号以及不同类型宏块的重要性，得到视频帧的重要性。本发明与现有的均方误差MSE方法相比不需要原始图像和解码图像，且评估结果一致，可用于视频编解码系统和视频传输系统。

主权项

1.一种基于运动信息的视频帧重要性评估方法，包括如下步骤：(1)对接收到的包含宏块编码模式和运动信息的码流进行解码；(2)根据解码得到宏块编码模式将宏块分为三类：帧间编码宏块、帧内编码宏块和skip宏块；(3)根据三种宏块的运动特征，利用解码得到的运动信息估计宏块的重要性：(3.1)估计帧间编码宏块的重要性：设MV_x和MV_y分别表示帧间编码宏块中4×4子宏块运动矢量MV的x分量和y分量，则4×4子宏块运动矢量幅度值为：$\mathrm{MVMod}=\sqrt{{\mathrm{MV}}_x^2+{\mathrm{MV}}_y^2}$计算帧间编码宏块的重要性，即当前帧间编码宏块中16个4×4子宏块运动矢量幅度值之和：$D_{\mathrm{int\; er},i}=\underset{j=1}{\overset{16}{\Sigma }}{\alpha }_{\mathrm{int\; er}}·{\mathrm{MVMod}}_{i,j}$其中i表示当前帧间编码宏块的序号，j表示4×4子宏块在当前帧间编码宏块中的序号，MVMod_i，j表示第i个帧间编码宏块中第j个4×4子宏块的运动矢量幅度值，α_inter表示帧间编码模式经验因子，建议取值为0.05；(3.2)估计帧内编码宏块的重要性：帧内编码宏块分为P帧和I帧的帧内编码宏块，对于P帧的帧内编码宏块，将它所在P帧中帧间编码的4×4子宏块的最大运动矢量幅度值作为它的运动矢量幅度值，则P帧的帧内编码宏块的重要性为：D_intra，k＝α_intra·max(MVMod_i，j)其中k表示当前帧内编码宏块的序号，α_intra表示帧内编码模式的经验因子，建议取值0.2，max(MVMod_i，j)表示当前P帧中帧间编码4×4子宏块运动矢量幅度的最大值：对于I帧的帧内编码宏块，将I帧正方形搜索区域边长的倍作为它的运动矢量幅度值，则I帧中帧内编码宏块的重要性为：$D_{\mathrm{int\; ra},l}=\sqrt{2}·{\alpha }_{\mathrm{int\; ra}}·F$其中l表示当前帧内编码宏块的序号，α_intra表示帧内编码模式的经验因子，建议取值为0.2，F表示I帧正方形搜索区域的边长；(3.3)估计skip宏块的重要性：根据当前帧中skip宏块的数目，分两种情况估计当前帧中skip宏块的重要性：$D_{\mathrm{skip},m}=\left\{\begin{array}{cc}{\alpha }_{\mathrm{skip}}·\mathrm{MVM}{\mathrm{od}}_m& d\ge \mathrm{Thd}\\ {\alpha }_{\mathrm{skip}}^{\prime }& d<\mathrm{Thd}\end{array}\right.$其中m表示当前skip宏块的序号，d表示当前帧中skip宏块的个数，α_skip和α′_skip表示skip编码模式经验因子，建议取值分别为0.1和0.03，MVMo_dm表示第m个skip宏块的运动矢量幅度值，Thd表示门限值，建议取值60；(4)估计视频帧的重要性：视频帧的重要性由当前部分和扩散部分两部分组成，当前部分是所有宏块的重要性之和，因为P帧有帧间编码宏块、帧内编码宏块和skip宏块，所以P帧重要性的当前部分为所有帧间编码宏块、帧内编码宏块和skip宏块重要性之和，而I帧只有帧内编码宏块，所以I帧重要性的当前部分为所有帧内编码宏块重要性之和，扩散部分是当前部分的γ倍；如果当前帧为P帧，则当前帧的重要性为：$D_{C,n}=(1+\gamma )·(\underset{i=1}{\overset{a}{\Sigma }}{D}_{\mathrm{int\; er},i}+\underset{k=1}{\overset{b}{\Sigma }}{D}_{\mathrm{int\; ra},k}+\underset{m=1}{\overset{d}{\Sigma }}{D}_{\mathrm{skip},m})$其中n表示当前P帧的序号，a表示当前P帧中帧间编码宏块的个数，i表示帧间编码宏块的序号，D_inter，i表示当前P帧中第i个帧间编码宏块的重要性，b表示当前P帧中帧内编码宏块的个数，k表示帧内编码宏块的序号，D_intra，k表示当前P帧中第k个帧内编码宏块的重要性，d表示当前P帧中skip宏块的个数，m表示skip宏块的序号，D_skip，m表示当前P帧中第m个skip宏块的重要性，γ表示扩散因子，γ＝N-k-1，N表示图像组GOP长度；如果当前帧是I帧，则当前帧的重要性为：$D_{C,n}=(1+\gamma )·\underset{l=1}{\overset{c}{\Sigma }}{D}_{\mathrm{int\; ra},l}$其中n表示当前I帧的序号，c表示当前I帧中帧内编码宏块的个数，l表示帧内编码宏块的序号，D_intra，k表示当前I帧中第l个帧内编码宏块的重要性，γ表示扩散因子，γ＝N-k-1，N表示图像组GOP长度；