一种采用线性规划模型的视频错误隐藏方法

摘要

本发明公开了一种采用线性规划模型的视频错误隐藏方法，属于视频图像处理领域，包括获得待修复宏块的边界像素、获得运动矢量集、获得备选宏块集和边界集、获得备选宏块集和边界集、利用线性规划模型，获得加权权值五个步骤。本发明采用线性规划的方法得到加权权值，对备选宏块的加权结果是最优的，且能有效平滑错误区域，而不影响正确区域，并综合考虑了待修复宏块周围运动矢量和周围像素的相关性，对视频编码时的子宏块划分方式没有要求。本发明的处理速度适中，能够提升修复后图像的主观质量和客观质量。

主权项

1.一种采用线性规划模型的视频图像错误隐藏方法，其特征在于：包括以下几个步骤：步骤一：获得待修复宏块的边界像素：解码后的图像存储在缓冲区中，利用本帧待修复宏块所在位置，计算待修复宏块的边界像素所在位置，并从缓冲区中将像素值取出，得到待修复宏块的边界像素；步骤二：获得运动矢量集：本帧中待修复宏块与其上、下、左、右四个方向的正确宏块邻接，正确宏块被拆分为多个正确子宏块，而每个邻接正确子宏块均具有运动矢量，获得所有邻接子宏块的运动矢量及其对应的参考帧，并去除其中重复的运动矢量及参考帧，构成运动矢量集；步骤三：获得备选宏块集和边界集：当给定一个运动矢量和参考帧时，在其参考帧中得到与运动矢量和该参考帧对应的整宏块，整宏块的获取方式与解码端利用运动矢量和参考帧得到预测宏块的方式相同，对于步骤二得到的运动矢量集中的每一个运动矢量和参考帧，均能得到与之对应的整宏块，这些整宏块构成备选宏块集，分别记录下各个参考帧中每一个整宏块的边界像素，所有整宏块的边界像素构成边界集；步骤四：对待修复宏块和整宏块进行拆分：对备选宏块集中的整宏块进行拆分，设备选宏块集中有N个备选整宏块，将备选宏块集中的每个备选整宏块拆分为(16×16)/(m×m)个m×m备选子宏块，各个整宏块中处于相同位置的备选子宏块构成备选子宏块集，则共有(16×16)/(m×m)个备选子宏块集，每个备选子宏块集中具有N个处于相同位置的备选子宏块，将各备选子宏块按行进行标号，每个备选整宏块拆分后处于相同位置的备选子宏块的标号是一致的；备选子宏块集的标号与该备选子宏块集中的备选子宏块的标号是相同的；在以子宏块为单位修复待修复宏块时，将待修复宏块进行拆分，拆分方法与备选宏块集中的整宏块的拆分方法一致，拆分为(16×16)/(m×m)个m×m大小的待修复子宏块；将待修复子宏块按行进行标号，标号方法与备选子宏块的标号方法完全相同；拆分后共存在3种待修复子宏块，第一种待修复子宏块与两个正确的边界邻接；第二种待修复子宏块与一个正确的边界邻接，并且与另一个同类型的待修复子宏块邻接；第三种待修复子宏块不与正确的边界邻接，但与另外三个同类型的待修复子宏块邻接；步骤五：利用线性规划模型，获得加权权值：(1)第一种待修复子宏块的修复方法：无论何种宏块拆分类型，拆分后处于四个角上的待修复子宏块均属于第一种待修复子宏块，并且只有四个角上的待修复子宏块属于此类型；并标记左上角的待修复子宏块为a号待修复子宏块；PB_a表示a号待修复子宏块的边界像素PB_a，a号备选子宏块集中子宏块的边界为P_ak，k＝1，2，...，N，将备选子宏块集中备选子宏块的边界像素P_ak进行加权，得到合成边界，选择使合成边界与PB_a之间的SAD达到最小的权值；待优化问题的目标函数为：$\min \mathrm{imize}\underset{B_a}{\Sigma }|{\mathrm{PB}}_a(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_{\mathrm{ak}}(i,j)|$其中，B_a表示边界区域，是像素坐标的集合，区域宽度为n，B_a中包含全部边界像素位置；坐标(i，j)表示B_a中各个像素的坐标；PB_a(i，j)为a号待修复子宏块(i，j)位置的边界像素值；P_ak(i，j)，k＝1，2，...，N为a号备选子宏块集中第k个子宏块(i，j)位置的边界像素值；有N个a号备选子宏块，有N个备选子宏块边界像素P_ak，需要N个权值ω₁，ω₂，...，ω_N对这N个备选子宏块边界P_ak进行加权其中权值ω₁，ω₂，...，ω_N服从两个约束：ω₁，ω₂，...，ω_N和为1；ω₁，ω₂，...，ω_N均大于等于0：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k=1$ω_k≥0，k＝1，2，...，N当目标函数达到极小化时，得到一组权值为利用该组权值将a号备选子宏块集中的子宏块进行加权，最终得到用于修复的a号子宏块：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k*P_{\mathrm{ambk}}(i,j)$其中P_ambk代表a号备选子宏块集中第k个备选子宏块；然后将目标函数线性化，将每一个绝对值替换为一个待优化的变量，实现目标函数线性化：$t_s=|{\mathrm{PB}}_a(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_{\mathrm{ak}}(i,j)|$等价于$|{\mathrm{PB}}_a(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_{\mathrm{ak}}(i,j)|{\le t}_s$等价于${\mathrm{PB}}_a(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_{\mathrm{ak}}(i,j){\le t}_s$$-t_s\le {\mathrm{PB}}_a(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_{\mathrm{ak}}(i,j)$t_s表示人为引入的待优化的变量，将目标函数转变为线性函数：minimize∑t_s采用相同的方法完成其他同类型的第一种子宏块的修复；(2)第二种待修复子宏块的修复方法：第二种待修复子宏块的特征为与一个正确的边界邻接，并且与另一个同类型的待修复子宏块邻接；共同考虑两个待修复子宏块的修复，同时优化两组权值，以分别加权两个备选子宏块集中的备选子宏块；标记这两个待修复子宏块为u及v号子宏块；对于u、v号待修复子宏块，首先考虑两者的边界与正确边界的匹配程度，之后考虑两个待修复子宏块邻接区域的匹配程度，匹配程度均以SAD度量，得到u、v号备选子宏块集中子宏块的边界，以及u、v号待修复子宏块的边界，得到u、v号备选子宏块集中子宏块的邻接区域，构成邻接区域集，目标函数表示为：$\min \mathrm{imize}$$\underset{B_u}{\Sigma }|{\mathrm{PB}}_u(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{uk}}{P}_{\mathrm{uk}}(i,j)|+$$\underset{B_v}{\Sigma }|{\mathrm{PB}}_v(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{vk}}{P}_{\mathrm{vk}}(i,j)|+$$\alpha \underset{D_{u-v}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{uk}}{P}_{\mathrm{cuk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{vk}}{P}_{\mathrm{evk}}(i,j)|+$$\alpha \underset{D_{v-u}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{vk}}{P}_{\mathrm{cvk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{uk}}{P}_{\mathrm{euk}}(i,j)|$式中，B_u、B_v表示u、v号待修复子宏块的边界区域，D_u-v、D_v-u分别表示u、v号待修复子宏块与v、u号待修复子宏块的邻接区域；PB_u、PB_v分别为u、v号待修复子宏块的边界；P_uk、P_vk分别为u、v号备选子宏块集中第k个备选子宏块的边界，P_cuk、P_cvk分别为u、v号备选子宏块集中第k个备选子宏块的内部邻接区；P_euk、P_evk分别为u、v号备选子宏块集中第k个备选子宏块的外部邻接区；目标函数的前两个求和分别计算由u、v号备选子宏块的边界加权得到的合成边界与待修复子宏块边界的边界SAD；后两个求和分别计算u、v号备选子宏块邻接区域的邻接SAD；参数α用于调节边界SAD与邻接SAD的相对比例；ω_uk，k＝1，2，…，N；ω_vk，k＝1，2，…，N为两组待优化变量，为备选子宏块边界的权值；上述两组权值仍然服从约束：ω_u1，ω_u2，...，ω_uN及ω_v1，ω_v2，...，ω_vN求和等于1；ω_u1，ω_u2，...，ω_uN及ω_v1，ω_v2，...，ω_vN均大于等于0：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{tk}}=1$ω_tk≥0，k＝1，2，...，Nt＝u，v当目标函数极小化时，得到两组权值利用这两组权值分别将u、v号备选子宏块集中的备选子宏块进行加权，最终得到修复子宏块：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{tk}}^{*}{P}_{\mathrm{tmbk}}(i,j)$t＝u，vP_tmbk，k＝1，2，...，N，t＝u，v，表示t号备选子宏块集中第k个备选子宏块；目标函数线性化方法是将每个绝对值替换为一个待优化的变量，具体为：t_s＝|C_s(ω_u，ω_v)|ω_u＝(ω_u1，ω_u2，...，ω_uN)^Tω_v＝(ω_v1，ω_v2，...，ω_vN)^T式中，C_s(ω_u，ω_v)表示目标函数中任意一个绝对值内部的函数，以ω_u、ω_v为该目标函数的变量；等价于|C_s(ω_u，ω_v)|≤t_s等价于C_s(ω_u，ω_v)≤t_s-t_s≤C_s(ω_u，ω_v)将目标函数转变为线性函数如下：minimize∑t_s(3)第三种待修复子宏块的修复方法：第三种待修复子宏块的特征为均不与正确的边界相邻，但与另外三个同类型的待修复子宏块邻接，共同考虑四个待修复子宏块的修复，同时优化四组权值，以分别加权四个备选子宏块集中的备选子宏块；标记这四个待修复子宏块为w、x、y、z号子宏块；得到四个待修复子宏块的边界、备选子宏块集中的备选子宏块的边界，得到四个待修复子宏块的内部及外部邻接区域集，目标函数为：$\min \mathrm{imize}$$\underset{B_w}{\Sigma }|{\mathrm{PB}}_w(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{wk}}{P}_{\mathrm{wk}}(i,j)|+\underset{B_x}{\Sigma }|{\mathrm{PB}}_x(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{xk}}{P}_{\mathrm{xk}}(i,j)|+$$\underset{B_y}{\Sigma }|{\mathrm{PB}}_y(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{yk}}{P}_{\mathrm{yk}}(i,j)|+\underset{B_z}{\Sigma }|{\mathrm{PB}}_z(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{zk}}{P}_{\mathrm{zk}}(i,j)|+$$\alpha \underset{D_{w-x}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{wk}}{P}_{\mathrm{cw}-\mathrm{xk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{xk}}{P}_{\mathrm{ex}-\mathrm{wk}}(i,j)|+$$\alpha \underset{D_{x-w}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{xk}}{P}_{\mathrm{cx}-\mathrm{wk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{wk}}{P}_{\mathrm{ew}-\mathrm{xk}}(i,j)|+$$\alpha \underset{D_{w-y}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{wk}}{P}_{\mathrm{cw}-\mathrm{yk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{yk}}{P}_{\mathrm{ey}-\mathrm{wk}}(i,j)|+$$\alpha \underset{D_{y-w}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{yk}}{P}_{\mathrm{cy}-\mathrm{wk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{wk}}{P}_{\mathrm{ew}-\mathrm{yk}}(i,j)|+$$\alpha \underset{D_{x-z}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{xk}}{P}_{\mathrm{cx}-\mathrm{zk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{zk}}{P}_{\mathrm{ez}-\mathrm{xk}}(i,j)|+$$\alpha \underset{D_{z-x}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{zk}}{P}_{\mathrm{cz}-\mathrm{xk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{xk}}{P}_{\mathrm{ex}-\mathrm{zk}}(i,j)|+$$\alpha \underset{D_{y-z}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{yk}}{P}_{\mathrm{cy}-\mathrm{zk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{zk}}{P}_{\mathrm{ez}-\mathrm{yk}}(i,j)|+$$\alpha \underset{D_{z-y}}{\Sigma }|\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{zk}}{P}_{\mathrm{cz}-\mathrm{yk}}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{yk}}{P}_{\mathrm{ey}-\mathrm{zk}}(i,j)|$该目标函数中，B_t，t＝w，x，y，z为第t号待修复子宏块的边界区域；D_m-n为m号待修复子宏块到n号待修复子宏块的邻接区域，D_m-n和D_n-m是不同的区域；PB_t，t＝w，x，y，z分别为第t号待修复子宏块的边界；P_tk，k＝1，2，...，N，t＝w，x，y，z为第t号备选子宏块集中的第k个备选子宏块的边界；P_cm-nk为备选子宏块m到备选子宏块n的内部邻接区域集中的第k个内部边界；P_em-nk则为备选子宏块m到备选子宏块n的外部邻接区域集中的第k个外部边界，使用参数α调节边界SAD与邻接SAD的相对比例；ω_w1，ω_w2，...，ω_wN，ω_x1，ω_x2，...，ω_xN，ω_y1，ω_y2，...，ω_yN及ω_z1，ω_z2，...，ω_zN为四组待优化变量，意义为备选子宏块边界的权值；四组权值仍然服从约束：每组权值求和均等于1；每组中的各个权值均大于等于0：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{tk}}=1$ω_tk≥0，k＝1，2，...，Nt＝w，x，y，z当目标函数极小化时，得到四组权值及利用这四组权值可分别将w、x、y、z号备选子宏块集中的备选子宏块进行加权，最终得到修复子宏块：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{tk}}^{*}{P}_{\mathrm{tmbk}}(i,j)$t＝w，x，y，z其中，P_tmbk，k＝1，2，...，N，t＝w，x，y，z代表t号备选子宏块集中第k个备选子宏块，目标函数线性化方法是将每个绝对值替换为一个待优化的变量，具体为：t_s＝|C_s(ω_w，ω_x，ω_y，ω_z)|ω_w＝(ω_w1，(ω_w2，...，ω_wN)^Tω_x＝(ω_x1，ω_x2，...，ω_xN)^Tω_y＝(ω_y1，ω_y2，...，ω_yN)^Tω_z＝(ω_z1，ω_z2，...，ω_zN)^T式中，C_s(ω_w，ω_x，ω_y，ω_z)表示目标函数中任意一个绝对值内部的函数，以ω_w，ω_x，ω_y，ω_z为函数C_s的变量；等价于|C_s(ω_w，ω_x，ω_y，ω_z)|≤t_s等价于C_s(ω_w，ω_x，ω_y，ω_z)≤t_s-t_s≤C_s(ω_w，ω_x，ω_y，ω_z)将目标函数转变为线性函数如下：minimize∑t_s(4)整宏块的修复方法：首先得到待修复宏块的边界PB，然后得到备选宏块集中整宏块的边界，构成边界集BS，计算一组权值，用该组权值加权边界集中的边界得到合成边界，目标函数为极小化该合成边界与待修复宏块边界的SAD值：$\min \mathrm{imize}\underset{B}{\Sigma }|\mathrm{PB}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_k(i,j)|$式中，B为宏块的边界区域；PB为待修补宏块的边界，P_k，k＝1，2，...，N为边界集中第k个边界；权值ω₁，ω₂，...，ω_N仍然服从两个约束：ω₁，ω₂，...，ω_N和为1；ω₁，ω₂，...，ω_N均大于等于0：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k=1$ω_k≥0，k＝1，2，...，N当目标极小化时得到一组权值利用这组权值对宏块集中的备选宏块进行加权，得到最终恢复的宏块：$\underset{k=1}{\overset{N}{\Sigma }}{\omega }_{\mathrm{tk}}^{*}{P}_{\mathrm{mbk}}(i,j)$其中P_mbk，k＝1，2，...，N表示备选宏块集中第k个备选整宏块；将目标函数线性化，将每一个绝对值替换为一个待优化的变量，以实现目标函数线性化：$t_s=|\mathrm{PB}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_k(i,j)|$等价于$|\mathrm{PB}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_k(i,j)|{\le t}_s$等价于$\mathrm{PB}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_k(i,j){\le t}_s$$-t_s\le \mathrm{PB}(i,j)-\underset{k=1}{\overset{N}{\Sigma }}{\omega }_k{P}_k(i,j)$其中t_s表示人为引入的待优化的变量，应用上述步骤后，将目标函数转变为线性函数：minimize∑t_s。