基于HVS&ROI的分布式编解码方法及系统

摘要

一种基于HVS&ROI的分布式编码方法及系统，属于分布式编码方法及系统，该系统由编码器和解码器两部分构成。编码器结合HVS的JND模型将输入视频Wyner-Ziv帧划分为C宏块和AC宏块，并对AC宏块提取ROI，对K帧与WZ帧各个宏块进行独立编码；解码器对接收到的码流进行联合解码。本发明由于引入人类视觉系统HVS的JND模型，减少了JND阈值一下区域的数据处理与传输工作，降低传输速率，起到节省能耗与带宽的作用；本发明由于对运动剧烈与亮度对比较大的眩光区域提取ROI感兴趣区，并对其进行熵编码，在尽量不增加编码复杂度的情况下，改善主观质量。

主权项

1.一种基于HVS&ROI的分布式视频编码方法，其特征在于：所述的编码方法的具体步骤是：a.将输入视频帧分为关键帧和Wyner-Ziv帧，对关键帧(K帧)进行帧内编码，所述的关键帧为K帧，H.264帧内编码器对关键帧进行帧内编码；对Wyner-Ziv帧进行HVS&ROI Wyner-Ziv编码；b.所述HVS&ROI Wyner-Ziv编码的方法包括：通过HVS的JND模型将Wyner-Ziv帧划分为C宏块和AC宏块；所述JND模型方法包括：b1.将Wyner-Ziv帧分成8×8分块，每个分块都是B块；；b2.根据下式计算出B块中各像素点的JND阈值：JND(x，y，t)＝f(idl(x，y，t))JND^s(x，y)其中，idl(x，y，t)表示相邻t时刻与t-1时刻的平均帧间亮度误差值，JND^s(x，y)表示JND在空间域阈值；$\mathrm{idl}(x,y,t)=\frac{1}{2}(I(x,y,t)-I(x,y,t-1)+\bar{I}(x,y,t)-\bar{I}(x,y,t-1))$JND^s(x，y)＝T^l(x，y)+T_Y^t(x，y)-C_Y×Min{T^l(x，y)，T_Y^t(x，y)}其中，T^l(x，y)表示背景亮度适应影响函数，T_Y^t(x，y)表示纹理影响函数反应HVS对于平滑区比纹理密集区的敏感性更强，(x，y)表示图像中像素点相应坐标，C_Y表示背景亮度与纹理掩蔽两种影响因素之间的相关系数；b3.根据下式计算当前块B块的前向、后向与平均像素SAD：$\mathrm{SAD}=\underset{x=1}{\overset{M}{\Sigma }}\underset{y=1}{\overset{N}{\Sigma }}|w(x,y)-r(x,y)|$其中，w(x，y)和r(x，y)分别表示WZ帧中编码块与参考块在坐标(x，y)处的像素值；b4.由下式得到编码端边信息ESI：ESI＝Min_SAD{FB，BB，AB}其中，FB为前向相邻帧对应块，FB为Forward Block的缩写；BB为后向相邻帧对应块，BB为Backward Block的缩写；AB为前后相邻帧对应平均块，AB为Average Block的缩写；b5.分别计算相邻帧SAD_B中的最大值和最小值记分别求出t＜SAD_B与t＞SAD_B时的像素点比例ρ₀、ρ₁与平均梯度值m₀、m₁，则总平均梯度值为：m＝ρ₀m₀+ρ₁m₁；b6.计算前景与背景的方差为：v＝ρ₀ρ₁(m₀-m₁)²；b7.在区间上遍历v找出最大值v_Max，v_Max所对应的t为前景与背景方差最大之时，此时t值即为阈值T_ROI；b8.根据得到的T_ROI值初步提取出前景图像，通过比较SAD_B与T_ROI的值来提取前景图像，对于大于T_ROI值的部分提取出来作为前景图像，然后将前景图像按步骤b5到b8再执行一遍，得到更加精确的二级T_ROI；b9.根据ESI的失真函数D(x，y)计算各点的预测失真，由下式得到各点的预测失真值：D(x，y)＝|ESI(x，y)-I(x，y)|其中，ESI(x，y)和I(x，y)分别表示WZ帧中坐标(x，y)处的ESI值和像素值。b10.根据下式对块B进行JND判别，划分AC块与C块，对于失真值小于等于JND阈值的宏块划分成C块，而对于失真值大于JND阈值的宏块划分为AC块，并得到该WZ帧图像块划分的二值掩码Block_mask：${\mathrm{Block}}_{\mathrm{mask}}=\left\{\begin{array}{cc}1& \left(\Sigma {\mathrm{JND}}_{\mathrm{mask}}\right)\ge ϵ·\mathrm{Num}\\ 0& \left(\Sigma {\mathrm{JND}}_{\mathrm{mask}}\right)<ϵ·\mathrm{Num}\end{array}\right.$${\mathrm{JND}}_{\mathrm{mask}}=\left\{\begin{array}{cc}1& (\mathrm{JND}(x,y)\ge D(x,y))\\ 0& (\mathrm{JND}(x,y)<D(x,y))\end{array}\right.$其中，Num为每一宏块中像素点的总数量，ε取0.1。b11.对AC块做DCT和2^M级统一量化，提取系数带并进行Zigzag扫描，根据选定的量化矩阵对变换系数进行均匀量化；并根据下式计算K帧和WZ帧相同位置AC块梯度的SAD_B；${\mathrm{SAD}}_B=\underset{(j,k)\in B}{\Sigma }\left|G_K\right[F(j,k)]-G_W[F(j,k)\left]\right|$其中K表示关键帧、W是Wyner-Ziv帧、B是单个的宏块、F(j，k)为z坐标(j，k)处的像素值。b12.采用下式ROI宏块判定准则，得到感兴趣区二值掩码ROI_mask：${\mathrm{ROI}}_{\mathrm{mask}}=\left\{\begin{array}{cc}1& ({\mathrm{SAD}}_B\ge T_{\mathrm{ROI}})\\ 0& ({\mathrm{SAD}}_B<T_{\mathrm{ROI}})\end{array}\right.$其中，ROI_mask为感兴趣区的二值掩码，当宏块梯度SAD_B小于梯度T则置为0，否则为1；对二值掩码ROI_mask进行简单的形态学处理，先腐蚀然后再扩张，使物体轮廓平滑，再由下式提取ROI：$\mathrm{ROI}=\left\{\begin{array}{cc}{W}_B& (W_B\subseteq {\mathrm{ROI}}_{\mathrm{mask}})\\ 0& (W_B\subset ⃒{\mathrm{ROI}}_{\mathrm{mask}})\end{array}\right.$其中，W_B表示当前WZ帧中所对应的AC宏块，如果W_B对应ROI_mask为1则为ROI块，反之置0为非ROI块，最终得到当前帧的ROI感兴趣区；b13.对Block_mask、ROI_mask以及量化后的ROI块进行哈弗曼编码压缩；对AC宏块的非ROI块提取位平面进行LDPC编码，若当前编码的图像组是最后一个图像组，则退出HVS&ROI分布式视频编码；c.对AC宏块提取ROI，对ROI宏块与各个宏块的标记信息进行熵编码，对非ROI宏块进行基于LDPC(这里的LDPC可以引用上面的定义)的Wyner-Ziv编码；d.所述的解码方法的具体步骤是：d1.对H.264的帧内解码获得关键帧；d2.对ROI宏块与各个宏块的标记信息进行哈弗曼熵解码，获得Block_mask、ROI_mask以及ROI块的量化系数；d3.设置信道估计参数，采用交叉熵最小法则估计信道参数，根据已解码出来的WZ帧的前后相邻关键帧进行运动补偿内插得到初始边信息SI；d4.利用边信息通过LDPC编码结合各个宏块的标记信息得到非ROI块的比特流系数；d5.将根据Block_mask得到的C块，熵解码的ROI块和块译码的非ROI块进行重构；