一种基于分布式编码技术的多视点视频传输差错控制方法

摘要

本发明公开了一种基于分布式编码技术的多视点视频传输差错控制方法，用于减小传输差错在视点间和视点内的扩散，保护多视点视频解码重建图像的质量。本发明先进行多视点视频各视点关键帧的传输失真度建模，然后再根据关键帧的失真度来估计所需要纠正传输错误的WZ码率，最后通过率失真代价进行自适应选择WZ帧的差错保护。采用本发明方法，通过增加少量的辅助码流能够有效地减小传输差错在视点间的扩散，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

主权项

一种基于分布式编码技术的多视点视频传输差错控制方法，用于减小传输差错在视点间和视点内的扩散，保护多视点视频解码重建图像的质量，其特征在于，先进行多视点视频各视点关键帧的传输失真度建模，然后再根据关键帧的失真度来估计所需要纠正传输错误的WZ码率，最后通过率失真代价进行自适应选择WZ帧的差错保护；在编码端，一方面对各视点进行基于运动和视差补偿的预测编码，生成的多视点码流作为主码流在信道上传输；另一方面关键帧根据估计的传输失真度和WZ码率计算率失真代价从而自适应选择是否需要WZ帧的保护，对需要WZ保护的视点关键帧的重建帧再进行WZ帧的编码，生成的WZ比特流作为辅助码流进行传输；在解码端，把受到WZ帧保护的关键帧的差错掩盖帧作为WZ解码的边信息，通过对边信息的纠错完成WZ解码，包括以下的手段：A.编码端A.1关键帧的传输失真度估计多视点视频关键帧传输失真度模型：$\begin{array}{c}{d}_c(v,n,i)=E\left\{{({\hat{X}}_{v,n}^i-{\tilde{X}}_{v,n}^i)}^2\right\}\\ =(1-p)d_{c\_\mathrm{ref}}(v_{\mathrm{ref}},r_{\mathrm{ref}},j)+p(d_{\mathrm{ec}\_r}(v,n,i)+d_{c\_\mathrm{ec}}(v_{\mathrm{ec}},r_{\mathrm{ec}},k))\end{array}$表示某个视点关键帧的某个像素在编码端和解码端重建值的均方差的期望，其中表示视点v中第n帧第i个像素的原始值，用和分别表示该像素在多视点编码端和解码端的重建值；传输失真主要包括三个方面，分别为：d_{ec_r}(v,n,i)表示编码关键帧与掩盖帧像素在编码端重建值之间的失真，表示不出错情况下由参考帧像素带来的信道扩散失真，d_{c_ec}(v_ec,r_ec,k)表示出错情况下由掩盖帧像素带来的信道扩散失真，其中当前编码的关键帧是由前一个视点的关键帧通过视差预测补偿得到，即参考帧和掩盖帧就是前一个视点的关键帧；某个关键帧的总的传输失真度便是某一帧所有像素的失真度之和；其中p表示信道的丢包率；A.2 WZ编码码率估计根据关键帧估计的失真度和估计的已解码比特平面，利用源信息和边信息的相关噪声模型在WZ编码端进行码率估计，预测关键帧中某个像素的比特平面正确解码所需要的最小码率为：$R\left(p_{v,n}^{i,t}\right)=H\left({\tilde{X}}_{v,n}^{i,t}\right|{\hat{X}}_{v,n}^{i,t})=-p_{v,n}^{i,t}\times \log \left(p_{v,n}^{i,t}\right)-(1-p_{v,n}^{i,t})\times \log (1-p_{v,n}^{i,t})$其中表示在二进制对称信道下源信息比特平面已知的情况下边信息的比特平面的条件熵，用表示源信息比特平面和边信息比特平面之间的交叉转移概率，而源信息和边信息的差值在像素域是符合拉普拉斯分布的；A.3 自适应选择WZ帧差错保护通过比较关键帧加入WZ帧保护和没有加入WZ帧保护所需要的率失真代价，自适应的选择是否需要WZ帧差错保护；如果关键帧加入了WZ帧的保护，此时的率失真代价为：$J_{v,n}=D_{v,n}^s+D_{v,n}^c+D_{v+\mathrm{1,1}}^{c\_\mathrm{ref}}+D_{v,n+\mathrm{\Delta t}}^{c\_\mathrm{ref}}+{\mathrm{\lambda R}}_{v,n}$其中表示当前视点的关键帧信源失真，表示关键帧的已有的传输失真；表示当前视点关键帧扩散到下一个视点的关键帧的潜在的扩散失真；同样，表示当前视点关键帧在时域方向扩散到视点内的潜在扩散失真；R_v,n表示为多视点编码视点关键帧需要的码率；λ为率失真优化中的拉格朗日乘子；如果关键帧未加入WZ帧的保护，此时的率失真代价为：$J_{v,n}^{\mathrm{WZ}}=D_{v,n}^s+\lambda (R_{v,n}^{\mathrm{WZ}}+R_{v,n})$其中为估计的辅助的WZ保护的码率；估计得到J_v,n和之后，如果那么某个视点关键帧将采用WZ帧进行差错保护，否则将不采用WZ帧额外进行差错保护；B.解码端多视点视频码流首先进行视点内和视点间的差错掩盖解码，然后把某个受到WZ帧保护的关键帧的差错掩盖帧作为WZ解码器的边信息，经过对边信息的纠错完成WZ解码，这时边信息的解码图像质量得到恢复；在WZ的解码端，估计过少校验位将通过反馈信道再次向编码端请求，最终完成WZ的完全解码。