可伸缩视频编码中的三维小波子带排序及码流封包方法

摘要

本发明设计了一种可伸缩视频编码中的三维小波子带排序和码流封包方法。该方法首先按照顺序解码的要求，对时域小波子带进行排序，将时域小波子带分为不同的等级；然后按照传输失真MSE值的大小，对同一等级内的空域小波子带进行排序；再后对排序后的码流进行封包，将封包后的码流传输给接收端，当接收端未达到解码的时限时，发现丢包则进行重传，重传的次数小于等于最大重传次数；当接收端达到解码的时限时，则对丢包不进行重传。该方法提供了一种有效的码率传输控制方法，从而为视频编码和传输提供准确的码流分配，提供自适应于视频传输网络的异构性、网络带宽波动性和时延变化以及用户接收终端多样性的高性能三维可伸缩性的码流组织和传输方式。

主权项

1.一种可伸缩视频编码中的三维小波子带排序及码流封包方法，其特征在于，包括对EZBC编码后的码流进行小波子带的排序，及排序后的码流进行打包及传输两部分；首先对视频序列进行t+2D的含运动补偿的三维小波变换编码，具体过程为：对大小为2^J帧的GOP，做J级的MCTF；在全空间分辨率下对各时域小波子带进行M级的空域小波变换，则各级时域小波子带均被变换为3×M+1个不同空间分辨率的空域小波子带；这样每个GOP均被变换为2^J×(3×M+1)个小波子带；1)所述的小波子带的排序，具体包括下列步骤：11)按照解码重构视频序列时顺序解码的原则，依次解码原始视频各帧，对时域小波子带进行排序，将时域小波子带分为具有不同传输优先权的等级，根据重构视频序列与不同时域子带的关系，与重构视频序列当前帧相关的时域小波子带优先权的等级高，与后一帧相关的时域小波子带优先权的等级低；12)按照除此空域小波带外的其他小波子带重构得到的视频帧与原视频帧相比所存在的传输失真均方误差MSE值的大小，对同一等级内的空域小波子带进行排序，以便对传输失真MSE值大的子带先进行传输，传输失真MSE值小的子带后传输，从而保证接收端接收到最重要的信息；2)排序后的码流进行封包及传输，具体包括以下步骤：21)对排序后的码流按顺序进行封包L_j，j代表包的序号，最大包长为L，设定为一个网络IP(Internet Protocol)包的长度；22)根据网络不同的时延计算包L_j的最大重传次数M_j，M_j为自然数，具体包括：若包L_j丢失，对重构视频帧造成的总失真为D_j^L；若包L_j被接收，但由于编码时的量化造成失真为D_j^Q；只考虑信道传输造成的失真D_j^C，其中一个图像组GOP内的包的个数为N_P；各等级所对应的包的个数为N_P^k，1≤k≤K，K为时域小波子带等级数；包L_j的最大重传次数M_j由下式得到：$\min D_{\mathrm{GOP}}=\underset{j=1}{\overset{N_P}{\Sigma }}{D}_j^C·P_{\mathrm{ARQ},j}=\underset{j=1}{\overset{N_P}{\Sigma }}{D}_j^C·{\left(P_{\mathrm{Loss},j}\right)}^{M_j}$$s.t.\underset{s=1}{\overset{k}{\Sigma }}\underset{j=1}{\overset{N_p^s}{\Sigma }}{\mathrm{Time}}_j\le {\mathrm{Deadline}}_k,1\le k\le N_P$其中，D_GOP是一个GOP总的传输失真，第k等级内的小波子带传输时间最多为B是信道带宽，L_j是第j个包的的长度，M_j是该包L_j的最大重传次数，Time_j是该包L_j的传输时间，Deadline_k是前k等级的小波子带的总解码时限，PLoss，_j是每个包L_j每次传输时丢包的概率，P_ARQ，j是包L_j在重传中丢包的概率；23)将封包后的码流传输给接收端，当接收端未达到解码时限时，发现丢包L_j，则要求发送端进行重传包L_j，重传的次数小于等于最大重传次数M_j；当接收端达到解码时限时，则对丢包L_j不进行重传。