一种基于双目视觉特性的立体视频码率控制方法

摘要

本发明公开了一种基于双目视觉感知的立体视频码率控制方法，特点是过对立体图像组层、立体图像对层、帧层这三个层次分别进行码率控制，在立体图像组层，计算每个立体图像组的目标比特数并计算关键帧的量化参数；在立体图像对层，根据剩余比特数和缓冲区饱和度来计算每个立体图像对的目标比特数；在帧层，根据人眼双目视觉掩蔽效应，建立了立体指数码率与量化参数模型来优化立体率失真模型，使左图像分配较多的目标比特数，而右图像相对分配较少的目标比特数，最终确定非关键帧的量化参数。优点是通过本发明的码率控制方法后有效地提高了立体视频客观质量和率失真性能。

主权项

一种基于双目视觉特性的立体视频码率控制方法，其特征在于通过对立体图像组层、立体图像对层、帧层这三个层次分别进行码率控制，在立体图像组层，计算每个立体图像组的目标比特数并计算关键帧的量化参数；在立体图像对层，根据剩余比特数和缓冲区饱和度来计算每个立体图像对的目标比特数；在帧层，根据人眼双目视觉掩蔽效应，建立了立体指数码率与量化参数模型来优化立体率失真模型，使左图像分配较多的目标比特数，而右图像相对分配较少的目标比特数，最终确定非关键帧的量化参数，其具体包括以下步骤：①.以双目相机拍摄得到的颜色空间为YUV的立体视频定义为原始立体视频，该立体视频包括左视点视频和右视点视频，YUV序列由3个颜色分量组成，其中Y表示亮度值，U和V分别表示第一色度和第二色度，用来描述色彩及饱和度；②.根据立体视频编码结构，将同一时刻的左右图像构成一个立体图像对，所述左右视点中的图像帧分为关键帧与非关键帧，由左右视点的关键帧和到下一个关键帧之间所有的立体图像对组成一个立体图像组，根据设定的总目标比特数和初始量化参数，对每个立体图像组的目标比特数和每个立体图像组中第一个立体图像对的量化参数进行计算，对于第一个立体图像组(i＝1)，目标比特数第一个立体图像组中第一个立体图像对中左图像的量化参数QP_L(1,0)和右图像的量化参数QP_R(1,0)直接采用设定的初始量化参数，对于其他立体图像组(i>1)，记T_r(i,0)表示开始编码第i个立体图像组的目标比特数，则$T_r(i,0)=\frac{u(i,0)}{F_r}\times N_s-(\frac{B_s}{8}-B_C(i,0\left)\right),$第i个立体图像组中第一个立体图像对中左图像的量化参数计算为第i个立体图像组中第一个立体图像对中右图像的量化参数计算为${\mathrm{QP}}_R(i,0)=\min \{\frac{S_{RQP}}{N_s-1}-\frac{8T_r(i-1,N_s)}{T_r(i,0)}-\frac{N_s}{15}-1,{\mathrm{QP}}_L(i,0)+{\mathrm{VT}}_{QP}(i,0)\},$其中，u(i,0)表示编码第i个立体图像组时可用的信道带宽，F_r表示视频帧率，N_s表示每一个立体图像组中的立体图像对数，B_s表示缓冲区的容量大小，B_c(i,0)表示编码完第i个立体图像组之前的缓冲区饱和度，S_LQP、S_RQP分别表示前一个立体图像组中左、右图像的非关键帧量化参数的总和，VT_QP(i,0)表示在双目掩蔽效应下左右图像之间可允许的量化参数差值，VT_QP(i,0)＝p₁×QP_L(i,0)+p₂，其中p₁、p₂分别为常量‑0.3265和17.35；③.对当前第i个立体图像组的剩余立体图像对的目标比特数进行预算，记在编码第i个立体图像组中第j个立体图像对前，所有未编码的立体图像对的目标比特数为T_r(i,j)，$T_r(i,j)=T_r(i,j-1)+\frac{u(i,j)-u(i,j-1)}{F_r}\times (N-j)-A(i,j-1),$其中j≥1,u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，N表示每一个立体图像组中的立体图像对数，A(i,j‑1)表示编码第i个立体图像组中第j‑1个立体图像对消耗的比特数；④.根据第i个立体图像组中剩余比特数和缓冲区饱和度来计算第i个立体图像组中第j个立体图像对的目标比特数，根据第i个立体图像组中剩余比特数T_r(i,j)，计算第j个立体图像对的第一候选目标比特数为其中N表示每一个立体图像组中的立体图像对数，为了防止缓冲区的上溢和下溢，根据缓冲区的占用情况，计算第j个立体图像对的第二候选目标比特数为其中u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，TB(i,j)和CB(i,j)分别表示目标缓冲区大小和实际缓冲区大小，γ为常量0.75，将第一候选目标比特数和第二候选目标比特数进行加权，获取第i个立体图像组中第j个立体图像对的目标比特数$T(i,j)=\beta *\hat{T}(i,j)+(1-\beta )*\tilde{T}(i,j),$其中β为常量0.5；⑤.通过对立体图像对中左右图像的码率与量化参数之间的统计分析，以Ratio表示立体图像对中左图像与右图像的码率比例，以△QP表示立体图像对中左图像与右图像的量化参数差值，以QP_L、QP_R分别表示立体图像对中左图像与右图像的量化参数，建立立体图像对中左右图像之间的码率比例与量化参数差值之间的模型；所述的步骤⑤的具体过程为：⑤‑1.任取N个各不相同的编码量化参数作为左图像的编码量化参数值，分别记为QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN，对每一个左图像的编码量化参数值，又分别取M个各不相同的左右图像的编码量化参数差值，分别记为△QP′₁,△QP′₂,…,△QP′_j,…,△QP'_M，得到对应的右图像的编码量化参数值，分别记为QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)；⑤‑2.采用左图像的编码量化参数QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN和对应的右图像的编码量化参数QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)，分别对左图像和右图像进行编码，分别得到以该M×N个不同的编码量化参数对左图像和右图像进行编码的码率，分别记为R'_L1,R'_L2,…,R'_Lk,…,R'_L(M×N)和R'_R1,R'_R2,…,R'_Rk,…,R'_R(M×N)，对应的左图像与右图像的码率比例记为Ratio′₁,Ratio'₂,…,Ratio'_k,…,Ratio'_(M×N)；⑤‑3.将左图像的编码量化参数、左图像与右图像的编码量化参数差值和左图像与右图像的码率比例进行拟合，得到指数模型Ratio＝Ae^B×△QP，其中参数A和B分别表示指数模型的幅度和频率，与左图像的编码量化参数有关；⑤‑4.将参数A与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数A，将参数B与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数B；⑥.根据第i个立体图像组中第j个立体图像对的目标比特数T(i,j)，以QP_L(i,j)表示第i个立体图像组中第j个立体图像对中左图像的量化参数，以△QP(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的量化参数差值，以Ratio(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的码率比例，以VT_QP(i,j)表示在双目掩蔽效应下第i个立体图像组中第j个立体图像对中左右图像之间可允许的量化参数差值，获取第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数，分别记为T_L(i,j)、T_R(i,j)；⑦.根据第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数T_L(i,j)和T_R(i,j)，分别计算第i个立体图像组中第j个立体图像对中左图像和右图像的量化参数，分别记为QP_L(i,j)、QP_R(i,j)，QP_L(i,j)＝6log₂(Q_L,step(i,j))+4，QP_R(i,j)＝6log₂(Q_R,step(i,j))+4，其中Q_L,step(i,j)和Q_R,step(i,j)分别表示第i个立体图像组中第j个立体图像对中左图像和右图像的量化步长，Q_L,step(i,j)和Q_R,step(i,j)通过二次码率与量化参数模型得到，$T_L(i,j)=a_1(i,j)\times \frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,step}(i,j)}+a_2(i,j)\times \frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,step}^2(i,j)}+H_L(i,j),$$T_R(i,j)=a_3(i,j)\times \frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,step}(i,j)}+a_4(i,j)\times \frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,step}^2(i,j)}+H_R(i,j),$其中MAD_L(i,j)、MAD_R(i,j)分别为左图像和右图像在编码前与编码后亮度值Y的平均绝对差值，H_L(i,j)、H_R(i,j)分别为左图像和右图像的头比特数，a₁(i,j)、a₂(i,j)、a₃(i,j)和a₄(i,j)为模型参数，采用线性回归模型进行逐帧更新；⑧.对当前立体图像组的下一个立体图像对重复执行步骤②至⑦，直至所有立体图像对完成编码；⑨.返回步骤②继续执行，直至当前视频中所有立体图像组完成编码。