一种多视点深度视频处理方法

摘要

本发明公开了一种多视点深度视频处理方法，其首先通过对深度视频进行重组变换操作，然后将变换操作后的深度视频在时域上进行平滑处理，再对平滑处理后的深度视频进行重组逆变换操作，得到预处理后的深度视频，对预处理后的多视点深度视频进行编码压缩、解码重建操作，再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理，最后利用处理后的多视点深度视频绘制虚拟视点视频图像，优点在于这种预处理方式能够提高深度视频序列的时域相关性，进而有效提高深度视频的编码效率，在编码QP=22、27、32、37的情况下，可以节省编码码率达到17.07%～38.29%，绘制得到的虚拟视点视频图像的绘制质量可提高约为0.05dB。

主权项

1.一种多视点深度视频处理方法，其特征在于它的处理过程为：对待处理的原始多视点深度视频进行预处理，以降低编码码率；然后对预处理后的多视点深度视频进行编码压缩、解码重建操作；再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理；最后利用处理后的多视点深度视频绘制虚拟视点视频图像；其中，对解码重建后的多视点深度视频进行深度恢复及空域平滑处理的具体过程为：①将解码重建后的多视点深度视频中当前正在处理的第k帧深度图像定义为当前深度图像，并记为D'(W,H,k)，其中，1≤k≤K，在此K表示解码重建后的多视点深度视频中包含的深度图像的帧数，W表示解码重建后的多视点深度视频中的深度图像的水平分辨率，H表示解码重建后的多视点深度视频中的深度图像的竖直分辨率，W×H表示解码重建后的多视点深度视频中的深度图像的分辨率；②根据对应的原始多视点彩色视频中与当前深度图像D'(W,H,k)对应的彩色图像C(W,H,k)的边界掩膜M(W,H,k)中的每个像素点的像素值，对当前深度图像D'(W,H,k)中的像素点进行深度恢复处理，然后对当前深度图像D'(W,H,k)中经深度恢复后的每个像素点进行空域平滑处理，对于当前深度图像D'(W,H,k)中坐标位置为(x,y)的像素点，判断M(W,H,k)中坐标位置为(x,y)的像素点的像素值m(x,y，k)是否为1，即判断M(W,H,k)中坐标位置为(x,y)的像素点是否为边界像素点，如果是，则对当前深度图像D'(W,H,k)中坐标位置为(x，y)的像素点进行深度恢复处理，得到深度恢复后的像素值，记为d″(x,y,k)，$d^{\prime \prime }(x,y,k)=\frac{\underset{(a,b)\in w(x,y)}{\Sigma }(d^{\prime }(a,b,k)\times C_{\mathrm{sum}}(a,b,k))}{\underset{(a,b)\in w(x,y)}{\Sigma }{C}_{\mathrm{sum}}(a,b,k)},$然后采用三边滤波对当前深度图像D'(W,H,k)中经深度恢复后的坐标位置为(x，y)的像素点进行空域平滑处理，得到空域平滑后的像素值，记为d*(x,y,k)，$d*(x,y,k)=\frac{\underset{(a,b)\in w(x,y)}{\Sigma }(\omega (a,b,k)\times d^{\prime \prime }(a,b,k))}{\underset{(a,b)\in w(x,y)}{\Sigma }\omega (a,b,k)},$否则，对当前深度图像D'(W,H,k)中坐标位置为(x，y)的像素点不进行深度恢复处理，即当前深度视频D'(W,H,k)中坐标位置为(x,y)的像素点经深度恢复处理后的像素值d″(x,y,k)=d'(x,y,k)，然后采用双边滤波对当前深度视频D'(W,H,k)中坐标位置为(x,y)的像素点进行空域平滑处理，得到空域平滑后的像素值，记为d*(x,y,k)，$d*(x,y,k)=\frac{\underset{(a,b)\in w(x,y)}{\Sigma }({\omega }_1(a,b,k)\times {\omega }_2(a,b,k)\times d^{\prime \prime }(a,b,k))}{\underset{(a,b)\in w(x,y)}{\Sigma }{\omega }_1(a,b,k)\times {\omega }_2(a,b,k)},$其中，1≤x≤W,1≤y≤H，w(x,y)表示当前深度图像D'(W,H,k)中以坐标位置(x,y)为中心的邻域窗口，d'(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点的像素值，C_sum(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点在深度恢复时的权值，C_sum(a,b,k)=C₀(a,b,k)×(α×S_d(a,b,k)+(1-α)×S_c(a,b,k))，$C_0(a,b,k)=\frac{1}{N_{\mathrm{freq}}(a,b,k)}\times \underset{l=0}{\overset{N_{\mathrm{freq}}(a,b,k)-1}{\Sigma }}|(a-x_0\left(l\right))+(b-y_0\left(l\right))|$w(a,b)表示当前深度图像D'(W,H,k)中以坐标位置(a,b)为中心的邻域窗口，δ[d'(a,b,k),d'(x₁,y₁,k)]表示当前深度视频D'(W,H,k)中坐标位置为(a,b)的像素点的像素值d'(a,b,k)与当前深度视频D'(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值d'(x₁,y₁,k)的相似度值，x₀(l)表示w(a,b)内与中心像素点的像素值d'(a,b,k)相等的邻域像素点的横坐标，y₀(l)表示w(a,b)内与中心像素点的像素值d'(a,b,k)相等的邻域像素点的纵坐标，S_d(a,b,k)=|d'(a,b,k)-d'(x₁,y₁,k)|，Sc(a,b,k)=|c(a,b,k)-c(x₁,y₁,k)|，c(a,b,k)表示C(W,H,k)中坐标位置为(a,b)的像素点的像素值，c(x₁,y₁,k)表示C(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值，α表示深度信息权值，0≤α≤1，符号“||”为取绝对值符号，ω(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点在三边滤波时的权值，ω(a,b,k)=ω₁(a,b,k)×ω₂(a,b,k)×ω₃(a,b,k)，${\omega }_2(a,b,k)=\exp (-\frac{{(d_1(a,b,h)-d_1(x,y,h))}^2}{{2\sigma }_2^2}),$${\omega }_3(a,b,k)=\exp (-\frac{{(c(a,b,k)-c(x,y,k))}^2}{{2\sigma }_3^2}),$exp()表示以e=2.718281828为底的指数函数，d₁(a,b,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值，d₁(x,y,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值，1≤h≤H  ，此处在“”中k的具体值与h的具体值相同，c(x,y,k)表示C(W,H,k)中坐标位置为(x,y)的像素点的像素值，d″(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点经深度恢复处理后的像素值，σ₁、σ₂、σ₃均表示尺度因子；③令k'＝k+1,k＝k'，并将解码重建后的多视点深度视频中下一帧待处理的深度图像作为当前深度图像，然后返回步骤②继续执行，直至解码重建后的多视点深度视频中的所有深度图像处理完毕，其中，k'的初始值为0，在此k'＝k+1,k＝k'中的“=”为赋值符号。