一种交互式三维视频系统中的信号处理方法

摘要

本发明公开了一种交互式三维视频系统中的信号处理方法，其首先将每相邻的两个参考视点之间的多个虚拟视点作为辅助视点，并获取每个辅助视点的残差图像，然后服务端的三维视频编码模块对各幅彩色图像、深度图像和残差图像进行编码后传输给用户端，接着用户端的视点解码模块对编码后的各幅图像进行解码，最后任意视点绘制模块生成参考视点信号和辅助视点信号传输给视频显示模块进行显示，优点是由于在服务端只需要传输包含较少信息量的残差图像作为辅助视点信息，因此降低了系统服务端的编码复杂程度，由于在用户端只需要简单的三维映射和加法操作就能生成虚拟视点信号，因此降低了对用户端系统的要求，从而降低了交互式三维视频系统的复杂度。

主权项

一种交互式三维视频系统中的信号处理方法，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成，其特征在于该设计方法包括以下步骤：①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为其中，K≥2，1≤k≤K，k的初始值为1，i＝1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，表示t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值；②将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法，获取t时刻的(K‑1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为其中，N>1，1≤l≤(K‑1)×N，l的初始值为1，表示t时刻的第l个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；所述的步骤②的具体过程为：②‑1、将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，共存在(K‑1)对关联参考视点，将每对关联参考视点之间的距离归一化表示为1，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，共存在(K‑1)×N个辅助视点，其中，N>1；②‑2、将t时刻的(K‑1)×N个辅助视点中当前正在处理的辅助视点定义为当前辅助视点；②‑3、假设当前辅助视点为t时刻的第k'个参考视点与t时刻的第k'+1个参考视点构成的一对关联参考视点之间的虚拟视点，并假设当前辅助视点为t时刻的(K‑1)×N个辅助视点中的第l'个辅助视点，则将当前辅助视点与t时刻的第k'个参考视点之间的距离表示为α，将当前辅助视点与t时刻的第k'+1个参考视点之间的距离表示为1‑α，其中，1≤k'≤K‑1，k'的初始值为1，(k'‑1)×N+1≤l'≤(k'‑1)×N+N，0<α<1；②‑4、将t时刻的第k'个参考视点的彩色图像中的每个像素点从第k'个参考视点投影到当前辅助视点，得到t时刻的第k'个参考视点的绘制图像，记为将t时刻的第k'个参考视点的绘制图像中坐标位置为(x₃,y₃)的像素点的第i个分量的值记为假设t时刻的第k'个参考视点的绘制图像中坐标位置为(x₃,y₃)的像素点为t时刻的第k'个参考视点的彩色图像中坐标位置为(x₁,y₁)的像素点从第k'个参考视点投影到当前辅助视点中的，则令其中，表示t时刻的第k'个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k'个参考视点的彩色图像中坐标位置为(x₁,y₁)的像素点的第i个分量的值，x₁∈[1,W]，y₁∈[1,H]，x₃∈[1,W]，y₃∈[1,H]，x₃＝x'/z'，y₃＝y'/z'，(x',y',z')^T＝A₂R₂^‑1(u,v,w)^T‑A₂R₂^‑1T₂，(x',y',z')^T为(x',y',z')的转置矩阵，A₂为当前辅助视点的内参矩阵，R₂^‑1为R₂的逆矩阵，R₂为当前辅助视点的旋转矩阵，(u,v,w)^T为(u,v,w)的转置矩阵，R₁为t时刻的第k'个参考视点的旋转矩阵，A₁^‑1为A₁的逆矩阵，A₁为t时刻的第k'个参考视点的内参矩阵，(x₁,y₁,1)^T为(x₁,y₁,1)的转置矩阵，T₁为t时刻的第k'个参考视点的平移矩阵，T₂为当前辅助视点的平移矩阵，表示t时刻的第k'个参考视点的深度图像中坐标位置为(x₁,y₁)的像素点的场景深度，$Z_t^{k\prime }(x_1,y_1)={(\frac{1}{255}\times D_t^{k\prime }(x_1,y_1)\times (\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}})}^{-1},$表示t时刻的第k'个参考视点的深度图像中坐标位置为(x₁,y₁)的像素点的深度值，Z_near表示深度图像中最小的场景深度值，Z_far表示深度图像中最大的场景深度值；②‑5、将t时刻的第k'+1个参考视点的彩色图像中的每个像素点从第k'+1个参考视点投影到当前辅助视点，得到t时刻的第k'+1个参考视点的绘制图像，记为将t时刻的第k'+1个参考视点的绘制图像中坐标位置为(x₄,y₄)的像素点的第i个分量的值记为假设t时刻的第k'+1个参考视点的绘制图像中坐标位置为(x₄,y₄)的像素点为t时刻的第k'+1个参考视点的彩色图像中坐标位置为(x₂,y₂)的像素点从第k'+1个参考视点投影到当前辅助视点中的，则令其中，表示t时刻的第k'+1个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k'+1个参考视点的彩色图像中坐标位置为(x₂,y₂)的像素点的第i个分量的值，x₂∈[1,W]，y₂∈[1,H]，x₄∈[1,W]，y₄∈[1,H]，x₄＝x″/z″，y₄＝y″/z″，(x″,y″,z″)^T＝A₂R₂^‑1(u',v',w')^T‑A₂R₂^‑1T₂，(x″,y″,z″)^T为(x″,y″,z″)的转置矩阵，${(u^{\prime },v^{\prime },w^{\prime })}^T=R_3{A_3}^{-1}{(x_2,y_2,1)}^T{Z}_t^{k\prime +1}(x_2,y_2)+T_3,$(u',v',w')^T为(u',v',w')的转置矩阵，R₃为t时刻的第k'+1个参考视点的旋转矩阵，A₃^‑1为A₃的逆矩阵，A₃为t时刻的第k'+1个参考视点的内参矩阵，(x₂,y₂,1)^T为(x₂,y₂,1)的转置矩阵，T₃为t时刻的第k'+1个参考视点的平移矩阵，表示t时刻的第k'+1个参考视点的深度图像中坐标位置为(x₂,y₂)的像素点的场景深度，$Z_t^{k\prime +1}(x_2,y_2)={(\frac{1}{255}\times D_t^{k\prime +1}(x_2,y_2)\times (\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}})}^{-1},$表示t时刻的第k'+1个参考视点的深度图像中坐标位置为(x₂,y₂)的像素点的深度值；②‑6、根据t时刻的第k'个参考视点的绘制图像和t时刻的第k'+1个参考视点的绘制图像计算当前辅助视点的残差图像，记为将中坐标位置为(x,y)的像素点的第i个分量的值记为其中，表示对t时刻的第k'个参考视点的绘制图像中坐标位置为(x,y)的像素点和t时刻的第k'+1个参考视点的绘制图像中坐标位置为(x,y)的像素点进行视点融合的操作；②‑7、将t时刻的(K‑1)×N个辅助视点中下一个待处理的辅助视点作为当前辅助视点，然后返回步骤②‑3继续执行，直至t时刻的(K‑1)×N个辅助视点均处理完毕，得到t时刻的(K‑1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为其中，1≤l≤(K‑1)×N，l的初始值为1，表示t时刻的第l个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；③服务端的三维视频编码模块根据设定的编码预测结构，对t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K‑1)×N个辅助视点各自的残差图像进行编码，再将编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K‑1)×N个辅助视点各自的残差图像传输给用户端；④用户端的视点解码模块对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K‑1)×N个辅助视点各自的残差图像进行解码，得到解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K‑1)×N个辅助视点各自的残差图像，将解码后的t时刻的第k个参考视点的彩色图像记为将解码后的t时刻的第k个参考视点的深度图像记为将解码后的t时刻的第l个辅助视点的残差图像记为其中，表示解码后的t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值，表示解码后的t时刻的第l个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；⑤根据用户所选择的视点，用户端的任意视点绘制模块根据解码后的t时刻的K个参考视点的K幅彩色图像和t时刻的(K‑1)×N个辅助视点各自的残差图像，快速生成相应的参考视点信号和辅助视点信号，再将生成的参考视点信号和辅助视点信号传输给用户端的视频显示模块进行显示；所述的步骤⑤的具体过程为：⑤‑1、假设用户所选择的视点为实际存在的t时刻的第p个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第p个参考视点的彩色图像中的每个像素点从t时刻的第p个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第p个参考视点的绘制图像，记为然后根据解码后的t时刻的第p个参考视点的彩色图像快速生成t时刻的第p个参考视点信号，记为并根据解码后的t时刻的第l″个辅助视点的残差图像和t时刻的第p个参考视点的绘制图像快速生成t时刻的第l″个辅助视点信号，记为再将生成的t时刻的第p个参考视点信号和t时刻的第l″个辅助视点信号传输给用户端的视频显示模块进行显示，其中，此处1≤p≤K‑1，此处l″＝(p‑1)×N+1，表示解码后的t时刻的第p个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第l″个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第p个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第p个参考视点信号中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第l″个辅助视点信号中坐标位置为(x,y)的像素点的第i个分量的值，${\bar{I}}_{t,i}^{l^{\prime \prime }}(x,y)={\tilde{E}}_{t,i}^{l^{\prime \prime }}(x,y)+{\tilde{I}}_{t,i}^{p\to l^{\prime \prime }}(x,y);$⑤‑2、假设用户所选择的视点为实际存在的t时刻的第K个参考视点，则用户端的任意视点绘制模块将解码后的t时刻的第K个参考视点的彩色图像中的每个像素点从t时刻的第K个参考视点投影到t时刻的第l″个辅助视点中，得到t时刻的第K个参考视点的绘制图像，记为然后根据解码后的t时刻的第K个参考视点的彩色图像快速生成t时刻的第K个参考视点信号，记为并根据解码后的t时刻的第l″个辅助视点的残差图像和t时刻的第K个参考视点的绘制图像快速生成t时刻的第l″个辅助视点信号，记为再将生成的t时刻的第K个参考视点信号和t时刻的第l″个辅助视点信号传输给用户端的视频显示模块进行显示，其中，此处l″＝(K‑1)×N，表示解码后的t时刻的第K个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第K个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第K个参考视点信中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第l″个辅助视点信号中坐标位置为(x,y)的像素点的第i个分量的值，${\bar{I}}_{t,i}^{l^{\prime \prime }}(x,y)={\tilde{E}}_{t,i}^{l^{\prime \prime }}(x,y)+{\tilde{I}}_{t,i}^{p\to l^{\prime \prime }}(x,y);$⑤‑3‑1、假设用户所选择的视点为并不存在的虚拟视点，则选择与该虚拟视点最为邻近的两个辅助视点，假设分别为t时刻的第l″'个辅助视点和t时刻的第l″'+1个辅助视点，并且令与t时刻的第l″'个辅助视点左相邻的参考视点为t时刻的第q₁个参考视点，令与t时刻的第l″'+1个辅助视点左相邻的参考视点为t时刻的第q₂个参考视点，将t时刻的第l″'个辅助视点与t时刻的第q₁个参考视点之间的距离表示为β，将t时刻的第l″'+1个辅助视点与第q₂个参考视点之间的距离表示为γ，其中，1≤l″'≤(K‑1)×N‑1，1≤q₁≤K‑1，1≤q₂≤K‑1，0<β<1，0<γ<1；⑤‑3‑2、用户端的任意视点绘制模块将解码后的t时刻的第q₁个参考视点的彩色图像中的每个像素点从t时刻的第q₁个参考视点投影到t时刻的第l″'个辅助视点中，得到t时刻的第q₁个参考视点的绘制图像，记为或者将解码后的t时刻的第q₁+1个参考视点的彩色图像中的每个像素点从t时刻的第q₁+1个参考视点投影到t时刻的第l″'个辅助视点中，得到t时刻的第q₁+1个参考视点的绘制图像，记为然后根据解码后的t时刻的第l″'个辅助视点的残差图像及t时刻的第q₁个参考视点的绘制图像或t时刻的第q₁+1个参考视点的绘制图像快速生成t时刻的第l″'个辅助视点信号，记为其中，表示解码后的t时刻的第q₁个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第q₁个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第q₁+1个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第q₁+1个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第l″'个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第l″'个辅助视点信号中坐标位置为(x,y)的像素点的第i个分量的值，⑤‑3‑3、用户端的任意视点绘制模块将解码后的t时刻的第q₂个参考视点的彩色图像中的每个像素点从t时刻的第q₂个参考视点投影到t时刻的第l″'+1个辅助视点中，得到t时刻的第q₂个参考视点的绘制图像，记为或者将解码后的t时刻的第q₂+1个参考视点的彩色图像中的每个像素点从t时刻的第q₂+1个参考视点投影到t时刻的第l″'+1个辅助视点中，得到t时刻的第q₂+1个参考视点的绘制图像，记为然后根据解码后的t时刻的第l″'+1个辅助视点的残差图像及t时刻的第q₂个参考视点的绘制图像或t时刻的第q₂+1个参考视点的绘制图像快速生成t时刻的第l″'+1个辅助视点信号，记为其中，表示解码后的t时刻的第q₂个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第q₂个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第q₂+1个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第q₂+1个参考视点的绘制图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第l″'+1个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值，表示生成的t时刻的第l″'+1个辅助视点信号中坐标位置为(x,y)的像素点的第i个分量的值，⑤‑3‑4、用户端的任意视点绘制模块将生成的t时刻的第l″'个辅助视点信号和t时刻的第l″'+1个辅助视点信号传输给用户端的视频显示模块进行显示。