一种交互式三维视频系统中的信号处理方法

摘要

本发明公开了一种交互式三维视频系统中的信号处理方法，其首先将每相邻的两个参考视点之间的多个虚拟视点作为辅助视点，并获取每个辅助视点的残差图像，然后服务端的三维视频编码模块对各幅彩色图像、深度图像和残差图像进行编码后传输给用户端，接着用户端的视点解码模块对编码后的各幅图像进行解码，最后任意视点绘制模块生成参考视点信号和辅助视点信号传输给视频显示模块进行显示，优点是由于在服务端只需要传输包含较少信息量的残差图像作为辅助视点信息，因此降低了系统服务端的编码复杂程度，由于在用户端只需要简单的三维映射和加法操作就能生成虚拟视点信号，因此降低了对用户端系统的要求，从而降低了交互式三维视频系统的复杂度。

主权项

1.一种交互式三维视频系统中的信号处理方法，该交互式三维视频系统主要由服务端的三维视频编码模块以及用户端的视点解码模块、任意视点绘制模块和视频显示模块构成，其特征在于该设计方法包括以下步骤：①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为其中，K≥2，1≤k≤K，k的初始值为1，i=1,2,3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x,y)表示彩色图像和深度图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，表示t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值；②将t时刻的K个参考视点中每相邻的两个参考视点作为一对关联参考视点，将每对关联参考视点之间的N个虚拟视点均作为辅助视点，然后采用基于深度图像绘制的方法，获取t时刻的(K-1)×N个辅助视点各自的残差图像，将t时刻的第l个辅助视点的残差图像记为其中，N>1，1≤l≤(K-1)×N，l的初始值为1，表示t时刻的第l个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；③服务端的三维视频编码模块根据设定的编码预测结构，对t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行编码，再将编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像传输给用户端；④用户端的视点解码模块对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像进行解码，得到解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像、t时刻的(K-1)×N个辅助视点各自的残差图像，将解码后的t时刻的第k个参考视点的彩色图像记为将解码后的t时刻的第k个参考视点的深度图像记为将解码后的t时刻的第l个辅助视点的残差图像记为其中，表示解码后的t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值，表示解码后的t时刻的第k个参考视点的深度图像中坐标位置为(x,y)的像素点的深度值，表示解码后的t时刻的第l个辅助视点的残差图像中坐标位置为(x,y)的像素点的第i个分量的值；⑤根据用户所选择的视点，用户端的任意视点绘制模块根据解码后的t时刻的K个参考视点的K幅彩色图像和t时刻的(K-1)×N个辅助视点各自的残差图像，快速生成相应的参考视点信号和辅助视点信号，再将生成的参考视点信号和辅助视点信号传输给用户端的视频显示模块进行显示。