基于运动信息与深度信息的3D视频编码传输方法

摘要

本发明在传统的色彩视频加深度图的3D视频编码方法中，通过获取摄像机镜头中心的运动信息/绝对方位信息，运动信息/绝对方位信息结合色彩图像信息和深度图像信息，准确地估计位于不同深度的宏块的全局运动，在帧与帧之间进一步去冗余，大大减小了压缩后视频的存储空间，降低了对传输或通讯带宽的要求，同时缩短了视频压缩所需的计算时间。

主权项

一种基于运动信息与深度信息的3D视频编码传输方法，其特征在于：使用一设置有色彩图像传感器、深度图像传感器和运动传感器的摄像机对被拍摄对象进行拍摄，色彩图像传感器用于采集被拍摄对象的色彩图像信息，深度图像传感器用于采集被拍摄对象的深度图像信息，运动传感器用于采集摄像机镜头中心空间运动的运动信息，该运动信息包括位移信息以及转动角度信息，所述编码传输方法包括以下步骤：第一步、数据采样以设定帧率对所述色彩图像信息和深度图像信息进行采样；以至少一倍于所述设定帧率的采样率对所述运动信息进行采样；第二步、数据同步根据系统绝对时间对所述色彩图像信息、深度图像信息以及运动信息进行时间同步，即将色彩图像信息、深度图像信息以及运动信息在系统绝对时间上进行一一对应；第三步、图像渲染通过摄像机对被拍摄对象进行拍摄获取第一帧图像，并对其进行编码；摄像机镜头中心空间运动引起的变换矩阵[T]如下：$\left[T\right]=\left[\begin{array}{cccc}\sin \alpha \cos \gamma -\cos \beta \sin \alpha \sin \gamma & \sin \alpha \cos \gamma +\cos \beta \cos \alpha \sin \gamma & \sin \beta \sin \alpha & 0\\ -\cos \alpha \sin \gamma -\cos \beta \sin \alpha \cos \gamma & -\sin \alpha \sin \gamma +\cos \beta \cos \alpha \cos \gamma & \sin \beta \cos \gamma & 0\\ \sin \beta \sin \alpha & -\sin \beta \cos \alpha & \cos \beta & 0\\ x& y& z& 1\end{array}\right];$上述矩阵中，x为摄像机镜头中心在X轴上的位移，y为摄像机镜头中心在Y轴上的位移，z为摄像机镜头中心在Z轴上的位移；α、β、γ为欧拉角，α表示摄像机镜头中心绕Z轴旋转的角度，经过α角度之后，摄像机镜头中心绕X轴旋转的角度为β，然后继续绕Z轴旋转的角度是γ；Y轴为摄像机在初始位置时垂直于摄像机镜头平面的轴，X轴为垂直于Y轴的水平轴，Z轴为垂直于Y轴的竖直轴；当N>1时，由色彩图像信息和深度图像信息可知第N‑1帧中坐标为[X1，Y1]的像素的深度值为Z1，通过以下公式得到第N‑1帧中该像素色彩图像信息和深度图像信息的齐次3D坐标[x1，y1，z1,1]：[x1，y1，z1,1]＝[(X1‑w/2)×Z1×k，Z1，(‑Y1+h/2)×Z1×k，1]；上述公式中，w表示摄像机所拍摄照片X轴上的像素总数，h表示照片Y轴上的像素总数，k＝tan(θ/2)/(h/2)，其中θ表示摄像机的垂直视角；通过以下公式得出经过摄像机镜头中心空间运动后第N‑1帧中坐标为[X1，Y1]的像素在第N帧参考帧中的色彩图像参考帧信息和深度图像参考帧信息的齐次3D坐标[x2，y2，z2,1]：[x2，y2，z2,1]＝[x1，y1，z1,1]×[T]；通过以下公式从经过摄像机镜头中心空间运动后第N‑1帧中坐标为[X1，Y1]的像素在第N帧中色彩图像参考帧信息和深度图像参考帧信息的齐次3D坐标[x2，y2，z2,1]得到经过摄像机镜头中心空间运动后第N‑1帧中坐标为[X1，Y1]的像素在第N帧参考帧中新的2D坐标[X2，Y2]：[X2，Y2]＝[x2/k/y2+w/2，‑z2/k/y2‑h/2]；第四步、编码结合摄像机实际拍摄到的第N帧中各像素的2D坐标和经过摄像机镜头中心空间运动后第N‑1帧像素在第N帧参考帧中新的2D坐标，使用视频编码标准对应的编码器进行编码，得到第N帧的色彩图像信息流和深度图像信息流；第五步、传输在视频传输过程中传输编码后的色彩图像信息流、深度图像信息流以及摄像机镜头中心的运动信息；第六步、解码当N为大于1的整数时，结合已解码的第N‑1帧的色彩图像信息、深度图像信息以及第N‑1帧到第N帧过程中摄像机镜头中心所经历空间运动的运动信息，采用第三步的图像渲染方法分别渲染得到第N帧的色彩图像参考帧信息与深度图像参考帧信息，并结合第N帧的色彩图像信息流和深度图像信息流，采用相应解码器进行解码。