一种多视点可伸缩编码框架

摘要

本发明公开了一种多视点可伸缩编码框架，对一个以上视点信息进行视频流传输编码，首先根据视点的重要程度，对多个视点进行分层，按其重要性依次分为I视点层、P视点层和B视点层，以实现视点数目的伸缩能力；然后根据立体显示终端对多视点视频图像的分辨率需求，对各个视点视频图像进行空域分层，以实现视点图像分辨率的伸缩能力；最后，根据立体显示终端的传输带宽条件，对各个视点的高分辨率空域层视频图像进行质量分层，从而实现视点视频质量的伸缩能力，提供了可伸缩性的多视点视频流，使其可同时适用于不同视点数目、不同分辨率及带宽条件的立体显示终端。

主权项

1、一种多视点可伸缩编码框架，对一个以上视点信息进行视频流传输编码，首先根据视点的重要程度，对多个视点进行分层，按其重要性依次分为I视点层、P视点层和B视点层，以实现视点数目的伸缩能力；然后根据立体显示终端对多视点视频图像的分辨率需求，对各个视点视频图像进行空域分层，以实现视点图像分辨率的伸缩能力；最后，根据立体显示终端的传输带宽条件，对各个视点的高分辨率空域层视频图像进行质量分层，从而实现视点视频质量的伸缩能力；具体编码框架构成方式如下：(1)根据立体显示终端需求，设置多视点编码层数，按照I视点层、P视点层、B视点层的顺序依次编码各个视点层；(2)设置每个视点层的空域分层数，从空域层0到空域层n依次编码；空域层0的图像分辨率最小，空域层n的图像分辨率最大；其中空域层0的编码方式：A、I视点层采用基于关键参考帧的编码方式编码：根据关键参考帧选择策略判断待编码帧是否为关键参考帧；关键参考帧使用前一个I帧或者关键参考帧的重建图像为参考，进行帧间预测编码；非关键参考帧使用层次B帧编码方式编码；B、P视点层以邻近的I视点层或P视点层同时刻同分辨率的重建图像为视点间参考图像，采用基于关键参考帧的编码方式编码；若视点间参考图像为I帧或关键参考帧，则P视点层的待编码帧为关键参考帧；关键参考帧编码：当视点间参考图像为I帧时，进行单向视差预测编码；当视点间参考图像为关键参考帧时，进行视差/运动联合预测编码；非关键参考帧使用层次B帧编码方式编码；C、B视点层以邻近的已编码视点层同时刻同分辨率的重建图像为视点间参考图像进行编码；若视点间参考图像为I帧或关键参考帧，使用双向视差预测编码；若视点间参考图像为非关键参考帧，使用层次B帧编码方式编码。