一种自然三维电视系统

摘要

本发明公开了一种自然三维电视系统。由多目立体相机获取场景的彩色图像，经图像校正模块进行亮度和色彩补偿后，通过内容制作模块提取出三路码流，三路码流为主相机彩色图像、主相机深度图像和辅相机的遮挡信息；接着用标准编码器进行分层编码，产生的压缩码流在信道上传输至标准解码器，经标准解码器重新解码成三路码流；这三路码流通过视点重构模块，重构出主相机视点、辅相机视点和虚拟视点，经显示处理模块合成一个适合显示器显示的图像，通过显示设备显示。本发明的优势在于兼容于传统2D，能重构的侧向视点多，但同时又能保证传输码率低。

主权项

1.一种自然三维电视系统，其特征在于，由三目立体相机获取场景的彩色图像，选取其中一路相机作为主相机，其余相机作为辅相机；获取的彩色图像经图像校正模块进行亮度和色彩补偿后，通过内容制作模块提取出三路码流，三路码流为主相机彩色图像、主相机深度图像和辅相机的遮挡信息；接着用标准编码器进行压缩编码，产生的压缩码流在信道上传输至标准解码器，经标准解码器重新解码成主相机彩色图像、主相机深度图像和辅相机的遮挡信息三路码流；解码成的三路码流通过视点重构模块，重构出主相机视点、辅相机视点和虚拟视点，经显示处理模块合成一个3D显示器显示的立体图像，通过3D显示设备显示；当信道带宽受限时，可丢弃遮挡信息和深度信息，丢弃遮挡信息优先，当标准解码器接收到的视频码流包含主相机的彩色图像和深度信息时，由标准解码器负责解码后，视点重构模块只重构主相机视点和虚拟视点，经显示处理模块处理后，送至3D显示器显示；当标准解码器接收到的视频码流包含主相机的彩色图像时，由标准解码器负责解码后，通过视点重构模块和显示处理模块后，直接送至2D显示器；所述的三目立体相机的所有相机呈平行光轴一维排列，相机之间的基线距离相等，相机中心光轴都垂直于相机连线平面，所有相机都是普通的相机；或者，所有相机呈平行光轴一维排列，相机之间的基线距离相等，相机中心光轴都垂直于相机连线平面，主相机是普通的相机，辅相机内部的CCD作平移，其中在主相机左边的辅相机内部CCD向左平移h，在主相机右边的辅相机内部CCD向右平移h，h的计算公式如下：其中f是辅相机镜头焦距，b是辅相机离主相机的距离，Zc是拍摄场景相同时，拍摄场景到主相机与辅相机连线的垂直距离；所述的内容制作模块，包括：深度计算单元，用于从三目立体相机中提取主相机的深度图像；基于深度的图像渲染DIBR单元，是利用主相机的彩色图像和深度图像渲染出辅相机所在位置的图像，部分无法渲染的空洞区域不作填充处理；加法器，把每个辅相机的原始图像减去用基于深度的图像渲染DIBR单元渲染出的图像，其残差就是部分无法渲染的空洞区域，即遮挡信息；所述的视点重构模块包括：基于深度的图像渲染DIBR单元，是利用主相机视点的彩色图像和深度图像渲染出辅相机视点所在位置的图像，以及其他位置的虚拟视点，部分无法渲染的空洞区域不作填充处理；加法器，用基于深度的图像渲染DIBR单元渲染出的辅相机视点图像，加上对应的遮挡信息，重构出完整的辅相机视点；空洞填充单元，利用空洞区域邻接的图像和辅相机视点的遮挡信息，填补用基于深度的图像渲染DIBR单元重构出的虚拟视点的空洞。