一种对三维场景的表达方法及其电视系统

摘要

本发明公开了一种对三维场景的表达方法。在本发明涉及的表达方法中，首先根据输入的多路视频图像序列和从各路视频图像序列中提取的信息，对实际场景中的物体的语义及边缘进行识别和提取，并得出三维场景的深度信息，在此基础上，对处于中间视点的一路视频图像进行分割；对分割后的对象，根据其相互之间的遮挡关系，将从其它视点视频图像中提取的遮挡信息加入被遮挡对象被遮挡的位置中；最后根据提取的深度信息，用一个深度函数来表示各对象的深度，或用深度级和深度变化模式共同表示各对象的深度。本发明还同时公开了一种应用该表达方法处理输入的多路视频图像数据的电视系统。

主权项

一种对三维场景的表达方法，其特征在于包括如下步骤：1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息；利用物体的语义信息识别出物体的语义；3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；6)根据场景和物体的深度信息，用如下深度函数来表征分割出的对象的深度：(1)如果对象的深度是沿空间中单一的一个方向线性变化，则用以下的深度函数来表达：            Z＝a·X+b·Y+c其中，X和Y分别为对象对应像素点的横坐标和纵坐标，Z表示该像素点的深度值，a，b，c是参数值，由对象深度变化的方向所决定；(2)如果对象的深度变化起伏小，可看作整个对象的深度是一致的，深度值由对象深度的统计信息来确定，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，深度函数可简化表达如下：                Z＝c其中，Z表示对象中某一像素点的深度值，c是参数值，代表了对象的深度的一个统计值，这个统计值是均值、众数和中位数中的一种；(3)如果对象的不同部分的深度是沿空间中两个或两个以上的方向线性变化的，则对每一个方向的深度变化都建立一个深度函数，第i个方向的深度函数可表达如下；                Zi＝ai·X+bi·Y+ci其中，X和Y分别为对象中深度沿空间中第i个方向线性变化的某一像素点的横坐标和纵坐标，Zi表示该像素点的深度值，ai，bi，ci是参数值，由对象深度变化的方向所决定；(4)如果对象的深度变化符合一个二次曲面，则可用以下的深度函数来表达：            Z＝a0·X2+a1X+b0·Y2+b1Y+cX·Y+d其中，X和Y分别为对象中的像素点的横坐标和纵坐标，Z表示该像素点的深度值，a0，a1，b0，b1，c，d是参数值，由对象深度的变化所决定；(5)对三维场景中经常出现的、能识别出语义的物体根据对其深度变化的经验建立起相应的深度函数，当对象中的物体的语义被识别出来，可用该物体对应的深度函数来表达其深度；(6)如果对象的深度变化不符合以上所述的任何一种情况，则根据对象深度的统计信息确定一个深度值来表达整个对象的深度，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度值可用均值、众数和中位数中的一种来表示。