交互式的观察点视频系统和方法

摘要

一种用于生成、然后呈现和显示一交互式观察点视频的系统和过程，在所述交互式观察点视频中，用户能在随意操纵(停顿、减慢或倒转)时间并改变观察点的同时观看到动态的场景。通常，交互式观察点视频用少量摄像机生成以捕获多个视频流。采用了多视图的3D重构和遮蔽技术来创建视频帧的分层表示，这能在允许实时呈现的同时，既能进行有效的压缩、又能对所捕获的动态场景进行交互式回放。

主权项

一种用于生成交互式观察点视频的计算机实现方法，包括使用计算机来执行以下过程动作：输入多个同步视频流和校准数据，其中每个视频流都描述了同一场景的不同观察点，所述校准数据定义了与每个视频流相关的几何和光度参数；对于来自同步视频流的每组同时期帧，生成所述场景的一3D重构，使用所述重构来为该组同时期帧内的每个帧计算一差异图，以及对于该组同时期帧内的每个帧，基于差异图来标识有效景深不连续性的区域，生成一主层和一边界层以便为所考虑的帧生成一分层表示，所述主层包括与一帧内不显示出超过规定阈值的景深不连续性的区域相关联的像素信息、以及来自景深不连续性超过该阈值的区域的背景像素信息，所述边界层包括与景深不连续性超过该阈值的区域相关联的前景像素信息；以及生成一交互式观察点视频文件，所述文件包括从所输入的视频流的帧生成的分层表示和所述校准数据。