一种多视点视频流的自由视点视频重建方法及系统

摘要

本发明涉及一种多视点视频流的自由视点视频重建方法及系统，其特征在于在客户端图形用户界面中设置自由视点导航器和自由视点播放器两个区域，在自由视点导航器中设置若干小窗口和一个浮动聚焦框；用户通过移动浮动聚焦框在自由视点导航器区域内进行选择；自由视点播放器从流媒体服务器接收与自由视点导航器中当前被浮动聚焦框所覆盖或部分覆盖的各小窗口所对应的视点码流，然后调用虚拟视点合成算法生成一个中间虚拟视点并显示。本发明的服务器不需要根据不同用户的不同观察位置分别为其合成相应的虚拟视点，可降低对服务器处理能力和性能的要求。本发明方法及系统可广泛用于各种基于多视点视频流的应用场合，例如各种体育竞技比赛、博览会和造势会等的视频直播活动。

主权项

1、一种多视点视频流的自由视点视频重建方法，包括以下操作步骤：(1)视频采集/编码器为它所连接的每台摄像机分别生成一个会话描述文件并将其拷贝至流媒体服务器，然后启动视频采集和编码过程并将编码后的视频码流实时向流媒体服务器转发；(2)流媒体服务器将上述生成的所有会话描述文件以Web页面中统一资源定位符URL的形式发布出去，供客户端进行选择和点播；(3)在客户端图形用户界面中设置自由视点导航器和自由视点播放器两个区域，在自由视点导航器中设置若干图像或视频小窗口，在其上方设置一个浮动聚焦框；(4)用户通过移动浮动聚焦框在自由视点导航器区域内进行选择；(5)自由视点导航器计算当前被浮动聚焦框所覆盖或部分覆盖的所有小窗口中被覆盖部分的比例关系；(6)自由视点导航器从位于流媒体服务器上的Web页面获取当前被浮动聚焦框所覆盖或部分覆盖的所有小窗口所对应的各摄像机视点视频流的URL；(7)自由视点导航器将上述步骤(5)中计算出来的比例关系和步骤(6)中获得到的URL地址发送至自由视点播放器；(8)自由视点播放器同时向流媒体服务器发送针对上述各URL的点播请求；(9)流媒体服务器接收到各点播请求后，首先向自由视点播放器发送对应于每一个点播请求的会话描述信息，然后从当前位置开始依次转发对应于该会话描述信息的压缩视频码流；(10)自由视点播放器从接收到的各视点会话描述信息中提取各摄像机的参数信息并缓存；(11)自由视点播放器依次从流媒体服务器接收对应于当前所选择各视点的后续压缩视频码流并解码；(12)当自由视点播放器解码完同一时刻对应于各视点的多个视频帧后，以各视点所对应小窗口被覆盖部分的比例关系以及摄像机参数信息为参数调用虚拟视点合成算法，根据上述多个视频帧合成出一个中间虚拟视频帧并显示，转至步骤(4)。