多视点视频流多速率组播传输的最优速率分配方法

摘要

本发明提出了一种多视点视频流多速率组播传输的最优速率分配方法，其构思是：将多视点视频流传输中多速率多径路由、中继节点的网络流量控制进行了联合优化，并且在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾了视点和帧的传输顺序问题，一方面，为每个视频流寻求合适的传输网络使所有需要该视点的用户节点的失真最小化；另一方面，同时满足用户对视点的请求度和帧之间解码依赖性的需求。此外，本发明还采用拉格朗日对偶方法对原始凸优化问题进行分解并求解，既实现了资源的最优分配，又便于分布式求解。该方法能有效地利用网络的带宽资源，实现异构网络环境中所有用户整体失真最小化，为用户端提供更佳的视频质量。

主权项

一种多视点视频流多速率组播传输的最优速率分配方法，其特征在于根据上述发明构思，采用下述步骤实现异构网络环境中所有用户整体失真最小化，其步骤如下：第一，将多视点视频流传输中的多速率多径路由、中继节点的网络流量控制进行联合优化；第二，在选择最佳组播传输路径和分配各视点视频流传输速率时，兼顾视点和帧的传输优先级顺序，不仅为每个视频流寻求传输网络使所有需要该视点的用户节点的失真最小化，而且满足网络环境中所有用户对视点的请求度和帧之间解码依赖性的需求；第三，采用分布式的速率分配算法，即采用拉格朗日对偶方法对原始凸优化问题进行分解和求解，既实现了资源的最优分配，又便于分布式求解；上述第一步骤中的联合优化是：网络中每个接收节点在接收需要的视频流时，同时选用多条路由路径；基于这些路径，合理分配网络资源给各个视点，进一步提高网络的吞吐量；上述第二步骤中的兼顾视点和帧的传输优先级顺序是：确定视点和帧的传输优先级计算方法，在选择路由和进行网络流量分配时，传输优先级较高的视点分配的网络流量较多，每个视点分配的网络流量首先用于传输优先级比较高的帧；上述第三步骤中的分布式的速率分配算法是：利用拉格朗日对偶方法，对原始凸优化问题进行分解和求解，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式实现链路传输速率的全局最优化分配；以网络中所有用户整体失真最小化为目标函数，以链路容量限制、视点编码速率限制为约束函数，建立多视点视频流多速率组播传输的资源分配凸优化数学模型；具体方法如下：1．网络模型的建立将网络抽象为有向图，其中是节点的集合，分为源节点集合、中间节点集合和接收节点集合，是节点之间链路的集合；对于每条链路对应有限的传输带宽；假定一个多视点视频包含个视点，每一个视点的编码速率为；假设从源节点到每个接收节点均有多条传输路径，表示接收节点在接收第个视点数据时，第条路径上分配的网络流量大小；矩阵表示链路和接收节点的传输路径之间的关系，其中的元素表示链路包含于接收节点的第条传输路径中，表示链路没有包含在接收节点的第条传输路径中；2. 视点和帧的传输优先级的计算在用户端，显示设备周期性检测用户的位置，假定用户端和视点的视角夹角为，用户端对视点的需求度为，其计算方式为：，设置用户端视点的选择阈值为，若视点的需求度大于视点选择阈值，则用户端选择该视点，并向存储多视点视频数据的服务器发送该视点请求，否则用户端不选择该视点，不向服务器发送该视点请求，服务器收集所有用户的视点请求信息，并以此计算每个视点的传输优先级，即传输网络中所有用户对视点的需求度之和作为视点的传输优先级，其表达式为：；在多视点视频编码KS‑IPP结构中，视点的编码顺序按视点的传输优先级确定，将传输优先级最高的视点作为第一个视点，并根据视点传输优先级从高到低的顺序依次确定其他视点在KS‑IPP编码结构中的顺序，多视点视频中帧的传输优先级由该帧所在视点的传输优先级和该帧的类型确定，多视点视频编码KS‑IPP结构中包含不同类型的帧，其具体如下：帧、帧、帧、帧、帧，每一类帧丢失均导致一部分帧不能正常解码，若帧或者帧丢失，则帧或者帧所在的视点和该视点外解码依赖帧或者帧的其他视点均不能正常解码，若帧丢失，则该帧所在视点内除帧均不能正常解码，若帧丢失，则该帧的相邻帧不能正常解码，帧丢失不影响其他帧的正常解码，因此，设视点中的第个帧丢失所引起的不能正常解码的帧集合，其表达式为:上述公式中，表示视点中的第个帧，表示多视点视频中的视点数，表示每个GOP(Group of Picture)中帧的数目，集合可分为两部分：只包含视点内帧的集合和包含视点以外帧的集合，在计算帧的传输优先级时，首先视点中的第个帧的传输优先级等于该帧丢失时视点中不能正常解码的帧的传输优先级之和，即集合中帧的传输优先级之和，其计算表达式表示为：式中，表示视点中第个帧的传输优先级，表示视点中第个帧，表示帧的传输优先级，表示帧的丢失导致视点中不能正常解码的帧的集合，表示每个GOP(Group of Picture)中帧的数目，当在编码帧时以其他帧为参考帧，其他帧的编码均不依赖于帧，则在每个视点内帧的传输优先级是最小的，帧的传输优先级是计算其他帧的传输优先级的基础，在每个视点中，设所有帧的传输优先级之和等于该视点的传输优先级，其计算表达式为：式中，表示第个视点的传输优先级，表示视点中第个帧，表示帧的传输优先级，表示视点的一个GOP(Group of Picture)内所包含帧的集合，表示每个GOP中帧的数目，根据以上计算表达式和计算表达式，即可得到每个视点中各个帧的传输优先级，在多视点视频编码KS‑IPP结构中，每个视点的关键帧帧或者帧采用视点内编码和视点间编码的方式，在计算帧或者帧的传输优先级时还要考虑视点间编码，一个帧或者帧的传输优先级可以表示为该帧丢失而不能正常解码的所有关键帧的传输优先级之和，即集合中关键帧的传输优先级之和：式中，表示视点中第0个帧的传输优先级，表示视点中第0个帧，表示帧的传输优先级，表示帧的丢失导致视点以外的视点中不能正常解码的帧的集合，表示多视点视频中视点的数目，根据视点和帧的传输优先级，若在一个用户端的可用网络流量不足以传输所有选择的视点时，则按照传输优先级从高到低的顺序传输视点；若可用网络流量不足以传输一个视点中所有的帧，则按照传输优先级从高到低的顺序传输视点内的帧，这样可以提高用户端接收的视频质量，3．建立凸优化数学模型目标问题P:    min约束条件：1)；2)；3)；优化目标：使异构网络环境中的所有用户失真总和最小化；其中为视点对与用户的重要性，，约束条件：1)  规定每条链路上的实际网络流量消耗量小于等于该链路的传输容量；2)  对应于各个接收节点，用于接收每个视点的网络流量小于等于该视点的编码码率；3)  规定各个接收节点在每条路径上的网络流量必须大于等于零；4. 对原始凸优化问题分布式求解目标问题P1:约束条件：；步骤1：定义拉格朗日对偶：其中，是拉格朗日乘子；步骤2：定义拉格朗日对偶函数：；步骤3：定义对偶问题：；步骤4：采用原始‑对偶算法，同时更新原始变量和对偶变量，逐步逼近最优点，其中和是正的步长值，表示取正值的运算：在以上更新过程中，可视为拥塞代价，当总需求逼近可提供的网络流量上限时，上升；反之，下降，定义为满足目标问题P1中约束条件的最优化拉格朗日乘子，是第条链路上总的拥塞代价，所有更新过程可以分布式实现，每条链路、每个节点只需要局部信息，就可完成更新。