一种多方视频通讯媒体流控制系统和方法

摘要

本发明的一种多方视频通讯媒体流控制系统和方法，该系统包括媒体流传输控制路径、通讯终端和服务器，其中通讯终端包括RTCP单元、RTP输出单元和RTP输入单元，TS编码单元，I帧编码单元，媒体缓冲单元，TS解码单元，I帧解码单元及流控制单元；服务器包括I帧存储单元，流控制单元及通讯子单元，其中该通讯子单元包括RTCP传输单元、RTP输出单元和RTP输入单元，I帧提取单元，RTP解包单元，媒体缓冲单元及媒体源单元。本发明提出一种将静态图像与TS流混合传输的方法及一种媒体流无缝切换和控制的方法，在降低服务器和通讯终端负载的同时能够提供足够多的信息，简化了多方视频通讯的过程。

主权项

一种多方视频通讯媒体流控制系统，包括媒体流传输控制路径，负责传输音视频数据和控制信号；通讯终端，负责发送和接收上述音视频数据和控制信号；和服务器，负责响应上述控制信号，为视频通讯终端提供媒体流服务，其特征在于上述通讯终端包括：实时传输控制协议单元、实时传输协议输出单元和实时传输协议输入单元，其中该实时传输协议输出单元负责将本通讯终端的音视频数据传递给上述服务器中的与本通讯终端对应的通讯子单元的实时传输协议输入单元，该实时传输协议输入单元负责从上述服务器接收其他通讯终端的音视频数据；实时流编码单元，负责本通讯终端的实时流编码；帧内编码帧编码单元，负责定时对本通讯终端的静态图像进行编码，形成帧内编码帧数据输出到本通讯终端的实时传输协议输出单元，并用实时传输协议包中一特定的负载类型来标记本通讯终端的帧内编码帧数据；媒体缓冲单元，负责接收本通讯终端的实时传输协议输入单元的数据；实时流解码单元，负责从上述媒体缓冲单元中提取实时流，并将其解码；帧内编码帧解码单元，负责从上述媒体缓冲单元中提取上述有特定负载类型的实时传输协议包，并对帧内编码帧数据进行解码，形成静态图像；及流控制单元，负责与上述服务器的流控制单元通讯，通知该服务器本通讯终端当前要使用的主媒体源或接收该服务器的启动本通讯终端的实时流编码单元的指令；上述服务器包括：帧内编码帧存储单元，负责存储上述各通讯终端的帧内编码帧数据；流控制单元，负责控制上述各通讯终端的音视频流的链接；及通讯子单元，负责与上述各通讯终端建立通讯链路传递上述音视频数据和控制信号，负责向上述服务器的帧内编码帧存储单元输出视频帧内编码帧数据，和负责从上述服务器的帧内编码帧存储单元和上述服务器的其他通讯子单元的实时传输协议解包单元中获取媒体源数据输入到该通讯子单元的媒体源单元中，其中该通讯子单元包括：实时传输控制协议传输单元、实时传输协议输出单元和实时传输协议输入单元，其中该实时传输协议输出单元负责将上述其他通讯终端的音视频数据传递给与该通讯子单元对应的通讯终端，该实时传输协议输入单元负责接收上述各通讯终端的音视频数据；帧内编码帧提取单元，负责根据上述实时传输协议包的一特定的负载类型来提取帧内编码帧数据，并将其存储到上述服务器的帧内编码帧存储单元中；若该帧内编码帧提取单元没有找到上述类型的实时传输协议包，则其直接从上述服务器的通讯子单元的实时传输协议解包单元中的数据中提取帧内编码帧数据；实时传输协议解包单元，负责在过滤掉上述服务器的通讯子单元的帧内编码帧提取单元需要的数据包后，将接收到的音视频数据的实时传输协议包头移除，并将其输出到该通讯子单元的媒体缓冲单元中；媒体缓冲单元，负责接收上述服务器的通讯子单元的实时传输协议解包单元输出的数据；及媒体源单元，负责从上述服务器的帧内编码帧存储单元和与其他通讯终端对应的通讯子单元的媒体缓冲单元中获取与该通讯子单元对应的通讯终端需要的音视频数据；其中，上述本通讯终端的实时传输协议输出单元分别与上述本通讯终端的实时流编码单元及帧内编码帧编码单元连接；上述本通讯终端的实时传输协议输入单元与上述通讯终端的媒体缓冲单元连接；上述本通讯终端的媒体缓冲单元分别与上述本通讯终端的实时流解码单元及帧内编码帧解码单元连接；及上述服务器的通讯子单元的帧内编码帧提取单元分别与上述服务器的帧内编码帧存储单元、上述服务器的通讯子单元的实时传输协议输入单元及实时传输协议解包单元连接；上述服务器的通讯子单元的实时传输协议解包单元分别与上述服务器的通讯子单元的实时传输协议输入单元、帧内编码帧提取单元及媒体缓冲单元连接；上述服务器的通讯子单元的媒体源单元分别与上述服务器的通讯子单元的实时传输协议输出单元、上述服务器的帧内编码帧存储单元及流控制单元连接。