大型场馆专业级网络音视频实时处理方法及其系统

摘要

本发明公开了一种大型场馆专业级网络音视频实时处理方法，其包括以下步骤：(1)建立大型场馆三维仿真结构；(2)设置音视频采集节点、音视频播放节点和声光信号采样节点；(3)设置多个摄像机；(4)设置多个分布式的音视频处理装置；(5)设置声光信号采样节点；(6)设置网络处理服务器；(7)设置多处音视频播放装置；(8)上述设备处于工作状态，多个摄像机从多个预设的位置与角度采集得到音视频数据，交互给音视频处理装置进行处理后，传送给网络处理服务器；各处的采样节点将数据传输给该服务器，与音视频处理装置的数据根据预设程序进行对比、运算、调整后，传输给音视频播放装置。本发明还公开一种采用此方法的系统。

主权项

一种大型场馆专业级网络音视频实时处理方法，其特征在于：其包括以下步骤：(1)建立大型场馆三维仿真结构，并进行三维声场、光场空间要素分析；(2)通过分析软件在大型场馆三维仿真结构中，设置音视频采集节点、音视频播放节点和声光信号采样节点，并进行运算和优化；(3)根据运算及优化结果，在实际大型场馆的音视频采集节点位置设置多个摄像机，用于进行音视频数据的采集；(4)设置多个通过网络连接的分布式的音视频处理装置，对步骤(3)采集的音视频数据进行处理，并通过网络传输数据；所述音视频处理装置设有依次连接的一嵌入式系统主控制芯片、一字符叠加器、一音视频时钟同步电路以及一音视频压缩卡；所述音视频处理装置还包括一LED液晶触摸屏，所述LED液晶触摸屏分别与嵌入式系统主控制芯片、音视频压缩卡连接；(41)音视频处理装置的初始化：用户通过LED液晶触摸屏发送控制命令给嵌入式系统主控制芯片，对音视频处理装置的图像数据采集帧速率、图像解析度参数进行设定，对字符叠加器的字符尺寸、字符在图像上的位置参数进行设定，对音视频压缩卡的压缩参数进行设定；(42)多个摄像机从大型场馆内多个预设的位置与角度采集得到音视频数据，并将采集得到的音视频数据发送给音视频处理装置的嵌入式系统主控制芯片；经模/数转换后，再将处理后的音视频数据转交给字符叠加器；(43)字符叠加器接收到音视频数据，将需要叠加的字体的位置、字符在图像上的区域信息、配色方案、输出格式传送给字符叠加接口函数进行处理，再将处理结果交互音视频时钟同步电路；(44)音视频时钟同步电路，对收到步骤(43)处理后的音视频数据进行处理，获得视频与音频同步的音视频数据，再将其转发给音视频压缩卡；(45)音视频压缩卡接收到步骤(44)处理后的音视频数据后，首先，根据输入的音视频数据序号，确定当前音视频数据的编码类型，即为I帧编码或P帧编码；音视频数据经过I帧编码或P帧编码后生成MPEG‑4标准的压缩码流；(451)从音视频数据序列中获取一帧音视频数据，把它作为当前帧；当前帧若是I帧编码，转到步骤(452)；若是P帧编码，转到步骤(456)；(452)获取当前帧宏块阵列的一个宏块的音视频数据，把该宏块作为当前宏块；对当前宏块每个子块的图像数据作DCT变换，对得到的每个子块的DCT系数做量化，对每个子块量化后的DCT系数做反量化，对反量化后的系数作IDCT变换；用IDCT变换得到6个子块的数据构造参考帧中与当前宏块对应的宏块；(453)对当前宏块的每个子块量化后的DC系数和AC系数做预测编码；(454)对当前宏块的每个子块经过预测编码后得到的DC系数差分值和AC系数差分值进行变长编码，把结果输出到码流中；当前宏块是最后一个宏块，重建参考帧，转到步骤(459)；否则转到步骤(452)；(456)对当前帧做整像素和半像素运动估计，得到每个宏块的运动矢量和差分运动矢量，确定每个宏块的编码方式；(457)获取当前帧宏块阵列的一个宏块，把该宏块作为当前宏块；当前宏块的编码模式是帧内编码；转到步骤(452)；否则，转到步骤(458)；(458)对当前宏块做运动补偿，得到当前宏块与参考帧之间的数据差值，用参考帧的数据替换当前宏块的数据；转到步骤(457)；在完成一帧音视频数据的编码后，若要继续编码，转到步骤(451)；否则结束音视频数据的编码；(46)音视频处理装置，将步骤(45)处理后的MPEG‑4标准的压缩码流分别发送给网络中央处理服务器以及LED液晶触摸屏；(5)设置多处对所覆盖局部区域内播放的声光信号采样节点，用来收集所覆盖的局部区域内的声光信号，并通过网络传输；(6)设置一网络中央处理服务器，用来接收、存储各分布式的音视频处理装置，以及各处采样节点传输的数据，仅进行运算、处理、输出；(7)设置多处音视频播放装置，并通过网络与所述网络中央处理服务器连接，接收网络中央处理服务器输出的音视频信号并进行播放；(8)将音视频处理装置、声光信号采样节点、网络中央处理服务器与多处音视频播放装置置于工作状态，多个摄像机从大型场馆内多个预设的位置与角度采集得到音视频数据，发送给音视频处理装置，音视频处理装置对收到的音视频数据进行处理，将处理后的数据传输给网络中央处理服务器存储和处理；各处的采样节点采样后将数据传输该服务器，服务器将采样信号与音视频处理装置的数据根据预设程序进行对比、运算、调整后，该服务器将处理后的音视频信号传输给音视频播放装置并进行播放。