一种无线环境中的音视频流媒体同步播放方法

摘要

一种无线环境中的音视频流媒体同步播放方法，该方法根据缓冲区占用水平分别调整音频帧大小和视频播放帧率来达到音频流媒体内同步和视频流媒体内同步，在此基础上通过比较音频单元和视频单元的时间标签来调整视频播放帧率达到与音视频流媒体间的同步。本发明的优点是不仅给出视频流媒体内同步方法，还提出了无线环境中音频流媒体内同步方法和音视频流媒体间同步方法，实现了无线环境中的音视频流媒体的同步播放。

主权项

1.一种无线环境中的音视频流媒体同步播放方法，其特征在于：所述方法包括以下步骤：A.确定音频帧的大小实现音频流媒体内同步；步骤A具体通过如下算法来实现：A1.探知音频播放缓冲区中有i个音频帧；A2.确定即将播放帧的目标大小LL(i)为：$\mathrm{LL}\left(i\right)=\left\{\begin{array}{cc}{L}_{\max }& i<{\mathrm{LL}}_a\\ L_0& {\mathrm{LL}}_a\le i\le {\mathrm{HL}}_a\\ L_{\min }& i>{\mathrm{HL}}_a\end{array}\right.$这里L_max和L_min的选取根据帧可扩展程度或可压缩程度和流媒体内同步的要求即时延抖动要求来确定；对于音频，要求时延抖动不超过10ms，那么L_max＝min{2L₀，L₀+10ms}，L_min＝max{0.5L₀，L₀-10ms}；A3.若该帧包含静音期，则延长或缩短静音期使该帧的大小等于LL(i)；若该帧处在突发期内而不包含静音期，则改变该帧的大小，当LL(i)＝L_max时，扩展该帧，扩展后的帧大小为当LL(i)＝L_min时，压缩该帧，压缩后的帧大小为这里T为该帧的基音周期；A4.按照调整后的大小进行播放音频帧；B.确定视频帧的播放持续时间实现视频流媒体内同步；步骤B具体通过如下算法来实现：B1.探知视频播放缓冲区中有i个视频帧；B2.确定即将播放视频帧的播放持续时间d(i)为：$d\left(i\right)=\left\{\begin{array}{cc}\frac{1}{r_{\min }+\frac{r_v-r_{\min }}{{\mathrm{LL}}_v}·i}& i<{\mathrm{LL}}_v\\ \frac{1}{r_v}& {\mathrm{LL}}_v\le i\le {\mathrm{HL}}_v\\ \frac{1}{r_v+\frac{r_{\max }-r_v}{B_v+2A_v-{\mathrm{HL}}_v}·(i-{\mathrm{HL}}_v)}& i>{\mathrm{HL}}_v\end{array}\right.$其中r_v是正常播放帧率，r_max和r_min根据具体的服务质量要求来确定，即考虑流媒体内同步的要求即时延抖动要求；对于TV品质的视频，要求时延抖动不超过10ms，则$r_{\max }=\frac{1000}{1000/r_v-10},$$r_{\min }=\frac{1000}{1000/r_v+10};$B3.按照调整后的播放持续时间播放视频帧；音频和视频播放期间，每播放N_a个音频帧时，进行一次流媒体间同步调整；C.以音频流为主媒体流，视频流为从媒体流，调整视频媒体单元的播放持续时间来实现音视频流媒体间同步；步骤C具体通过如下算法来实现：C1.令最近播放的音频帧q的播放时间标签t_a(q)和最近播放的视频帧l的播放时间标签t_v(l)，并进行比较，二者之间的关系有三种情况：C21.若|t_a(q)-t_v(l)|≤80ms，音视频播放处于同步状态，不需要进行调整；C22.若80ms＜|t_a(q)-t_v(l)|≤160ms，音视频播放处于临界同步状态，需进行流媒体间同步调整；C23.若|t_a(q)-t_v(l)|＞160ms，音视频播放处于失步状态，需进行流媒体间同步调整；C31.进行流媒体间同步调整时，若t_a(q)＞t_v(l)，表明视频落后于音频播放，从P-QoS考虑，不主动丢弃视频帧，以免引起图像播放跳跃的感觉，因此应提高视频的播放帧率即减小视频帧的播放持续时间，则视频帧l其后n个视频帧的播放持续时间都为1000/r_max，其中：n＝[|t_a(q)-t_v(l)|]/10这里n是整数；C32.进行流媒体间同步调整时，若t_a(q)＜t_v(l)，表明视频超前于音频播放，从P-QoS考虑，不暂停播放视频帧，以免引起图像播放停顿的感觉，因此要降低视频的播放帧率即增大视频帧的播放持续时间，则视频帧l其后n个视频帧的播放持续时间都为1000/r_min；在进行流媒体间同步调整期间，不进行视频流媒体内同步调整。