多媒体视音频流唇音同步的调测方法

摘要

本发明公开一种多媒体视音频流唇音同步的调测方法，涉及唇音同步的调测方法，为解决现有方法不能很好实现多媒体流的唇音同步的问题而发明。本发明通过在多媒体视音频流解码端真实时钟的基础上建立虚拟时钟模型；根据自适应延迟算法和同步控制算法的计算结果，调整所述虚拟时钟，获得多媒体视音频流唇音同步。极大提高了互联网多媒体应用唇音同步性能。

主权项

1.一种多媒体视音频流唇音同步的调测方法，包括如下步骤：(1)在多媒体视音频流解码端真实时钟的基础上建立虚拟时钟模型；(2)根据自适应延迟算法和同步控制算法的计算结果，调整所述虚拟时钟，获得多媒体视音频流唇音同步；其中，所述步骤(1)中建立虚拟时钟模型的方法为：(11)设置虚拟时钟的初始值为收到的多媒体流的第一个媒体数据单元的时戳；(12)获取每一个抵达的媒体数据单元的生成时间和抵达时间；(13)解码端将所述每一个抵达的媒体数据单元的生成时间作为其回放时间，将每一个抵达的媒体数据单元的抵达时间作为虚拟时钟采样，比较所述生成时间和抵达时间并重新调度回放时间，获得自适应的回放期限；所述步骤(2)中，自适应延迟算法包括：(21)计算媒体流内的同步相位扭曲；所述媒体流内的同步相位扭曲通过计算流内的媒体数据单元的回放时间以及采样时间的均方根误差来获得，计算公式如下：${\tau }_i=\sqrt{\frac{\underset{n=2}{\overset{N_i}{\Sigma }}{[(T_p^i\left(n\right)-T_p^i(n-1))-(T_g^i\left(n\right)-T_g^i(n-1))]}^2}{N_i-1}}$其中，为流i的第n个媒体数据单元的生成时间，为流i的第n个媒体数据单元的播放的时间，N_i是流i的被播放的所有媒体数据单元的数量；(22)计算媒体流间的同步相位扭曲；所述媒体流间的同步相位扭曲通过计算配对的相应流间媒体数据单元的回放时间以及采样时间的均方根误差来获得，计算公式如下：${\tau }_{a,v}=\sqrt{\frac{\underset{n=1}{\overset{N_a}{\Sigma }}{[\left(T_p^a\left(m\right){-T}_p^v\left(n\right)\right)-(T_g^a\left(m\right)-T_g^v\left(n\right))]}^2}{N_a-1}}$其中，音频的第m个媒体数据单元对应于视频的第n个媒体数据单元，为音频的第m个媒体数据单元的生成时间，为音频的第m个媒体数据单元的播放时间；为视频的第n个媒体数据单元的生成时间，为视频的第n个媒体数据单元的播放时间，N_a是所有音频媒体数据单元的数量。