主权项 |
1.一种基于用户偏好的实时视频摘要生成方法,其特征在于:具体包括以下几个步骤:步骤一:实时分析当前的视频帧序列S,S={f<sub>i</sub>|p≤i≤q},其中p和q分别表示视频帧序列S的第一帧和最后一帧,f<sub>i</sub>表示视频帧序列S中的第i帧;令i=p,从视频帧序列S中的第一帧开始,计算第i帧和第i+1帧的颜色直方图和像素值联合差异值;步骤二:根据镜头渐变检测理论,设定阈值A,若第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A,则进入步骤三;否则返回步骤一,并令i为i+1,重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值,直至获得相邻两帧的图像特征发生明显变化;步骤三:(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中,j为视频帧序列S′中的任意一帧;(2)从j=1开始,计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值;(3)若该相邻两帧的像素值差异值小于设定阈值B,监测阶段结束,获得的视频帧子序列S″,定义第j+1帧f<sub>j+1</sub>为潜在视频分段边界,进入步骤四;否则返回步骤一,并令i为i+1,计算第i帧和第i+1帧的颜色直方图和像素值联合差异值;步骤四:采用菱形运动向量算法,计算步骤三得到的视频帧子序列S″的累计运动向量,计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积,若该积大于设定阈值C,则潜在的视频分段边界f<sub>j+1</sub>帧为真实的视频边界;否则返回步骤一,并令i为i+1,重新计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值;步骤五:提取f<sub>j+1</sub>为视频帧序列S的关键帧;步骤六:将视频帧序列S在f<sub>j+1</sub>帧之后的所有帧序列进行缓存,得到缓存序列,计算该缓存序列中所有帧的信息富有程度G<sub>u</sub>、熵值E<sub>u</sub>和亮度值L<sub>u</sub>,将信息富有程度、熵值和亮度值进行归一化,得到均一化值,将最大的均一化值对应的帧作为最优帧,利用最优帧更新关键帧f<sub>j+1</sub>帧;步骤七:实时将更新得到的关键帧传输给用户,并实时获得用户选择的关键帧,利用户选择的关键帧建立高斯混合模型<img file="FDA0000059576510000011.GIF" wi="463" he="83" />分析用户对于关键帧的偏好;其中k是高斯模型组件N(μ<sub>m</sub>,σ<sub>m</sub>)的个数,μ<sub>m</sub>为每个高斯分布的均值和σ<sub>m</sub>为每个高斯分布的方差,N(μ<sub>m</sub>,σ<sub>m</sub>)表示高斯分布;α<sub>m</sub>是混合概率,Θ是建立的高斯混合模型的参数空间,R<sub>X</sub>表示分布函数,k表示高斯混合模型中高斯分布的总个数,m表示其中任意一个高斯分布;采用期望最大值计算方法,通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率,利用符合用户偏好的概率进行关键帧的更新,最终的得到的关键帧。 |