发明名称 一种基于用户偏好的实时视频摘要生成方法
摘要 本发明提出了一种基于用户偏好的实时视频摘要生成方法,具体包括:步骤一:计算颜色直方图和像素值联合差异值;步骤二:判断相邻两帧的图像特征是否发生明显变化;步骤三:计算颜色直方图和像素值联合差异值;步骤四:得到潜在视频分段边界;步骤五:设置视频帧序列的关键帧;步骤六:利用最优帧更新关键帧;步骤七:建立高斯混合模型,得到关键帧作为实时视频摘要结果。本发明提出的一种基于用户偏好的实时视频摘要生成方法,建立高斯混合模型学用户偏好,考虑不同用户对于关键帧的不同需求,优化更新策略,提高用户满意度。
申请公布号 CN102184221A 申请公布日期 2011.09.14
申请号 CN201110116594.9 申请日期 2011.05.06
申请人 北京航空航天大学 发明人 牛建伟;霍达;童超
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京永创新实专利事务所 11121 代理人 官汉增
主权项 1.一种基于用户偏好的实时视频摘要生成方法,其特征在于:具体包括以下几个步骤:步骤一:实时分析当前的视频帧序列S,S={f<sub>i</sub>|p≤i≤q},其中p和q分别表示视频帧序列S的第一帧和最后一帧,f<sub>i</sub>表示视频帧序列S中的第i帧;令i=p,从视频帧序列S中的第一帧开始,计算第i帧和第i+1帧的颜色直方图和像素值联合差异值;步骤二:根据镜头渐变检测理论,设定阈值A,若第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A,则进入步骤三;否则返回步骤一,并令i为i+1,重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值,直至获得相邻两帧的图像特征发生明显变化;步骤三:(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中,j为视频帧序列S′中的任意一帧;(2)从j=1开始,计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值;(3)若该相邻两帧的像素值差异值小于设定阈值B,监测阶段结束,获得的视频帧子序列S″,定义第j+1帧f<sub>j+1</sub>为潜在视频分段边界,进入步骤四;否则返回步骤一,并令i为i+1,计算第i帧和第i+1帧的颜色直方图和像素值联合差异值;步骤四:采用菱形运动向量算法,计算步骤三得到的视频帧子序列S″的累计运动向量,计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积,若该积大于设定阈值C,则潜在的视频分段边界f<sub>j+1</sub>帧为真实的视频边界;否则返回步骤一,并令i为i+1,重新计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值;步骤五:提取f<sub>j+1</sub>为视频帧序列S的关键帧;步骤六:将视频帧序列S在f<sub>j+1</sub>帧之后的所有帧序列进行缓存,得到缓存序列,计算该缓存序列中所有帧的信息富有程度G<sub>u</sub>、熵值E<sub>u</sub>和亮度值L<sub>u</sub>,将信息富有程度、熵值和亮度值进行归一化,得到均一化值,将最大的均一化值对应的帧作为最优帧,利用最优帧更新关键帧f<sub>j+1</sub>帧;步骤七:实时将更新得到的关键帧传输给用户,并实时获得用户选择的关键帧,利用户选择的关键帧建立高斯混合模型<img file="FDA0000059576510000011.GIF" wi="463" he="83" />分析用户对于关键帧的偏好;其中k是高斯模型组件N(μ<sub>m</sub>,σ<sub>m</sub>)的个数,μ<sub>m</sub>为每个高斯分布的均值和σ<sub>m</sub>为每个高斯分布的方差,N(μ<sub>m</sub>,σ<sub>m</sub>)表示高斯分布;α<sub>m</sub>是混合概率,Θ是建立的高斯混合模型的参数空间,R<sub>X</sub>表示分布函数,k表示高斯混合模型中高斯分布的总个数,m表示其中任意一个高斯分布;采用期望最大值计算方法,通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率,利用符合用户偏好的概率进行关键帧的更新,最终的得到的关键帧。
地址 100191 北京市海淀区学院路37号