发明名称 一种基于事件模型的足球视频集锦自动合成方法
摘要 本发明是一种基于事件模型的足球视频集锦自动合成方法,包括:针对足球比赛视频集锦,定义足球视频集锦片段是可分解为多动作组合的足球视频事件;构建核心-周围事件模型表示足球集锦片段;利用足球比赛视频及其对应文本解说词构建训练集,选择进球和红黄牌作为两类足球集锦,训练事件模型;输入一段没有解说词的足球比赛视频,识别足球集锦片段在输入视频中的出现位置,并给出匹配分数;根据用户需求,将分数较高的足球集锦片段自动合成为一个足球视频集锦。本发明生成足球视频集锦的方法能够突破输入视频的镜头远近、视频长度等因素的限制,能够广泛应用推广到个人数字娱乐、体育影视制作等领域。
申请公布号 CN102427507B 申请公布日期 2014.03.05
申请号 CN201110294384.9 申请日期 2011.09.30
申请人 北京航空航天大学 发明人 赵沁平;陈小武;蒋恺
分类号 H04N5/222(2006.01)I 主分类号 H04N5/222(2006.01)I
代理机构 北京科迪生专利代理有限责任公司 11251 代理人 许玉明;顾炜
主权项 一种基于事件模型的足球视频集锦自动合成方法,其特征在于包含以下步骤:(1)定义足球视频集锦片段是由单人或多人进行的、可分解为多动作组合的重要足球事件;(2)构建一个核心‑周围事件模型,根据动作发生概率,指定最可能发生的动作为核心动作,其余动作均为周围动作,该事件模型具体包括动作语义关系、动作时序关系和局部视觉特征三个部分;(3)利用足球比赛视频及其对应的文本解说词构建训练集,选择进球和红黄牌作为两类足球集锦,分别从动作语义关系、动作时序关系和局部视觉特征三个方面训练所述核心‑周围事件模型;(4)输入一段没有解说词的足球比赛视频,利用训练得到的事件模型在输入视频中提取足球集锦片段,并给出候选集锦片段与模型的匹配分数;(5)将足球集锦片段分类按照匹配分数排序,将分数较高的足球集锦片段自动合成为一个足球视频集锦;所述步骤(2)的核心‑周围事件模型要求事件可被分解为多个动作,所述核心‑周围事件模型建模三个部分内容:(2.1)动作语义关系包括每个动作发生的概率,以及每个周围动作和核心动作同时出现的概率;(2.2)动作时序关系包括动作在事件发生过程中的先后顺序,以及动作持续时间与事件持续时间的比值;(2.3)局部视觉特征包括每个动作在运动持续过程中的梯度和光流统计特征;所述步骤(3)中要求输入的足球比赛视频文本解说词含有时间记录及事件记录,能够与视频时间相对应,针对某类型足球集锦训练所述核心‑周围的步骤如下:(3.1)输入一系列足球比赛视频及其对应的文本解说词,从解说词中提取关键词,并根据解说词的事件记录,统计每个关键词的出现概率,以及多个关键词同时出现的概率;(3.2)选定出现概率最大的关键词为核心关键词;(3.3)将解说词与足球比赛视频相对应,记录关键词出现时间,并统计关键词表示的动作持续时间与事件持续时间;(3.4)在关键词出现时间段计算时空兴趣点的梯度特征和光流特征,统计梯度直 方图和光流直方图作为动作的局部视觉特征;所述步骤(4)输入一段足球比赛视频,其集锦片段提取过程分为以下步骤:(4.1)在输入视频上分别检测核心动作和周围动作,得到所有动作的出现时间段;(4.2)以核心动作为基准,结合动作时序关系确定事件发生时间段计为候选足球集锦片段;(4.3)在候选足球集锦片段匹配事件模型,得出模型匹配分数。
地址 100191 北京市海淀区学院路37号