一种基于细节描述的视频事件概要图构造和匹配方法

摘要

本发明提供一种基于细节描述的视频事件概要图构造和匹配方法，包括：定义事件概要图为一种无向图模型，描述事件细节的动作属性集合，动作之间的角色约束关系和上下文关系；定义事件概要图的各类事件细节描述特征并构造相应的匹配测度，将事件概要图的匹配测度表示为各类特征匹配测度的线性组合，并采用相关度反馈方法学线性权重系数。本发明的应用之一是视频事件细节检索，其原理是将用户输入的事件细节和库中视频事件细节表达为事件概要图，然后在数据驱动的马尔科夫链蒙特卡洛框架下进行图匹配，完成检索过程。本发明所提供的事件概要图能够有效描述单人或多人事件细节；本发明也提供了一种视频事件细节匹配和检索的参考方法。

主权项

一种基于细节描述的视频事件概要图构造和匹配方法，其特征在于包含以下步骤：步骤(1)、定义视频事件细节为单人或多人的若干动作在时间、空间上的某种布局；步骤(2)、基于无向属性图模型，将视频事件细节表达为事件概要图，描述动作属性集合，动作之间的角色约束关系，以及每个动作与周围动作的上下文关系；步骤(3)、定义事件概要图的各类事件细节描述特征，包括事件复杂度特征，节点语义特征，节点时间特征，节点布局特征以及节点上下文特征；步骤(4)、构造事件概要图的匹配相似度测度，包括为每一类事件细节描述特征构造相应的匹配测度，将事件概要图的匹配测度表达为上述各类匹配测度的线性组合，并采用相关度反馈方法学习线性权重系数；步骤(5)、作为基于本发明所提供的事件概要图构造和匹配方法的应用，定义视频事件细节检索步骤为：步骤(5.1)、用户使用事件画板绘制事件细节，或者使用标注工具标注一段视频中感兴趣的事件细节，作为检索输入；步骤(5.1)的事件画板通过重复下述步骤：添加视频对象、指定关键帧、编辑对象轨迹以及指定动作类型，完成事件细节在时间和空间上的编辑；步骤(5.2)、对用户输入的事件细节和库中存储的视频事件细节，分别建立事件概要图；步骤(5.3)、在数据驱动的马尔科夫链蒙特卡洛(Data‑Driven Markov Chain Monte Carlo)框架下计算用户输入的事件细节与库中存储的所有视频事件细节的事件概要图匹配距离，并根据距离大小给出检索结果；步骤(5.3)的事件概要图的匹配方法是寻找两个图模型之间的最佳节点匹配集合，该集合由初始匹配逐步生长得到，其步骤为：首先从输入事件细节的描述模型中找到动作活跃度较高的节点，计算该节点与库中视频的事件概要图的所有节点的距离，建立该节点与距离较小的节点的匹配关系作为初始匹配，加入匹配集合；然后从所有不在匹配集合的匹配关系中，以一定概率优先选择能够使动作活跃度和角色约束关系数量的增加值较大的匹配关系加入匹配集合，并计算此时两个模型的匹配距离，若相比加入之前的距离减小，则以一定概率接受该新加入的匹配关系，否则从匹配集合中删除该匹配关系，维持原匹配集合不变；重复选择新的匹配关系多次，直到某个模型的所有节点均和另一模型中的全部或者部分节点建立匹配关系，或者达到最大迭代次数后终止。