四层结构的体育视频中足球项目检测系统及实现

摘要

本发明提出了四层结构的体育视频中足球项目检测系统及实现。该系统首先采用镜头边界检测对整个视频进行分析，将相同切换方式和运动特征的相邻片段归为一类称为视频夹，同时统计视频片段的持续时间，映射到码本上做成直方图，与已有模板进行比对实现第一层分类。第二阶段对片段提取关键帧，然后提取局部和全局特征，使用多码本的方式进行特征映射，使用SVM进行主场景的分类，得到相应的基于关键帧的图片打分；第三阶段将关键帧代表的片段映射到相应的视频夹中进行加权，得到相应的分类结果；最后与第一次分类的结果进行后融合得到最终结果。本发明具有较高的识别精度和速度，可以有效的进行体育类型的识别，适用于体育节目机器标注、广告推荐等。

主权项

1.一种结合镜头剪辑方式统计和底层特征分类的体育视频足球项目检测系统，对体育视频进行模式分类和统计匹配的处理，对特定体育类别进行识别，该方法包括：步骤一，对体育视频剪辑方式进行统计分析，形成模板匹配的结果；步骤二，体育视频统计分析后，提取对应视频段的的相应图片作为关键帧，进行基于关键帧的模式分类，得到每个视频段对应的概率；步骤三，将视频段的得分映射到视频夹中进行计算，即加入了时间信息，得到结果进行分类器阶段的后融合；步骤四，将第一步和第三步得到的结果进行加权，确定阈值后进行分类；其中，所述步骤一具体包括：步骤1，边界检测，形成视频段：对视频进行边界检测后，镜头切换点的选择是通过寻找颜色直方图差序列多个局部极值点；步骤2，对相邻视频段聚合为同一视频夹的规则：视频段在时间上是相邻的且聚合成的视频夹持续时间大于1500帧；同一视频夹具有相同的切换方式；同一视频夹下通过光流分析具有相似的运动特征；步骤3，统计视频段持续时间后，码本构造：码本为26维，其组成规则是：0～100帧，每隔10帧为一个词表；100～200帧，每隔25帧为一个词表；200～800帧，每隔50帧为一个词表；＞800帧，为800帧映射到最后一个词表中；其中，所述步骤二具体包括：步骤1，关键帧提取：提取的形状上下文特征使用固定提取200个点的方式，共有4480维，在提取形状上下文特征过程中，点集精简的算法采用弦差法；对边缘方向直方图特征进行归一化处理时，采用2范数的归一化方式；步骤2，码本生成：进行多码本制作时，由于系统的主要目的在于检测体育运动中的足球，因此将足球的远中近景各200个，其他四种体育运动(篮球、网球、拳击、游泳)远中近景各200个一起建立码本；步骤3，以概率形式为关键帧打分：score＝F[P(C_i)]，其中Ci为输入图像组的第i帧，F为对应这某一特征的结果，P为对应某一类别的结果；即为图像Ci提取特征F后属于类别P的概率； 在分类器训练阶段，采用一种视频为正样本，其他所有类别正样本的图像组作为该体育类别负样本的方式；其中，所述步骤三具体包括：步骤1，关键帧得分映射：将视频段的得分映射到视频夹中进行计算，即加入了时间信息，将同一视频夹中的视频段得分进行求均值处理，得到的得分即为该视频夹的得分；步骤2，后融合：在四种分类器(shape context，dense sift，LBP，EDH)下的得分经过logistic回归得到相应的权值，通过代入权值得到相应的某视频夹对应的唯一结果；步骤3，视频夹得分：计算该视频夹所属的体育类别时采用计算不同类型下最大值的方式，其中Ci为输入图像组的第i帧，F为对应这某一特征的结果，P为对应某一体育类别的结果，j为体育类型的第j个。