一种基于分层匹配的视频广告识别方法

摘要

一种基于分层匹配的视频广告识别方法，通过局部敏感性哈希算法(Locality Sensitive Hash，LSH)和精细尺度连续过滤算法(Fine GranularitySuccessive Elimination，FGSE)，利用广告的新颖的视频特征结合后处理技术开发出一套能够快速检测电视节目中是否存在数据库中的广告。技术方案是：其特征在于包含以下步骤：离线数据库建立与在线监测，其中离线数据库建立分为离线预处理与哈希表建立；在线监测部分分为在线预处理、由粗糙到精细的二级匹配和后处理。

主权项

一种基于分层匹配的视频广告识别方法，其特征在于包含以下步骤：离线数据库建立与在线监测，其中离线数据库建立分为离线预处理与离线建立哈希表；在线监测部分分为在线预处理、由粗糙到精细的二级匹配和后处理；所述离线预处理包括数据库广告镜头分割与特征提取，具体内容包括：对于离线数据库中每一个广告，将每一帧由RGB颜色空间转化为灰度空间，将灰度图像从中心区域划分为8个64*64像素的小块，通过计算每个小块对应的灰度直方图之间的差异，乘以相应的权值并求和，得到帧间灰度变化率，如果这个变化率大于设定的阈值，则视为两帧之间发生了镜头的切变，并记录镜头变化的位置，将每一个广告分为一系列的镜头序列；对于每一个镜头，以镜头长度25％的位置作为区间起点，75％的位置作为区间终点，提取这段区间内所有视频帧，对这些视频帧进行累加平均，获得代表镜头内容的平均关键帧，保留关键帧中心160*160像素区域的子图像，用作特征提取，在子图像中提取36维HSV颜色空间直方图与64维边缘角度直方图，以及边缘角度分布图特征，将每个图像的颜色直方图与边缘角度直方图分别归一化，组成100维特征向量用于建立局部敏感哈希表，同时，将存储所有镜头的100维联合特征以及边缘角度分布图特征，用于在线监测时，与未知视频进行镜头分割后所提取的100维联合特征以及边缘角度分布图特征进行比较；所述离线建立哈希表包括：将获得的离线数据库中所有镜头产生的100维联合特征构造局部敏感性哈希表，并将100维联合特征、从上述所有镜头中提取的边缘角度分布图特征和提取出上述边缘角度分布图特征和100维联合特征的镜头所对应广告镜头名称和镜头编号，存储到所构造的局部敏感性哈希表中，具体为：设定子哈希表的个数与哈希键长，对于每一个子哈希表产生过程为，根据初始设定的两个变量，利用随机函数产生不同的哈希系数，利用这些系数将100维联合特征映射到汉明空间，转化为0和1的组合序列，根据序列中的0和1的个数，选择不同的哈希表位置，将所有产生的子哈希表组成局部敏感性哈希表，将离线数据库中所有镜头产生的100维联合特征以及边缘角度分布图特征和与之对应的标注信息存入哈希表中；所述在线预处理，包括镜头分割与特征提取，具体内容包括：对于输入的视频文件，将每一帧由R6B颜色空间转化为灰度空间，将灰度图像从中心区域划分为8个64*64像素的小块，通过计算每个小块对应的灰度直方图之间的差异，乘以相应的权值并求和，得到帧间灰度变化率，如果这个变化率大于设定的阈值，则视为两帧之间发生了镜头的切变，并记录镜头变化的位置，将每一个广告分为一系列的镜头序列；对于每一个镜头，以镜头长度25％的位置作为区间起点，75％的位置作为区间终点，提取这段区间内所有视频帧，对这些视频帧进行累加平均，获得代表镜头内容的平均关键帧，保留关键帧中心160*160像素区域的子图像，用作特征提取，在子图像中提取36维HSV颜色空间直方图与64维边缘角度直方图，以及边缘角度分布图特征，将每个图像的颜色直方图与边缘角度直方图分别归一化，组成100维特征向量，与边缘角度分布图特征一起，作为在离线数据库建立过程中产生的局部敏感性哈希表中进行搜索的查询向量；所述由粗糙到精细的二级匹配，包括在局部敏感性哈希表中查询与精细尺度连续过滤两部分，具体内容包括：将获得的一个镜头的联合特征向量通过局部敏感性哈希方法，将其映射到数据库的10个哈希表对应的条目中，获得与查询向量最为相近的50个候选向量及其对应的镜头与边缘分布图，比较这50个镜头与查询镜头包含的帧数的差异，如果相差小于25帧，就利用精细尺度连续过滤算法(FGSE)对二者分别对应的边缘角度分布图进行更为精细的匹配，在设定的阈值下，如果匹配成功，即可判断该镜头为数据库中某个广告的一部分，将数据库中对应的广告镜头的名称和序号标注到查询镜头上，如果输入的镜头是视频文件中的最后一个镜头，进行后处理，否则读入下一个视频镜头；所述后处理内容包括：首先，由粗糙到精细的二级匹配过程将广告名称以及序号标注到了未知视频的查询镜头中，这些标注信息构成了标注序列，将标注序列中具有不同标注广告名称的镜头划分到若干个子段，对每一个子段，根据镜头在原始文件中的起始位置，在时间轴上依次排列，利用标注的广告镜头序号与起始点之间的位置关系消除其中的漏检与误检，获得连续完整的标注信息；经过纠正的子段，如果其播放长度大于数据库中该广告长度的一半，同时检测到的镜头数量大于数据库中广告镜头个数的三分之一，则认为标注成功，处理完所有子段后，对结果按照时间先后顺序排序，输出。