一种联合字幕和视频图像信息进行场景分割和索引的方法

摘要

本发明涉及一种联合字幕和视频图像信息进行场景分割与索引的方法，其特征在于，每条字幕持续时间段内视频帧集合作为场景聚簇的最小单元，包括步骤：获得场景聚簇的最小单元后，抽取至少3个或以上不连续的视频帧作为该条字幕的视频关键帧集合；使用双向SIFT关键点匹配方法比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图建立字幕与场景的初始归属关系；对于被判定为不相似的连续最小聚簇单元利用其对应字幕的相关性进一步判断其是否可以进行合并；根据所确定的字幕场景归属关系进行视频场景抽取。对所抽取的视频场景片段，使用该片段所包含的字幕文本所生成的前向和倒排索引作为检索该视频片段的依据。

主权项

一种联合字幕和视频图像信息进行场景分割的方法，其特征在于，该方法将每条字幕持续时间段内视频帧集合作为进行场景聚簇的最小单元，包括如下步骤：11）获得进行场景聚簇的最小单元后，抽取至少3个或以上不连续的视频帧作为该条字幕的视频关键帧集合；12）通过比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图进行连续字幕与视频场景之间的归属关系划分；所述的关键帧的相似性利用图像的尺度不变特征变换特征进行判断，具体步骤包括：首先，要对视频关键帧进行提升小波变换抽取子带，再对抽取的子带图像的三个颜色分量进行归一化处理，获得进行尺度不变特征变换特征提取的目标矩阵；然后，基于该目标矩阵进行子带图像尺度不变特征变换特征提取；最后，利用双向尺度不变特征变换关键点匹配方法判定关键帧图像的相似性，所述的双向尺度不变特征变换关键点匹配方法指如果子带图像A中的关键点x可匹配子带图像B中的关键点y并且y可匹配到x；当且仅当从不同关键帧中选取的低频和高频子带图像都相似两个关键帧才相似，子带图像相似的条件是能够双向匹配的尺度不变特征变换关键点数量达到所设置的阈值；所述的字幕关联转移图即对于字幕Di和Dj，i