视频语义可视化方法

摘要

本发明涉及视频图像处理技术领域，公开了一种视频语义可视化方法，包括步骤：a.将视频片段进行镜头切分，提取每个镜头的音视频特征，通过对音视频特征进行聚类，得到多个故事单元，并计算故事单元之间的相关性；b.对每个故事单元进行关键前景内容和关键背景内容提取，并将所提取的关键前景内容和关键背景内容进行合成，得到单一的故事单元表示图；c.通过对多个故事单元发生的时序以及各个故事单元之间相关性的位置优化，进行多个故事单元表示图的合成，得到故事单元语义可视化图；d.用可视化符号语言在故事单元语义可视化图上描述故事线，得到视频语义可视化图。本发明将视频自动转换成合成图像，使得该合成图像能够使视频语义可视化。

主权项

一种视频语义可视化方法，其特征在于，包括以下步骤：a.将视频片段进行镜头切分，然后提取切分后的每个镜头的音视频特征，通过对所述音视频特征进行聚类，得到多个故事单元，并计算所述故事单元之间的相关性，所述故事单元是指所述视频片段中在时间上连续，处于同一场景，且包含同一组角色的一段故事情节；b.对每个所述故事单元进行关键前景内容和关键背景内容提取，并将所提取的关键前景内容和关键背景内容进行合成，得到单一的故事单元表示图，其中，所述关键背景内容是指故事单元中场景尺度最大的一帧，所述关键前景内容是指对每个镜头进行基于颜色直方图和光流的视觉显著性检测和人脸检测后，对检测出的显著区域和人脸区域，按照显著性值和在视频中的持续时间进行重要性排序，排除排序靠后一定个数的重复物体及人脸后，所留下的区域；c.通过对所述多个故事单元发生的时序以及各个故事单元之间相关性的位置优化，进行多个所述故事单元表示图的合成，得到故事单元语义可视化图；d.用可视化符号语言在所述故事单元语义可视化图上描述故事线，得到视频语义可视化图。