基于多模态的暴力视频分层筛选方法

摘要

一种多媒体处理技术领域的基于多模态的暴力视频分层筛选方法，本发明首先通过音频特征的快速筛选，能比较有效的排除一些健康视频，选出可能是暴力视频的候选镜头和视频。针对这些候选镜头，再利用视频运动检测和人脸检测进行二次筛选，对剩下的镜头提取关键帧，然后再进行图像特征的提取，并利用支持向量机进行匹配，能十分准确的分出暴力视频。本发明通过音频的快速处理特点，能有效的解决网络监管的实时性要求，判断时间小于视频长度的1％；对于候选镜头进行后续的视频精确分类方法，同时保证了视频分类的准确性要求，分类准确率不小于95％。

主权项

一种基于多模态的暴力视频分层筛选方法，其特征在于，包括以下步骤：第一步，提取待筛选视频的音频流，并进行分割去除处理，得到若干处理后的视频片段；第二步，提取处理后的视频片段的音频特征和常见暴力场景的音频特征，并进行判断处理，得到候选的视频片段；第三步，对候选的视频片段进行运动检测，得到候选的视频片段中每个镜头的运动强度特征，去除其中运动强度特征小于阈值T2的镜头，并对剩余的每个镜头进行人脸检测，去除其中小于20％帧包括人脸的镜头，此时剩余的镜头就是包含人脸的候选镜头；第四步，对包含人脸的候选镜头的关键帧以及常见暴力场景镜头的关键帧进行图像特征提取和图像特征融合，利用支持向量机对两者特征向量进行匹配，得到包含暴力镜头的视频。