基于多模态信息的视频内容审查系统及方法

摘要

本发明公开了一种基于多模态信息的视频内容审查系统和方法，该系统包括内容审查子系统和质量审查子系统，内容审查子系统包括：预处理模块、多模态匹配模块、内容数据库；其中，多模态匹配模块包括台标识别匹配单元和旗帜识别匹配单元；预处理模块对视频进行预处理，提取视频中的关键帧和关键片段；多模态匹配模块搜索内容数据库并对关键帧进行匹配，而对于关键片段，多模态匹配模块内并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配。本发明能够实现利用计算机即互联网进行自动的视频内容审查，并且以人工检查为复核与辅助，能够缩短视频审查周期，并且提高审查效果。

主权项

一种基于多模态信息的视频内容审查方法，包括内容审查步骤和质量审查步骤，其特征在于，所述内容审查步骤包括：对视频进行预处理，提取视频中的关键帧和关键片段；搜索内容数据库对所述关键帧进行匹配，而对于关键片段，并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别和匹配包括以下步骤：构建台标样本库；提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域；提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别和匹配包括以下步骤：采集样本集；对样本图片进行预处理，包括分割图像，获取图像色彩值的范围；对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。