发明名称 基于对象分割和特征加权融合的视频语义提取方法
摘要 一种视频搜索技术领域的基于对象分割和特征加权融合的视频语义提取方法,通过将基于背景帧构造的视频对象语义分类和基于关键帧特征的视频语义分类进行加权计算,即对于每一种语义所对应的视频对象的快速鲁棒特征、关键帧的SURF特征、颜色直方图、边缘直方图和局部二进制特征对应的分类结果分别加权求和后与阈值比较确定镜头中是否具有测试的语义。本发明由于分离背景,去除背景噪声,提高了语义分类的精确性;同时考虑到视频对象的提取可能出现的误差以及静止的视频语义,使用传统的方法进行分类。两种方法的结合使得语义提取的正确性得以提高。
申请公布号 CN101976258B 申请公布日期 2013.07.10
申请号 CN201010529734.0 申请日期 2010.11.03
申请人 上海交通大学 发明人 蒋兴浩;孙锬锋;唐峰;於人则;蒋呈明
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 上海科盛知识产权代理有限公司 31225 代理人 赵志远
主权项 1.一种基于对象分割和特征加权融合的视频语义提取方法,其特征在于,通过将基于背景帧构造的视频对象语义分类和基于关键帧特征的视频语义分类进行加权计算,即对于每一种语义所对应的视频对象的快速鲁棒特征、关键帧的SURF特征、颜色直方图、边缘直方图和局部二进制特征对应的分类结果分别设置为r<sub>0</sub>,r<sub>1</sub>,r<sub>2</sub>,r<sub>3</sub>和r<sub>4</sub>,其中r<sub>i</sub>的值为0或1,其权重分别为w<sub>0</sub>,w<sub>1</sub>,w<sub>2</sub>,w<sub>3</sub>和w<sub>4</sub>,其中:0≤w<sub>i</sub>≤1,w<sub>i</sub>是预先对每一种语义的每种特征进行的小样本训练和测试所得的结果;然后根据<img file="FDA00002727920900011.GIF" wi="129" he="122" />与阈值T<sub>c</sub>进行比较确定镜头中是否具有测试的语义,当<img file="FDA00002727920900012.GIF" wi="218" he="123" />则该镜头中包含所测试的语义,反之<img file="FDA00002727920900013.GIF" wi="246" he="123" />则镜头中不包含该语义;所述的基于背景帧构造的视频对象语义分类,通过以下方式获得:第一步,通过检测镜头内相邻帧对应的像素点间的变化来构造背景帧;第二步,提取被检测镜头中的关键帧,查找关键帧中与背景帧不同的区域,以此作为视频对象候选区域;第三步,采用静态图像阴影检测方法消除视频对象候选区域中的阴影区域;第四步,提取视频对象的快速鲁棒特征,然后利用支持向量机对SURF特征分类;所述的基于关键帧特征的视频语义分类,通过以下方式获得:步骤一,提取镜头关键帧图像的全局特征和局部特征;步骤二,采用支持向量机对已知语义的图像的特征进行预先训练,生成训练文件;步骤三,使用支持向量机测试,把提取的每一种特征和预先训练好的语义的对应的特征文件进行匹配,以得到分类结果。
地址 200240 上海市闵行区东川路800号