发明名称 基于邻近I帧DC图像相似度的压缩域关键帧提取方法
摘要 本发明公开了一种基于邻近I帧DC图像相似度的压缩域关键帧提取方法,该方法首先计算原始视频中邻近I帧DC图像的相似度,形成相似度集合,其次利用聚类算法Kmeans对邻近I帧的DC图像相似度集合进行聚类,最后根据聚类结果中各I帧的相关度值进行关键帧提取。本发明充分利用相邻I帧相似度较大的特点,来减少计算次数以避免大量不必要的计算和应用聚类方法Kmeans对相似度集合Sdist在较短时间内完成聚类,改变了先镜头分割后提取关键帧的思路,简化了视频关键帧提取过程,并保证了结果的有效性;而且,本发明可处理多种类型视频文件的关键帧提取。
申请公布号 CN101577824B 申请公布日期 2011.01.19
申请号 CN200910022941.4 申请日期 2009.06.12
申请人 西安理工大学 发明人 孙钦东;王倩;郭晓军;胡敏
分类号 H04N7/26(2006.01)I;G06F17/30(2006.01)I 主分类号 H04N7/26(2006.01)I
代理机构 西安弘理专利事务所 61214 代理人 罗笛
主权项 一种基于邻近I帧DC图像相似度的压缩域关键帧提取方法,其特征在于,所述的DC图像为直流分量图像,该方法按照以下步骤实施:步骤1:假设VS为待处理的原始视频流,DCi为VS中第i个I帧所对应的DC图像,i=1,2,3,...,n,n为I帧总数,则相邻I帧DC图像的相似度dj定义为: <mrow> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>=</mo> <mi>dist</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>L</mi> </munderover> <msup> <mrow> <mo>(</mo> <msubsup> <mi>DC</mi> <mi>l</mi> <mi>j</mi> </msubsup> <mo>-</mo> <msubsup> <mi>DC</mi> <mi>l</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>公式(1)中j=1,2,3,...,n‑1;L=WDC×HDC,WDC,HDC分别为DC图像的宽度和高度;Sdist为VS中所有相似度dj构成的集合,即Sdist={d1,d2,…,di,…,dn‑1},K为聚类总个数,RDC为I帧相关度集合,且Ri∈RDC,其中Ri为VS中第i个I帧的相关度,SRF为关键帧集合,且初始时SRF=φ,利用公式(1)计算相邻DC图之间的距离dj,得到序列Sdist;步骤2:设置聚类总个数K的值,K>0,并利用Kmeans方法对步骤1得到的Sdist进行聚类,得到Class1,Class2,Classi,...,ClassK,i=1,2,...,K;步骤3:按照公式(2) <mrow> <msub> <mi>R</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mi>if</mi> </mtd> <mtd> <mi>p</mi> <mo>=</mo> <mi>q</mi> <mo>,</mo> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>&Element;</mo> <msub> <mi>Class</mi> <mi>p</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>&Element;</mo> <msub> <mi>Class</mi> <mi>q</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>2</mn> </mtd> <mtd> <mi>if</mi> </mtd> <mtd> <mi>p</mi> <mo>&NotEqual;</mo> <mi>q</mi> <mo>,</mo> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>&Element;</mo> <msub> <mi>Class</mi> <mi>p</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>&Element;</mo> <msub> <mi>Class</mi> <mi>q</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>计算VS中每个I帧的相关度Rj+1,其中p,q=1,2,...,K;j=0,1,2...,n‑1;R1=1,Rn=1;所有VS中每个I帧的相关度Rj+1构成帧相关度集合RDC;步骤4:对于帧相关度集合RDC,若s,t,e满足条件 <mrow> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <msub> <mi>R</mi> <mi>s</mi> </msub> <mo>=</mo> <mn>2</mn> <mo>,</mo> <msub> <mi>R</mi> <mi>e</mi> </msub> <mo>=</mo> <mn>2</mn> </mtd> </mtr> <mtr> <mtd> <msub> <mi>R</mi> <mrow> <mi>s</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msub> <mi>R</mi> <mrow> <mi>s</mi> <mo>+</mo> <mn>2</mn> </mrow> </msub> <mo>=</mo> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mo>=</mo> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>=</mo> <mo>.</mo> <mo>.</mo> <mo>.</mo> <msub> <mi>R</mi> <mrow> <mi>e</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> <mo>=</mo> <msub> <mi>R</mi> <mrow> <mi>e</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>其中的s,e=1,2,…,n‑1;s≤e且s≤t≤e;则将s,t,e并入集合SRF中,即SRF=SRF∪{s,t,e};步骤5:重复步骤4,直到找出所有满足条件的s、t、e为止,SRF即为最终所提取的关键帧集合。
地址 710048 陕西省西安市金花南路5号