一种压缩域视频镜头突变与渐变联合自动分割方法及系统

摘要

本发明提供一种压缩域视频镜头突变和渐变联合自动分割方法及系统。针对影响镜头分割性能三个因素：特征提取、不相似性度量以及分割准则，提出基于主成份分析的视频特征提取方法以及压缩域构建纹理特征图的方法；其次，提出时间域多尺度的不相似性度量方法；根据可有效特征化镜头变化的局部特性的参数提出基于自适应阈值的方法，通过1-帧时域间隔的不相似性度量算子，自适应确定出N-帧时间域间隔的长度；并为突变和渐变镜头设计出不相似性度量算子和有效的判别准则。本发明通过全面考虑影响镜头分割性能三个因素，能够有效增强镜头分割算法对镜头内摄像机或物体运动干扰的鲁棒性，抗噪性能强、快速、准确、误检率低，极大提高镜头的分割性能。

主权项

1、一种压缩域视频镜头突变与渐变联合自动分割方法，包括如下步骤：1)首先在每个视频镜头起始的位置，选择若干视频图像帧构建一个训练样本集，针对样本集中的每帧视频图像，为其分别提取Y分量，Cb分量和Cr分量的DC图像，并针对该样本集中的每帧的三个分量的DC图像，分别通过首尾连接每一个DC图像的每一行，将二维图像矩阵形式转换为一维列向量形式，假设DC图像的大小为h×w，通过首尾连接图像的每一行，得到N＝h×w维的图像矢量X_k：$X_k={[x_k^{\left(\mathrm{1,1}\right)},x_k^{\left(\mathrm{1,2}\right)},...,x_k^{(1,w)},x_k^{\left(\mathrm{2,1}\right)},...,x_k^{(2,w)},...,x_k^{(h,w)}]}^T$假定选择M个图像矢量组成训练样本集，用矩阵P表示，这是一个N×M大小的矩阵，其中，N＞＞M，每一帧的图像矢量作为该矩阵的列向量，P＝[X₁，X₂，X₃，......，X_M-1，X_M]；2)针对步骤1)所构建的DC图像样本集，进行主成份分析，计算得到该样本集的特征值和相应的特征向量：计算矩阵P的协方差矩阵，C＝PP^T对协方差矩阵C计算特征值λ_i和相应的特征向量e_i；3)针对步骤2)所得到的特征向量，仅保留最大特征值对应的特征向量，由其构造新的一维特征子空间，用矩阵φ表示，最大特征值对应的特征向量是其列向量，至此，通过训练样本集的主成份分析，成功构建三个颜色分量Y，Cb和Cr对应的新特征子空间；4)接着，将样本集之后的视频图像作为检测帧，检测镜头发生变化的位置，针对当前检测图像帧，从镜头起始位置处开始，分别针对Y分量、Cb分量、Cr分量三个色度分量，利用步骤1)所述的方法，分别提取各自的DC图像，并且将各分量的DC图像向步骤3)所构造的各分量的特征子空间中进行投影，从而提取得到各分量的一维投影系数，利用矩阵φ，视频序列的每帧图像X_k对应的矢量向该子空间进行投影，获得一维投影系数Y_k：Y_k＝φ^TX_k这里，k代表帧数；5)根据步骤4)的结果，联合Y分量、Cb分量、Cr分量三个色度分量对应的三个一维投影系数，构造特征集：V_k＝<Y_k^Y，Y_k^Cb，Y_k^Cr>；6)根据步骤5)所提取的特征集V_k，利用L1范数，计算连续视频帧的特征差异，用1帧时域间隔不相似性d_k(V_k，V_k+1)代表：$d_k(V_k,V_{k+1})=\sqrt{{({Y_{k+1}}^Y-{Y_k}^Y)}^2+{({Y_{k+1}}^{\mathrm{Cb}}-{Y_k}^{\mathrm{Cb}})}^2+{({Y_{k+1}}^{\mathrm{Cr}}-{Y_k}^{\mathrm{Cr}})}^2}$7)根据步骤6)计算得到的1帧时域间隔不相似性d_k(V_k，V_k+1)，基于滑动窗口的突变镜头分割准则，对当前帧是否为突变镜头进行判别，判断准则包括：a)当前帧的一维投影系数的绝对差是关于当前帧对称的时间窗口中的最大值，即d_k≥d_i，i＝k-m+1，...，k-1，k+1，...，k+m-1这里，所述滑动窗口的大小N_a＝2m-1，其中，k代表当前帧的时间序号，m代表以当前帧为中心在时间域分别向前和向后移动的帧数。b)该时间窗口中，最大的绝对差值是第二大绝对差值的3～5倍，$\frac{\max \left\{d_i\right|i=k-m+1,...,k-1,k,k+1,...,k+m-1\}}{\hat{\max }\left\{d_i\right|i=k-m+1,...,k-1,k,k+1,...k+m-1\}}=3~5$这里，max{·}表示最大的绝对差值，表示第二大的绝对差值，如果同时满足上述两个判别准则，则判断为当前帧发生镜头突变，则停止对当前镜头变换的搜索，然后，将跳转到所述步骤1)，开始对新出现的相邻的下一个镜头变换进行检测，否则，将继续执行下面的步骤8)；8)如果判断出当前帧没有发生镜头突变，则在以当前帧为对称中心的滑动窗口内，针对步骤6)计算得到的1帧时域间隔不相似性d_k(V_k，V_k+1)进行一维低通滤波，从而得到新的1帧时域间隔不相似特征，用于渐变镜头的判断：选择另一个相对于当前帧对称的一维时间滑动窗口，然后，利用一维低通滤波器作用于该时间窗口内的1帧时域间隔不相似性d_k(V_k，V_k+1)，即d_i(i＝k-n+1，...，k-1，k，k+1，...k+n-1)，并从得到的低通滤波结果中，选取其中的最大值作为当前帧新的检测特征b_k，用于渐变镜头的检测，b_k＝max{B_i|i＝k-n+1，...，k-1，k，k+1，...，k+n-1}这里，滑动窗口大小N_g＝2n-1，而B_i表示时间窗口内各元素的低通滤波结果，n代表以当前帧为中心在时间域分别向前和向后移动的帧数；9)根据步骤8)所提取的1帧时域间隔不相似特征b_k，通过基于以当前帧为对称中心的滑动窗口方法，为当前帧提取出表征渐变特性的两个参数：前向比率R_f(k)和后向比率R_b(k)，假设当前帧k的前向窗口和后向窗口大小分别为N_f和N_b，则前向窗口的均值和后向窗口的均值分别为：${\bar{M}}_f\left(k\right)=\frac{1}{N_f}\underset{i=k-1}{\overset{k-N_f}{\Sigma }}{b}_i$${\bar{M}}_b\left(k\right)=\frac{1}{N_b}\underset{i=k+1}{\overset{k+N_b}{\Sigma }}{b}_i$其中，M_f(k)为前向窗口的均值，而M_b(k)为后向窗口的均值，由此，分别通过下述公式计算得到前向比率R_f(k)和后向比率R_b(k)：$R_f\left(k\right)=\frac{b_k}{{\bar{M}}_f\left(k\right)}$$R_b\left(k\right)=\frac{b_k}{{\bar{M}}_b\left(k\right)};$10)根据步骤9)所提取的两个表征参数：前向比率R_f(k)和后向比率R_b(k)，根据下述决策准则确定用来检测候选的镜头渐变，用于检测候选的镜头渐变的决策准则包括：a)镜头渐变引起的局部曲线峰的起始帧的前向比率R_f(k)通常高于自适应阈值T_p，而同时它的后向比率R_b(k)通常低于自适应阈值T_p，与此同时，起始帧的前向比率R_f(k)是一个局部极大值；b)镜头渐变引起的局部曲线峰的结束帧的前向比率R_f(k)通常低于自适应阈值T_p，而同时它的后向比率R_b(k)通常高于自适应阈值T_p，与此同时，结束帧的后向比率R_b(k)是一个局部极大值；c)镜头渐变引起的局部曲线峰持续阶段，视频帧的前向比率R_f(k)和后向比率R_b(k)通常均低于自适应阈值；满足上述三个准则的局部曲线峰作为候选镜头渐变，继续执行下面的步骤11)，来最终判定其是否为真正的镜头渐变；11)根据步骤10)所得到的作为候选镜头渐变引起的局部曲线峰，自适应地确定出当前渐变镜头的时域长度，进行N帧视域间隔的不相似性度量，分别对局部曲线峰的起始帧和结束帧直接在压缩域内提取纹理特征图，利用图像帧在压缩域中基于块DCT系数中的AC系数，并且是左上角的三个AC系数，即X(0，1)，X(1，0)和X(1，1)，由此，AC能量图下述公式计算得到：$E_{\mathrm{ac}}=\frac{1}{3}\left(\right|X\left(\mathrm{0,1}\right)|+|X\left(\mathrm{1,0}\right)|+|X\left(\mathrm{1,1}\right)\left|\right)$然后，针对该AC能量图E_ac通过下述公式进行二值化处理：${\mathrm{MAP}}_{\mathrm{texture}}(i,j)=\left\{\begin{array}{c}1,\mathrm{if}{E}_{\mathrm{ac}}(i,j)>\frac{1}{\mathrm{hw}}\underset{j=1}{\overset{h}{\Sigma }}\underset{i=1}{\overset{w}{\Sigma }}\left|E_{\mathrm{ac}}(i,j)\right|;\\ 0,\mathrm{other};\end{array}\right.$针对二值化的纹理特征图MAP_texture利用数学形态学的闭操作与开操作进行后处理，提取到最终的纹理特征图；12)根据步骤11)所得到的起始帧和结束帧的纹理特征图，通过相似性度量方法对局部曲线峰的起始帧和结束帧进行相似程度比较，如果该两帧的相似程度较高，则判断为该局部曲线峰没有发生镜头渐变，相似性度量算子如下述公式所示：$S=\frac{\Sigma {\mathrm{MAP}}_{\mathrm{texture}}(\mathrm{start}\_\mathrm{frame})\cap {\mathrm{MAP}}_{\mathrm{texture}}(\mathrm{end}\_\mathrm{frame})}{\Sigma {\mathrm{MAP}}_{\mathrm{texture}}(\mathrm{start}\_\mathrm{frame})\cup {\mathrm{MAP}}_{\mathrm{textue}}(\mathrm{end}\_\mathrm{frame})}$如果相似度S高于设定的阈值，则判断为该局部曲线峰没有镜头渐变发生，则返回所述步骤4)，开始对下一个检测帧的操作，反之，如果相似度S小于等于设定的阈值，则判定发生镜头渐变，从而返回所述步骤1)，开始下一个镜头变换的检测。