利用变换和运动补偿的场景转换图像增强处理方法及系统

摘要

本文提出的是一种基于变换和运动补偿的场景转换图像增强处理方法和系统，虽然MPEG－4视频编码标准能提供高品质的视频效果，但如果有场景转换发生时整体的编码效率和视觉效果都会降低。我们提出一个以运动补偿为基础的算法用来测量两张相邻画面的相似性。为了降低计算量，我们使用小波变化后低频的信号去判断是否发生了场景转换。我们的算法何以避免两张完全不同画面却具有相同特征时所造成的误判。

主权项

[要解决的技术问题]我们提出一个以运动补偿为基础的算法用来测量两张相邻画面的相似性。为了降低计算量，我们使用小波变化后低频的信号去判断是否发生了场景转换。我们的算法何以避免两张完全不同画面却具有相同特征时所造成的误判。[技术方案]场景转换检测技术经常用于视频数据库系统。因为视频数据库中的视频大多是压缩过的，所以对于视频数据库系统来说，场景转换检测技术是基于压缩领域的。视频数据库使用场景转换检测技术的目的是防止数据丢失而引起的错误。我们提出的算法的目标是在未压缩领域确保前一帧和当前帧存在着某种关系。基于上面的讨论，我们提出如下算法：步骤1：帧内相似度度量1)设置帧计数frame counter为02)从视频序列中读取一帧，解码成频带。帧计数frame counter加13)根据当前帧和前一帧的最低频带中生成运动补偿帧F’。4)计算运动补偿帧F’和当前帧最低频带的PSNR值。5)将PSNR值记录在S[frame counter]中(S[.]是一个数组)。6)跳转到2)直到视频序列的最后一帧。步骤2检测场景转换，计算图像组(GOP)的长度。1)使用窗口大小为3的滑动窗口来查找关键点，将关键点标记为I。2)计算关键点之间的区间。将个各个区间作为各个GOP所要压缩的帧。3)如果最后一帧或两帧是B帧，并且运动补偿是后向的，则PSNR如下定义：$\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2}{\mathrm{MSE}}\right)$MSE表示原始帧和重构帧之间的平均square-error.图1是帧内相似度度量的流程图。将一帧装载如内存之后，我们用小波变化将它分解成若干频带。使用小波变换有如下优点：1.它可以将信号分解成若干频带，每个频带可以采用不同的分析策略。2.它能有效的聚集信号能量，它能将空间域的频率特征保存在低频部分。3.低频图象比DC图象更平滑，DC图象中包含对全局运动敏感的位置特征。4.减小图象大小不但能降低PSNR的计算而且能减少接下来的一系列的运动矢量的计算。当一帧可以通过另一帧预测时，我们称这两帧是相似的。在很多视频编码算法中，通过运动估计和运动补偿来消除时间上的冗余，特别是当处理连续帧的时候。我们设当前帧为I，前一帧为L，补偿帧为F.当且仅当I帧和L帧相似度非常高的时候，才适合使用运动补偿。运动补偿的计算是视频压缩算法的一个瓶颈，所以我们使用小波变换来减小图像大小。我们设I’，L’为I和L的低频部分。F’是通过I’和L’计算的运动补偿。度量两幅图像之间相似度的方法有很多。在许多视频或图象压缩论文中，通常采用PSNR值来评估一个算法的效率。它可以作为评估空间相似度的客观标准，所以我们也采用PSNR值作为评估标准。帧内相似度度量之后，下一步就是要找出场景变化的位置，确定各个片段的区间。在开始阶段，我们选择了一个固定的阈值来判断是否有场景切换。通常，如果将PSNR值设置为20，大部分场景切换都能检测到。这种方法并没有产生我们预期的效果。当同一个场景中有物体快速移动时，这种检测方法会产生错误的报警信息。在我们的算法中，PSNR值作为一个相互关联的因素来考虑。如果有场景切换，PSNR值会降低然后立即上升。在图2中显示了这一过程。图2(a)～(d)是视频序列，图2(e)～(g)是运动补偿帧，图2(e)和(b)，(g)和(d)非常相似。很明显，图2(f)和(c)非常特殊。图2(h)表示了PSNR值。这些特殊点满足如下条件：1)S[K]-S[K-1]＞02)S[K+1]-S[K]＜03)(S[K]-S[K-1])(S[K+1]-S[K])＝r_k＜0我们用r来表示第三个条件的值。突发场景切换是空间域上的位置变化，这样非常适合于阈值来判断位置变化。所以我们使用一个滑动窗口来检测N个连续帧之间的相似度。如图3所示，考虑N个连续的相似度值，形成一个滑动窗口。我们要找出这个范围的所有特殊点，并计算出各个特殊点的r值。在窗口的中间，通过如下式子来检测突发场景切换是否出现：r_sm是滑动窗口中第二小的数，a是一个正数，如果R_k满足上式，我们就可以判定在第k帧发生了场景切换.大部分度量两幅连续图像相似度或相异度的方法都是基于直方图的.然而这些方法并不是太好.如图4所示，这四幅图片具有相同的直方分布，但他们并不相似.如果我们使用DOH或CHI方法，将会产生误判.这是因为基于直方图的算法并没有考虑空间上的相似性.[有益效果]试验结果显示，我们提出的算法在画面品质和错误判断上都有相当好的效果.我们也发现所提出的算法和传统的MPEG-2标准在相同的位元率下画质大约可以有0.33dB的提高。