基于压缩域的视频超分辨率方法

摘要

本发明公开了一种适用于压缩域的视频超分辨率方法，充分利用前后多帧的信息来超分辨率重建目标帧，主要包括以下步骤：首先，解压缩低分辨视频，得到各种信息；然后，利用得到的信息，使用贝叶斯框架，来分别得到当前窗口内的各单幅超分辨率图像；最后，利用当前窗口内的各单幅超分辨率图像来重建目标帧的最终的超分辨率图像。在此过程中，提出了超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，作为先验概率；使用了IRLS来构建目标函数，从而削弱离群点和噪声的影响，使得到的超分辨率图像具有较高的PSNR，较少引入新的噪声，且抑制编码噪声和“振铃”效应。利用依次滑动移动窗口，就得到超分辨率的视频。

主权项

一种适用于压缩域的视频超分辨率方法，其特征在于包括如下具体步骤：1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨率图像之间的关系：高分辨率图像通过模糊、下采样、压缩和解压缩得到低分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关系；3)由上面建立的低分辨率图像和相应高分辨率图像之间的关系可以建模条件概率：在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪声的分布来建模，所述量化噪声的分布符合高斯分布；4)对上面量化噪声的协方差矩阵进行建模：先求解变换域的协方差矩阵：由量化矩阵可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引入量化噪声的分布来建模，所述运动估计引入噪声的分布符合高斯分布；6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变换域的协方差矩阵：由量化矩阵和变换域系数可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；7)建模高分辨率图像的先验概率：对图像的梯度分布用广义拉普拉斯分布来拟合，使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度分布，而且超分辨率图像应该是平滑的，没有“块效应”；8)使用贝叶斯模型MAP框架估计暂时的单幅超分辨率图像；9)使用梯度下降来求解得到暂时的单幅超分辨率图像，超分辨率图像的初始值为双线性插值放大后的图像；10)使用鲁棒性强的光流法来估计各单幅超分辨率图像和待处理单幅超分辨率图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移初始值；11)建立当前窗口内的各低分辨率图像与目标高分辨率帧之间的关系：目标高分 辨率图像通过运动位移/模糊/下采样/压缩/解压缩来得到当前窗口内的各低分辨率图像；12)由当前窗口内的多帧暂时的单幅超分辨率图像，结合7)中的先验概率，使用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声的影响；13)使用循环坐标下降来得到最终的超分辨率图像：先假设超分辨率图像已知，使用梯度下降法分别更新各运动位移；然后在求得的位移基础上，用梯度下降法重新求超分辨率图像，如此循环迭代，直至收敛；本方法只超分辨率亮度分量，色度和色差分量只是双线性插值所得。