基于关键帧和非局部约束的视频超分辨方法

摘要

本发明公开了一种基于关键帧和非局部约束的视频超分辨方法，主要解决了超分辨时对匹配准则依赖性高的难题。其实现步骤为：(1)输入视频X；（2）对视频X中的一帧低分辨率图像作双三次插值放大获得放大图像；对距离放大图像最近的高分辨率图像作高通滤波，获得低、高频分量；(3)分别在放大图像和低频分量中提取图像块，并对低频图像块作K聚类；（4）将放大图像块与聚类中心作比较，找到最相似的类，在最相似类中找到相似的低频图像块；(5)由相似的低频图像块找到相对应的高频图像块，再对高频图像块作非局部加权，得到重构的高分辨率图像；(6)对视频每一帧低分辨率图像，重复步骤(2)～步骤(5)，获得高分辨率视频。本发明可用于视频的增强或恢复。

主权项

一种基于关键帧和非局部约束的视频超分辨方法，包括如下步骤：(1)输入视频X，提取其中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M,和低分辨率图像帧X_t,t＝1,...,N,并定义这些高分辨率图像为关键帧，定义这些低分辨率图像为非关键帧，其中M为视频中高分辨率图像的帧数，N为视频中低分辨率图像的帧数；(2)利用视频中高分辨率图像帧与低分辨率图像帧的关系，对低分辨率图像帧X_t中的任意一帧图像进行超分辨重建：2a)对任意一帧低分辨率图像S进行双三次插值放大，放大因子λ＝2,获得低分辨率放大图像Y_o；2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；2c)在低频分量X_o中提取低频图像块j＝1,...,U，U为低频图像块的数目，在低分辨率放大图像Y_o中提取放大图像块Y_oⁱ，i＝1,...,K，K为放大图像块的数目；2d)对提取的低频图像块X_o^j进行k‑means聚类，将其分成50类，得到每一类的聚类中心；2e)用放大图像块Y_oⁱ与上步获得的聚类中心作比较，找到与其最为相似的那一类，即先计算放大图像块Y_oⁱ与每个聚类中心的均方差，再从这些均方差中找出最小值，该最小值所对应的聚类中心就是与放大图像块Y_oⁱ最相似的块，包含这个最相似块的类就是最相似的那一类，并在这一类中找到与放大图像块Y_oⁱ最相似的3个近邻低频图像块q＝1,...,3，q为最相似的近邻块的数目；2f)利用上步得到的最相似的低频图像块在高频分量X_p中找到与其相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_fⁱ：$Y_f^i=\underset{q}{\Sigma }{w}_i^q*y_h^q,$其中，为非局部加权系数：$w_i^q=\exp (-||{Y_o}^i-y_i^q|{|}^2/h)/c_i,$其中c_i为归一化参数，$c_i=\underset{q=1}{\overset{3}{\Sigma }}\exp (-||{Y_o}^i-y_i^q|{|}^2/h),$h＝100；2g)根据合成的高频图像块Y_fⁱ和低分辨率放大图像块Y_oⁱ，得到高分辨图像块$Y_h^i={Y_o}^i+{Y_f}^i;$2h)对高分辨图像块求和，得到高分辨图像Y_p：$Y_p=\underset{i}{\Sigma }{Y}_h^i;$(3)重复步骤2，对视频X中低分辨率图像的每一帧进行超分辨重建，得到重建后的高分辨率图像帧V_t；(4)对视频X中原有的高分辨率图像帧X_h和重建后的高分辨率图像帧V_t求和，得到高分辨率视频Z：Z＝X_h+V_t。