发明名称 基于约束固定邻域嵌入的图像超分辨重建方法
摘要 本发明公开了一种基于约束固定邻域嵌入的图像超分辨重建方法,主要解决现有方法忽略高分辨块作用造成重建图像模糊的问题。其实现步骤是:1.构建高分辨、低分辨训练图像集合;2.从训练图像集合中构建低分辨、高分辨联合K近邻组;3.提取测试图像的亮度图像分量和色度图像分量;4.对亮度图像分量进行图像分块,并计算块均值,生成初始估计的高分辨特征块;5.查找所有初始估计高分辨特征块的最近邻联合K近邻组,重建高分辨估计图像块;6.组合所有高分辨估计图像块,得到高分辨亮度图像;7.融合高分辨亮度图像和色度图像分量,得到重建的高分辨图像。本发明减少了伪像的产生,提高了重构图像的清晰度,可用于高清晰视频显示。
申请公布号 CN106204451A 申请公布日期 2016.12.07
申请号 CN201610537501.2 申请日期 2016.07.08
申请人 西安电子科技大学 发明人 高新波;孙雷雨;王楠楠;李洁;曹兵;马卓奇;査文锦;于昕晔;朱明瑞;张宇航
分类号 G06T3/40(2006.01)I 主分类号 G06T3/40(2006.01)I
代理机构 陕西电子工业专利中心 61205 代理人 王品华;朱红星
主权项 基于约束固定邻域嵌入的图像超分辨重建方法,包括:(1)从网络中选择N幅高清自然图像进行下载,构建高分辨训练图像集合T<sub>h</sub>和低分辨训练图像集合T<sub>l</sub>;(2)从低分辨训练图像集合T<sub>l</sub>和高分辨训练图像集合T<sub>h</sub>中,随机提取出M个相同大小的低分辨、高分辨图像块对,组成训练图像块对集合<img file="FDA0001044169340000011.GIF" wi="232" he="95" />其中P<sub>i</sub><sup>l</sup>表示提取的第i个低分辨图像块,P<sub>i</sub><sup>h</sup>表示与P<sub>i</sub><sup>l</sup>对应的第i个高分辨图像块,1≤i≤M;(3)分别提取训练图像块对集合<img file="FDA0001044169340000012.GIF" wi="211" he="93" />中的低分辨特征块<img file="FDA0001044169340000013.GIF" wi="251" he="78" />和高分辨特征块<img file="FDA0001044169340000014.GIF" wi="282" he="79" />得到对应的低分辨、高分辨特征块对<img file="FDA0001044169340000015.GIF" wi="200" he="83" />再用所有得到的低分辨、高分辨特征块对<img file="FDA0001044169340000016.GIF" wi="172" he="79" />组成训练特征块对集合<img file="FDA0001044169340000017.GIF" wi="235" he="95" />其中,<img file="FDA0001044169340000018.GIF" wi="59" he="78" />表示低分辨图像块P<sub>i</sub><sup>l</sup>的均值,<img file="FDA00010441693400000126.GIF" wi="55" he="65" />表示提取的第i个低分辨特征块,<img file="FDA00010441693400000127.GIF" wi="58" he="65" />表示与<img file="FDA00010441693400000128.GIF" wi="59" he="66" />对应的第i个高分辨特征块;(4)按照欧式距离查找训练特征块对集合<img file="FDA0001044169340000019.GIF" wi="211" he="91" />中的每一低分辨、高分辨特征块对<img file="FDA00010441693400000110.GIF" wi="169" he="87" />的联合K近邻对,用这些近邻对组成联合K近邻组集合<img file="FDA00010441693400000111.GIF" wi="154" he="78" />其中<img file="FDA00010441693400000112.GIF" wi="262" he="79" />表示第i个联合K近邻组,<img file="FDA00010441693400000113.GIF" wi="261" he="110" />表示第i组低分辨K近邻特征,<img file="FDA00010441693400000114.GIF" wi="67" he="87" />表示第i个联合K近邻组C<sub>i</sub>中的第u个低分辨特征;<img file="FDA00010441693400000115.GIF" wi="266" he="109" />表示与<img file="FDA00010441693400000129.GIF" wi="51" he="65" />对应的第i组高分辨K近邻特征,<img file="FDA00010441693400000116.GIF" wi="70" he="79" />表示第i个联合K近邻组C<sub>i</sub>中的第u个高分辨特征,<img file="FDA00010441693400000117.GIF" wi="51" he="63" />表示第i个低分辨、高分辨特征块对<img file="FDA00010441693400000118.GIF" wi="171" he="79" />的第u个近邻对<img file="FDA00010441693400000119.GIF" wi="195" he="95" />在训练特征块对集合<img file="FDA00010441693400000120.GIF" wi="213" he="95" />中的索引,且K>0,1≤u≤K,<img file="FDA00010441693400000121.GIF" wi="245" he="69" />(5)计算每个联合K近邻组C<sub>i</sub>的中心<img file="FDA00010441693400000122.GIF" wi="297" he="86" />并按照欧式距离,利用类内所有联合K近邻组的低分辨中心为每一类创建一个新的K维‑树;其中<img file="FDA00010441693400000123.GIF" wi="51" he="63" />表示第i个联合K近邻组的低分辨中心,<img file="FDA00010441693400000124.GIF" wi="61" he="63" />表示与<img file="FDA00010441693400000125.GIF" wi="53" he="63" />对应的第i个联合K近邻组的高分辨中心;(6)给定任意一张测试的低分辨率图像Y,利用双立方插值方法对输入的低分辨率图像Y进行上采样s倍,得到低分辨率插值图像Y<sub>b</sub>,将插值图像Y<sub>b</sub>从RGB空间转换到YCbCr空间,得到其亮度分量图像Y<sup>l</sup>和蓝色色度分量图像Y<sup>Cb</sup>、红色色度分量图像Y<sup>Cr</sup>;(7)将亮度分量图像Y<sup>l</sup>分为大小相同且相互重叠的亮度分量图像块<img file="FDA0001044169340000021.GIF" wi="163" he="93" />并计算每个图像块<img file="FDA00010441693400000217.GIF" wi="51" he="61" />的均值<img file="FDA0001044169340000022.GIF" wi="86" he="75" />其中V表示提取出的图像块个数,1≤r≤V;(8)根据步骤(7)得到的图像块<img file="FDA00010441693400000218.GIF" wi="51" he="62" />和图像块均值<img file="FDA0001044169340000023.GIF" wi="83" he="76" />得到高分辨初始估计的特征块:<img file="FDA0001044169340000024.GIF" wi="269" he="94" />(9)对高分辨初始估计特征块<img file="FDA0001044169340000025.GIF" wi="51" he="62" />进行优化更新,得到更新后的高分辨估计特征块<img file="FDA0001044169340000026.GIF" wi="83" he="71" />(10)利用更新后高分辨估计特征块<img file="FDA0001044169340000027.GIF" wi="57" he="71" />和图像块均值<img file="FDA0001044169340000028.GIF" wi="87" he="76" />得到重建的高分辨亮度分量图像块:<img file="FDA0001044169340000029.GIF" wi="270" he="79" />(11)对所有重建的高分辨亮度分量图像块<img file="FDA00010441693400000210.GIF" wi="54" he="69" />进行融合,生成一幅对应于低分辨插值图像亮度分量Y<sup>l</sup>的清晰高分辨图像亮度分量<img file="FDA00010441693400000211.GIF" wi="75" he="63" />(12)将高分辨图像亮度分量<img file="FDA00010441693400000212.GIF" wi="56" he="55" />与蓝色色度分量Y<sup>Cb</sup>和红色色度分量Y<sup>Cr</sup>进行组合,得到YCbCr空间下的高分辨图像<img file="FDA00010441693400000213.GIF" wi="67" he="69" />并将高分辨图像<img file="FDA00010441693400000214.GIF" wi="48" he="55" />由YCbCr空间转换到RGB空间,得到在RGB空间下重建出的高分辨图像X。
地址 710071 陕西省西安市太白南路2号