基于最小生成树的非局部的深度图超分辨率重建方法

摘要

本发明属于计算机视觉和图像处理领域，为提出一种快速的非局部的基于MST的超分辨率重建方法，在降低算法时间复杂度的同时，保持重建结果的质量，在两者之间取得很好的平衡，本发明采取的技术方案是，基于最小生成树的非局部的深度图超分辨率重建方法，包括下列步骤：1）得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理；2）得到一幅标准的4连通的平面图；3）由2）中的无向连通图G，得到与之对应的MST（MST，Minimum Spanning Tree）；4）根据MST对预处理之后的粗糙的深度图进行重建。本发明主要应用于图像处理。

主权项

一种基于最小生成树的非局部的深度图超分辨率重建方法，其特征是，包括下列步骤：1）采用Middlebury的数据集即成对彩色图和深度图作为测试数据，根据超分辨率比例对深度图进行下采样，得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理，即采用双三次插值（Bicubic Interpolation）将下采样后的深度图放大至原来的尺寸；2）将彩色纹理导图看作一幅连通的无向图G=（V,E），节点V对应于图像中所有的像素点，边E对应于图像中最邻近像素间的连线，这样就得到了一幅标准的4连通的平面图，设s和r是一对相邻的节点，连接s和r的边的权重定义如下：ω(s,r)＝ω(r,s)＝|I(s)‑I(r)|         (1)ω(s,r)为连接s和r的边的权值，I(s)和I(r)是节点对应像素的强度值；3）由2）中的无向连通图G，得到与之对应的MST（MST，Minimum Spanning Tree），在生成MST的过程中，权值较大的边会被移除，这些边正好对应于彩色图中强度值变化较大的区域；4）根据MST对预处理之后的粗糙的深度图进行重建，在MST中，两个节点之间的距离越小，两者越相似，节点间距离为连接二者最短路径的边权的总和，节点间的相似度定义如下：S(p,q)＝S(q,p)＝exp(‑D(p,q)/σ)         (2)p、q为MST中的节点，σ是一个常数，用来对相似度进行调整，这样就将Joint Bilateral Filter扩展至最小生成树结构，双边滤波在对图像进行平滑的同时能够有效的保护边缘信息，在立体匹配代价聚合中得到广泛应用，双边滤波的定义如下： I A ( m ) = Σ n exp ( - | m - n | σ S ) exp ( - | I ( m ) - I ( n ) | σ R ) I ( n ) Σ n exp ( - | m - n | σ S ) exp ( - | I ( m ) - I ( n ) | σ R ) - - - ( 3 ) IA(m)代表当前像素点m加权平均之后的值，n为m点M×N领域内的像素点，|m‑n|表示邻域像素与当前像素之间的空间距离，单位为像素；I(n)代表原始的像素值，|I(m)‑I(n)|表示像素强度间的差异，σS和σR是用来调整空间和幅值相似性的参数，分母是归一化因子；最小生成树下的定义： I A ( p ) = Σ q S ( p , q ) I ( q ) = Σ q exp ( - D ( p , q ) σ ) I ( q ) - - - ( 4 ) q是MST中除当前节点p外的所有的节点，MST下的加权平均将两个相似性参数σS和σR化归为σ。