基于深度模板的3D树木图像构建方法

摘要

基于深度模板的3D树木图像构建方法，主要步骤如下：1、基于模板的树木深度信息构建；2、基于单幅2D树木图像的立体图像构建；3、红蓝立体图像的合成与制作。本发明在利用虚拟应用场景特征的基础上，通过模板库构建和模板匹配的方式，为2D树木图像构建立体信息，将单幅2D树木图像转化成3D树木立体图像并实现树木与应用场景的合成。该方法是基于特定对象的3D立体图像构建的一种具体化方案，在保证较好立体视觉效果的基础上大大减少3D立体素材获取和制作的成本，增加立体树木图像构建的灵活程度，从而提高立体树木在森林、城市规划和园林绿化等应用领域的制作效率。

主权项

基于深度模板的3D树木图像构建方法，主要步骤如下：1、基于模板的树木深度信息构建；2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差，从而影响立体图像的观看效果；为了在2D树木图像的基础上构建恰当的立体信息，在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类，并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割；根据目标树木与树木形态模板的匹配结果，利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息，从而完成深度信息的初始化，即获得载有各个像素点对应深度值的树木深度图，以此作为树木的初始立体信息；不同种类的树木往往具有不同形态的外形结构，因此不仅需要对树木结构进行分析和分类，并且考虑不同树木形态类型情况下的深度模板的构建和选取，从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征；具体步骤如下所示：(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取，分离出树冠部分和树干部分：(11‑1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型；(11‑2)对Lab模型下的目标图像的各像素作K‑Means聚类；(11‑3)对聚类后的像素图像实行形态学方法的去噪，并确定树干所在的聚类和树冠所在的聚类；(11‑4)根据树木原始形态分离出树木对象的树干部分和树冠部分，完成树木基本结构的提取；(12)根据目标树木图像的树冠形态，依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度，将目标树木归于相似度最高的树木类型，从而获得目标树木的类型；若目标树木与四种典型树木类型均不匹配，则判定该树木为非典型树木；(13)进行(12)的同时，对树冠部分进行基于多尺度图谱的树冠再分割，根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块；(14)根据树木类型信息和树木区域分割的信息对目标树木进行基于深度模板的树木深度图初始化：(14‑1)建立深度梯度假设图，用不同变化方向的渐变深度来模拟深度变化情况，(14‑2)构建典型树木的深度模板；利用深度梯度假设图，分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合，从而获得四种树木类型的深度模板；(14‑3)通过步骤(14‑2)通过相似度计算所得目标树木类型匹配的结果，若为典型树木，则启用典型树木对应的深度模板；若为非典型树木，则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组，从而为其构建个性化深度模板；(14‑4)深度模板的应用根据树冠再分割情况，对于树冠图像中的任意区域R，计算与其对应的深度梯模板中的区域深度平均深度D(R)，将其作为目标树木图像的树冠区域的初始化深度；$D\left(R\right)=\frac{1}{\left|R\right|}\underset{(x,y)\in R^{\prime }}{\Sigma }D(x,y)---\left(1\right)$其中，x，y指图像中某像素点的横坐标和纵坐标，R为树木对象结构分析和区域分割后的任一分割区域，R’是该对应深度模板中的相同区域，|R|指区域R中的像素个数，D(x,y)指区域R内的某一像素点的深度值；由此完成目标树木各个区块的深度值计算，生成初始深度图像；(14‑5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理；2、基于单幅2D树木图像的立体图像构建；基于单幅2D树木图像的立体图像构建时，为了使树木个体的深度信息与应用场景一致，首先对虚拟立体场景进行深度估计，根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整；然后在调整后的树木深度图基础上，将原2D树木图像作为左眼视图，依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图；基于单幅2D树木图像的立体图像构建主要流程如下所示：(21)确定目标树木即将合成的背景立体图像，及其在背景图像中的目标位置R；(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图；(23)基于背景深度信息进行树木深度信息的自适应调整；(23‑1)计算树木的融合点深度值；树木需融合在背景图像位置的A处，(i,j)是该点的坐标，目标树木初始化时的主干深度值为D_o，当选定目标合成位置时，树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致；为了避免背景图像深度图中的噪声影响，选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值，S_Nr就是该区域的面积，并把该深度值作为主干所处的深度D_t：$D_t=\frac{{\Sigma }_{(i,j)\in N_r}Depth(i,j)}{S_{N_r}}---\left(2\right)$(23‑2)树木深度值的自适应调整目标树木主干底部深度变化值为D_o‑D_t；随着主干深度信息的改变，树木各像素点的相对深度保持不变，树木的其他像素点深度信息也应随之改动；若背景图像对最大深度和最小深度分别为D_max和D_min，D₁(p)是树木图像中像素点p对应的树木初始化深度值，D₂(p)是像素点p自适应调整后的深度值，那么，(D_o‑D_t)/(D_max‑D_min)即是主干部分的深度值变化率，树木深度依照深度值变化率进行等比率的深度自适应调整，如下式所示：$D_2\left(p\right)=D_1\left(p\right)\times (1+\frac{D_0-D_t}{D_{max}-D_{min}})---\left(3\right)$由此完成树木图像在背景制定位置的深度自适应调整，得到与背景深度信息相一致的深度图像；(24)对于单幅2D树木图像及其经自适应调整后的树木深度图，按照以下步骤获得树木立体图像对：(24‑1)计算零视差面Z_c，计算方法为：其中Z_near和Z_far分别为最近限幅平面和最远限幅平面，在8位的深度图中，Z_near＝255；Z_far＝0；(24‑2)计算视差d_p，计算方法为：其中z_p是深度，e代表人两眼之间的距离，约为6.5cm，D是人眼观测距离，和分别是左右眼所观察到的目标对象点在立体成像模型上的位置；(24‑3)树木图像的最大视差为M_max(m)，m为长度单位米，立体图像显示器的水平像素分辨率为Screen_w(pixel)，Pixel表示像素的个数，显示器的水平宽度为Screen_w(m)，计算像素级别的最大视差M_max(pixel)：$M_{max}\left(pixel\right)=\frac{{\mathrm{Screen}}_w\left(pixel\right)}{{\mathrm{Screen}}_w\left(m\right)}\times M_{max}\left(m\right)---\left(4\right)$(24‑4)以原2D树木图像作为左眼视图，对各个像素点p进行相应视差d_p平移得到右视图，左眼视图和右眼视图作为一组立体树木的图像对；3、红蓝立体图像的合成与制作；利用树木深度信息和立体背景场景的深度信息对比，实现基于遮挡关系的立体图像合成，使得树木与目标背景场景间产生层次关系和近远景的遮挡关系，在此基础上生成红蓝立体图像，用于3D立体场景的显示；(31)深度融合与二维图像融合的不同之处在于，由于场景中的不同物体所处的深度位置不一，因而需要考虑景物的遮挡关系：即较近的物体遮挡较远的景物；基于遮挡关系进行深度融合计算，得到深度融合后的深度图P(x,y)：$P(x,y)=\left\{\begin{array}{c}Fg(x,y),D_{fg}(x,y)\ge D_{bg}(x,y)\\ Bg(x,y),D_{fg}(x,y)<D_{bg}(x,y)\end{array}\right.---\left(5\right)$其中，x,y表示图像中任意一点的横纵坐标，D_fg(x,y)树木图像的中任意像素点对应的深度值，D_bg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值；Fg(x,y)是树木图像中的任意像素点，Bg(x,y)是背景立体图像中的任意位置像素值；(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时，采用立体图像对的其中一幅视图的G通道和B通道的值，采用另一幅中的R通道的值，将这三个通道的值进行叠加，得到红蓝立体图像效果。