一种基于纹理优化的非同质图像合成方法

摘要

一种基于纹理优化的非同质图像合成方法，所述图像合成方法包括以下步骤：1)生成标签图A，颜色图A'，新标签图B的高斯金字塔，A_L，A′_L，B_L，B′_L表示对应金字塔的第L层；2)设定初始层L，生成初始化样图；3)对不同类型的图像定义不同的全局度量准则；4)从最粗糙层L开始，对金字塔从粗糙层到精细层循环做：4.1)对该层邻域窗口金字塔winSizePyr中的每个邻域大小做：4.1.1)根据A_L，A′_L，B_L，B′_L执行M步骤，得到Match_L；4.1.2)根据A_L，A′_L，B_L，B′_L，Match_L执行E步骤，得到优化后的新的B′_L；4.2)对B′_L超采样得到B′_L-1。本发明快速性良好、合成质量较高、合成效率更快。

主权项

一种基于纹理优化的非同质图像合成方法，其特征在于：所述图像合成方法包括以下步骤：1)生成标签图A，颜色图A’，新标签图B的高斯金字塔，A_L,A'_L,B_L,B'_L表示对应金字塔的第L层；2)设定初始层L，生成初始化样图；初始化过程分以下三步：首先，生成离散的纹理标签图IDA、IDB；接着，提取边缘，进行chamfer距离变换，得到距离图像DA、DB；然后，利用区域生长法生成初始化样图；IDA，IDB为对A,B进行色彩范围划分后得到的纹理标签图，A,B中具有相似颜色的区域用同一个标签来表示，距离图像中每个像素的灰度值表示其与最近边界像素的距离，可以用于边缘匹配；定义如下的度量准则：d(p_A,p_B)＝w*||N(p_A)_IDA‑N(p_B)_IDB||_chamfer+||N(p_A)_DA‑N(p_B)_DB||_L2 (w＝1/90)   (1)该度量准则根据离散纹理标签图和距离图像来比较标签图A和B的边缘信息，其中N(p_A)_IDA，N(p_B)_IDB代表p_A，p_B点在IDA,IDB图中的邻域，N(p_A)_DA，N(p_B)_DB代表p_A,p_B在DA，DB图中的邻域，||||_chamfer为邻域的chamfer距离，||||_L2为邻域的L2距离；两个邻域N_a、N_b间的chamfer距离定义如下：${\left|\right|\left|\right|}_{\mathrm{chamfer}}=\underset{p\in \mathrm{Na}}{\Sigma }\underset{q\in \mathrm{Nb}}{\min }L1(p,q)+\underset{q\in \mathrm{Nb}}{\Sigma }\underset{p\in \mathrm{Na}}{\min }L1(p,q)---\left(2\right)$L1(p,q)为两点的L1距离即曼哈顿距离，邻域chamfer距离的求法为：对邻域N_a中的每个点p，在N_b中找到和它具有相同标签值的q，且q和p之间的L1距离最小，如果在N_b中找不到和p点具有相同标签值的点，则L1(p,q)赋值为两倍的邻域大小，将所有点的L1距离相加，对N_b中的点q做同样操作，将两部分的结果相加；基于公式(1)，用区域生长方法在IDA，DA中查找和IDB，DB中p_B点边缘特征最相似的p_A点，生成一张和IDB具有相似区域划分的初始化样图initB；具体过程如下：首先新建initB图，随机地在initB图中选取一个种子点p_B进行生长，在各个方向的生长区域中，当其邻近点p_B'满足检测准则就并入小块区域，当新的点被合并后，再用新的区域重复这一过程，结束条件为：(1)d(p_B,p_B')<阈值，(2)initB中所有像素都被处理；p_B和p_B'点处于同一区域的判断条件如下：基于公式(1)在IDA、DA中找到和p_B最相似的p_A点，该区域的阈值为(d(p_A,p_B)+5)*1.25；若d(p_A,p_B')的值小于阈值，则p_B和p_B'属于同一区域，同时把p_A点坐标赋值给initB图中p_B'点；initB存储的是对应点的坐标值，根据A’图可把initB还原成颜色图colorInitB；3)对不同类型的图像定义不同的全局度量准则；定义同时度量标签图和颜色图的全局能量函数：$E_{\mathrm{TBN}}=w*\underset{q\in X^{+}}{\Sigma }\mathrm{label}(p,q)+\underset{q\in X^{+}}{\Sigma }\mathrm{color}(p,q)---\left(3\right)$其中p为A，A’中一点，q为B，B’中一点，label(p,q)和color(p,q)分别捕获了标签图和颜色图之间的匹配程度，w为权重；X⁺为B,B’中像素点的一个子集，对于B’中的点q(q∈X⁺)，在样图对A,A’中找到最相似点p，使得w*||F_A(p)‑F_B(q)||²+||F_A'(p)‑F_B'(q)||²最小，F代表某点的特征，能量函数E_TBN可以进一步表示为：$E_{\mathrm{TBN}}=w*\underset{q\in X^{+}}{\Sigma }{\left|\right|F_{A\left(p\right)}-F_{B\left(q\right)}\left|\right|}^2+\underset{q\in X^{+}}{\Sigma }{\left|\right|F_{A^{\prime }\left(p\right)}-F_{B^{\prime }\left(q\right)}\left|\right|}^2---\left(4\right)$TBN图像大致可分为自然图像和结构性图像两类，针对不同类型的图像，选取不同的特征F，使合成结果符合人类视觉感知；对于自然纹理，简单地采用邻域颜色的L2距离作为相似性度量准则即能获得较好的结果，能量函数定义如下，N表示对应点的邻域，其中N_B'(q)＝N_A'(S(q))；$E_{\mathrm{TBN}}=w*\underset{q\in X^{+}}{\Sigma }{\left|\right|N_{A\left(p\right)}-N_{B\left(q\right)}\left|\right|}^2+\underset{q\in X^{+}}{\Sigma }{\left|\right|N_{A^{\prime }\left(p\right)}-N_{B^{\prime }\left(q\right)}\left|\right|}^2---\left(5\right)$对于结构性纹理，将特征距离图引入结构性的TBN图像合成，来捕获纹理细节，首先得到颜色图A’的特征图，然后对其进行距离变换，得到特征距离图FDA，将其作为结构信息加入到全局能量优化的度量准则中，解决了合成图像细节特征丢失的问题，结构性纹理的能量方程定义如下：$E_{\mathrm{TBN}}=w1*\underset{q\in X^{+}}{\Sigma }{\left|\right|N_{A\left(p\right)}-N_{B\left(q\right)}\left|\right|}^2+w2*\underset{q\in X^{+}}{\Sigma }{\left|\right|N_{\mathrm{FDA}\left(p\right)}-N_{\mathrm{FDA}\left(s\left(q\right)\right)}\left|\right|}^2+\underset{q\in X^{+}}{\Sigma }{\left|\right|N_{A^{\prime }\left(p\right)}-N_{B^{\prime }\left(q\right)}\left|\right|}^2---\left(6\right)$w1，w2分别为标签值和特征值的权重，对于B’中的待合成点q，它的特征值根据坐标索引s(q)在FDA中查找，该能量方程考虑结构信息相似性度量，联合图像颜色通道和特征信息通道，能使全局优化过程中在样图中找到较好的候选点；4)从最粗糙层L开始，对金字塔从粗糙层到精细层循环做：4.1)对该层邻域窗口金字塔winSizePyr中的每个邻域大小做：4.1.1)根据A_L,A'_L,B_L,B'_L执行M步骤，得到Match_L，具体过程如下：保持目标纹理B,B’不变，根据特征F对目标纹理B，B’中的点q在样图纹理A，A’中找到最佳匹配点v，存在纹理Match_L中，形式化的表示如下：${\mathrm{Match}}_L\Leftarrow {\arg \min }_{v,v\in c\left(q\right)}({\left|\right|F_{B_L\left(q\right)}-F_{A_L\left(v\right)}\left|\right|}^2+{\left|\right|F_{{B_L}^{\prime }\left(q\right)}-F_{{A_L}^{\prime }\left(v\right)}\left|\right|}^2)---\left(7\right)$采用基于k‑coherence的离散求解器进行TBN纹理优化，其中M步骤用k‑coherence搜索进行最相似邻域查找，k‑coherence搜索分为预处理和搜索合成两个阶段；在预处理阶段，对于样图A，A’中的点p，在A，A’中查找和其最相似的点，并将查找得到的点坐标值存在纹理中；在搜索阶段，对B’中的每个点q，从q的邻域中收集k‑coherence候选集c(q)，在候选集中查找和q邻域最相似的点，存在Match_L中；用CUDA(Compute Unified Device Architecture)架构实现时，block的个数与图像像素点个数一致，线程个数为候选点个数，一个block的任务是对一个像素点查找最相似点；首先收集k‑coherence的候选集存放在块内共享内存中，然后每个线程并行地计算一个候选集点和当前点的距离，计算结果也存放于共享内存中，当一个block内的所有线程都计算得到距离后，从块内共享内存中读取所有点的距离，查找距离最小的最相似点；4.1.2)根据A_L,A'_L,B_L,B'_L,Match_L执行E步骤，得到优化后的新的B'_L，具体过程如下：E步骤保持目标纹理B，B’中点在样图纹理A,A’中的最佳匹配Match_L不变，根据当前目标纹理和M步骤计算得到的最佳匹配，最小化下一个目标纹理B'_L，形式化的表示如下：${B^{\prime }}_L\Leftarrow {\arg \min }_{x,x\in D\left(q\right)}\left(E_{\mathrm{TBN}}\right);---\left(8\right)$采用离散优化的方法逐像素的计算目标纹理值，根据当前q点在Match_L图中的邻域计算平均颜色值，平均颜色值的通道数与特征选取有关；根据B’的邻域建立候选集D(q)，D(q)中和平均颜色值最相似的点被设置为B'_L(q)的值，实现最小化能量函数E_TBN；D(q)由k‑coherence搜索得到，和步骤4.1.1)采用的方法一样；另外在每个block中，先计算平均颜色值，然后拿候选点与平均颜色值相比较，得到优化后的点坐标；4.2)对B'_L超采样得到B'_L‑1，具体过程如下：对已有的坐标图B'_L超采样得到B'_L‑1，在超采样过程中，将图像划分为N块，每个block处理一个图像块，B'_L和纹理内存相绑定，每个线程依次执行如下操作：获得B'_L‑1(p)的坐标(u,v)，在B'_L中取坐标为(u/2,v/2)点的颜色值color，B'_L‑1(p)点的值即为color*2+(u％2,v％2)。