一种融合直连通约束的图像分割方法

摘要

本发明公开了一种融合直连通约束的图像分割方法，属于计算机视觉、计算机图形学、图像处理等交叉领域。首先通过应用程序的用户接口，交互式指定部分前、背景。然后建立指定部分前、背景的颜色模型。构造用于分割的图G以及能量函数。能量函数包含颜色约束和梯度约束，以及本发明所提出的直连通约束。最后，采用图割算法求解函数最小值，得到分割结果。若用户对分割结果不满意可以再次添加前背景线索，流程重复循环执行，直至得到满意的分割效果。本发明首次提出融合直连通约束的分割方法，相比仅有颜色和梯度约束的传统方法，在相同交互量的前提下，本发明在处理自联通对象分割时，分割效果更好。

主权项

1.一种融合直连通约束的图像分割方法，其特征在于包括以下步骤：步骤一，添加前、背景线索；读入一幅图像后，采用鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；步骤二，构造图与能量函数；图像可以表示成一个无向图G＝<ν,ε>，ν为图G中的节点集合，ε为边的集合；图G中的每个节点p(p∈v)对应图像的一个像素或过分割后的超像素；假定交互式标定的部分前景像素属于集合F，背景像素属于集合B，其余像素属于集合U，则图像分割可视为一个二元标记问题，即为集合U中的每个节点分配一个唯一的标记l_p∈{1,0}，l_p＝1表示前景，l_p＝0表示背景；上述标记分配问题可通过最小化以下能量函数求解：$E\left(L\right)=\underset{p\in v}{\Sigma }{E}_1\left(l_p\right)+\lambda \underset{(p,q)\in ϵ,l_p\ne l_q}{\Sigma }{E}_2\left(l_{p,}{l}_q\right)+\underset{p\in \alpha }{\Sigma }{E}_3\left(l_p\right)$式中，E₁(l_p)与E₃(l_p)是单元项，表示将节点p(p∈ν)标记为l_p∈{1,0}时的代价，E₂(l_p,l_q)是二元项，用于表示相邻像素分别取不同标记时的代价；λ为权重；E₁(l_p)、E₂(l_p,l_q)和E₃(l_p)又分别称作颜色约束项、梯度约束项和直连通几何约束项；按照E₁(l_p)的定义，节点p的颜色与指定的前景部分的颜色相似度越大，l_p取前景标记的可能性越大，即l_p＝1；反之亦然；按照E₂(l_p,l_q)的定义，相邻节点间的梯度值越大，作为分割边界的可能性越大；按照E₃(l_p)的定义，违背直连通约束的节点将直接标记为背景；E₃(l_p)是强制约束，权重λ的大小对其不产生影响，λ仅用于调节E₂(l_p,l_q)相对于E₁(l_p)的重要性；(1)定义非几何约束项E₁(l_p)和E₂(l_p,l_q)对于E₁(l_p)，首先，通过对F和B中的像素进行K-means聚类，得到64个前景类簇和64个背景类簇然后，将E₁(l_p)定义为：$\left\{\begin{array}{ccc}{E}_1(l_p=1)=0& E_1(l_p=0)=\infty & \forall p\in F\\ E_1(l_p=1)=\infty & E_1(l_p=0)=0& \forall p\in B\\ E_1(l_p=1)=f_1(D_p^F,D_p^B)& E_1(l_p=0)=f_0(D_p^F,D_p^B)& \forall p\in U\end{array}\right.$$f_1(D_p^F,D_p^B)=\frac{D_p^F}{D_p^F+D_p^B}$$f_0(D_p^F,D_p^B)=\frac{D_p^B}{D_p^F+D_p^B}$式中，分别表示像素p到前、背景颜色分布的距离，其表达式分别为：$D_p^F=\underset{k=1,...,64}{\min }\left|\right|C_p-C_k^F\left|\right|$$D_p^B=\underset{k=1,...,64}{\min }\left|\right|C_p-C_k^B\left|\right|$E₂(l_p,l_q)定义为：$E_2(l_p,l_q)=\frac{1}{1+D_{p,q}^2}$式中，D_p,q＝||C_p-C_q||表示节点p和q之间的颜色差；(2)定义直连通几何约束项E₃(l_p)直连通几何约束项的定义也是基于用户输入的线条，其基本原理是：如果像素p被背景线遮住，对于任意前景线的中心点不可见，则认为p违背直连通约束，将p直接标记为背景，即l_p＝0；E₃(l_p)定义为：E₃(l_p＝1)＝∞，E₃(l_p＝0)＝0，该约束项规定位于α区域内的像素被硬性判定为背景像素；区域α定义为被遮挡区域，即对于任意前景线条中心点，区域α内部的节点均不可见；在只有一条背景线和一条前景线的情况下，将标记的前景线的中心点表示为O，将背景线的起点和终点分别记为X和Y，射线OX和OY围成了一片向外扩张的扇形区域，直线XY将扇形区域进一步分成了两部分α和β；对于任意一个像素点p，判断其是否属于α区域的方法如下：1）若∠XOY＞∠pOX且∠XOY＞∠pOY，则p∈α∪β，即射线OX与射线OY围成的扇形区域；2）如果p∈α∪β，且∠pYO＞∠XYO，则p∈α，即像素p属于α区域；在同一幅图像上，对于M条前景线和N条背景线，叠加后的α区域可表示为：α＝(α₁₁∪α₁₂∪...∪α_1n∪...∪α_1N)∪(α₂₁∪α₂₂∪...∪α_2n∪...∪α_2N)∪...∪(α_M1∪α_M2∪...∪α_mn∪...∪α_MN)式中，α_mn表示第m条前景线条与第n条背景线条所形成的被遮挡区域；步骤三，采用图割算法求能量函数的最优解；采用Y图割算法求能量函数（1）的最优解，得到分割结果；如对分割效果不满意，可返回步骤一，继续添加前、背景线索；每添加一条线条，无论是为了指定部分前景还是背景，都将触发一次融合直连通约束的分割过程。