一种基于稠密视差图的立体图像同步分割方法

摘要

本发明涉及一种基于稠密视差图的立体图像同步分割方法。首先输入一组立体图像，通过立体图像匹配算法得到视差图。然后在其中一图中通过笔刷勾画的方式，指定部分前、背景。根据指定部分分别建立前、背景的颜色分布的先验统计模型，以及前、背景的视差分布的先验统计模型。以此为基础，在图割理论框架下形式化颜色、梯度以及视差等约束，构造能量函数。最后，采用图的最大流/最小割算法求解最优化结果。若用户没有得到理想的效果，还可以继续对图中错误区域进行勾画，直到得到理想结果。本发明采用的视差分布模型和变化模型均是视差统计信息，有效避免了视差计算误差带来的影响，与现有方法相比，本发明所述方法得到的分割结果更准确。

主权项

一种基于稠密视差图的立体图像同步分割方法，其特征在于包括以下步骤：步骤一，匹配立体图像；读入一对立体图像I＝{I^l，I^r}，I^l与I^r分别表示左、右图像；利用立体匹配算法计算得到左、右图像对应的视差图，分别用D^l与D^r表示；步骤二，添加前、背景线索；通过所设计的界面在其中任意一张图像中指定部分前、背景；利用鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；步骤三，建立前、背景的颜色、视差先验模型；用F表示用户指定的前景像素集合，B表示用户指定的背景像素集合；前、背景的颜色、视差的先验模型采用多个类簇的形式表达，通过拟合或统计对应像素集合的颜色得到：利用K‑means算法对F与B中的像素对应的颜色值分别进行聚类，得到N_c个前景颜色类簇M_c个背景颜色类簇分别表示背景的颜色分布统计模型；同时，用同样的方法，对F和B中的像素对应的视差值分别进行聚类，得到N_d个前景视差类簇M_d个背景视差类簇分别表示前、背景的视差分布统计模型；N_c＝M_d＝N_d＝M_d＝64；步骤四，定义能量函数；立体图像I＝{I^l，I^r}，包含左图I^l和右图I^r，可以表示成一个无向图G＝<ν,ε>；其中，ν为图G中的节点集合，ε为边的集合；图G中的每个顶点对应立体图像I中的一个像素；图像中除集合F和集合B中的像素外，其余像素设定属于集合U；交互式立体图像同步分割是在输入的笔画的约束下，为U中的每个像素p_i赋予一个标签x_i；x_i∈{1，0}，分别表示前、背景；图G中的边包含图像内相邻像素的连接边，以及视差图决定的立体图像对应点之间的连接边；把求解上述立体图像同步问题定义为以下目标能量函数的最优化问题：$\begin{array}{c}E\left(X\right)={\lambda }_{\mathrm{Unary}}{\Sigma }_{p_i\in I}{f}_{\mathrm{Unary}}(p_i,x_i)+{\lambda }_{\mathrm{Intra}}{\Sigma }_{(p_i,p_j)\in N_{\mathrm{Intra}}}{f}_{\mathrm{Intra}}(p_i,p_j)|x_i-x_j|+\\ {\lambda }_{\mathrm{Inter}}{\Sigma }_{(p_i^l,p_j^r)\in C_{\mathrm{Inter}}}{f}_{\mathrm{Inter}}(p_i^l,p_j^r)|x_i^l-x_j^r|\end{array}---\left(1\right)$其中，f_Unary(p_i，x_i)是一元项，表示像素p_i的颜色、视差与前、背景颜色和视差统计模型的相似性，也叫做数据项；相似性越高，f_Unary值越大；f_Intra(p_i，p_j)是图像内二元项，反映了I中所有像素与四邻域或八其邻域之间的差异；N_Intra表示包含左右图中所有像素点的邻接关系的集合；差异越大，则该项越小；根据图割算法的原理，此时邻域像素之间倾向于取不同的标签；是图像间的二元项，定义了对应点的匹配的结果，匹配度越高，则该项越大；C_Inter表示含有左右图像素点对应关系的集合；λ_Unary，λ_Intra，λ_Inter是调节各能量项之间的权值；(1)定义一元约束项一元约束项包括颜色一元项和视差一元项两部分，定义如下:f_Unary(p_i，x_i)＝λ_c(1‑P_c(x_i|c_i))+λ_d(1‑P_d(x|d_i))       (2)其中，P_c(x_i|c_i)表示给定像素p_i的颜色c_i，x_i取前景或背景标签的概率值；考虑到概率越大，能量函数应当越小，所以取1‑P_c表示颜色一元项；同样地，P_c(x_i|d_i)表示给定像素p_i的视差值d_i，x_i取前景或背景标签的概率值；取1‑P_d表示视差一元项；λ_c、λ_d分别代表颜色与视差的影响权值，λ_c+λ_d＝1；以类簇形式表示前、背景的颜色和视差模型，包括N_c个前景颜色类簇M_c个背景颜色类簇N_d个前景视差类簇M_d个背景视差类簇给出一元项的计算方法；颜色一元项的计算方式如下：将每一个未标记像素的颜色与前景和背景颜色的类簇进行对比，找到其与这些类簇中心最小的距离，这个距离用以描述像素颜色与前、背景颜色的相似度；离前景或背景颜色距离越小，则颜色越相近，根据图割理论，该像素越倾向于选择前景或背景标签；颜色一元项的数学形式描述为：$1-P_c\left(x_i\right|c_i)=\left\{\begin{array}{cc}\frac{s_i^{\min }}{s_i^{\min }+t_i^{\min }},& x=1\\ \frac{t_i^{\min }}{s_i^{\min }+t_i^{\min }},& x=0\end{array}\right.---\left(3\right)$其中，分别表示像素p_i的颜色c_i到前景和背景颜色的各类簇中心的最小距离，其表达式分别为：$s_i^{\min }=\min \left({\left|\right|c_i-C_n^F\left|\right|}^2\right),n=1,...,N_c$$t_i^{\min }=\min \left({\left|\right|c_i-C_m^B\left|\right|}^2\right),m=1,...,M_c$视差一元项与颜色一元项的计算过程相同；(2)定义图像内二元约束项图像内二元约束项f_Intra(p_i，p_j)包含两项，分别描述像素点周围颜色变化和视差变化，即颜色梯度和视差梯度，定义如下：f_Intra(p_i，p_j)＝f_c(p_i，p_j)f_d(p_i，p_j)            (4)其中，f_c(p_i，p_j)表示相邻像素间颜色的相似性，颜色越相近其值越大，根据图割算法的原理，边界穿过二者的几率就较小；f_d(p_i，p_j)表示像素p_i相对于邻接像素点p_j视差的相似性；二者视差越相近，其值越大，根据图割算法的原理，边界穿过二者的几率就较小；两项的定义形式如下：$f_c(p_i,p_j)=\frac{1}{{\left|\right|c_i-c_j\left|\right|}^2+1},(p_i,p_j)\in N_{\mathrm{Intra}}---\left(5\right)$$f_d(p_i,p_j)=\frac{1}{{\left|\right|d_i-d_j\left|\right|}^2+1},(p_i,p_j)\in N_{\mathrm{Intra}}---\left(6\right)$实际上，视差计算存在误差，直接使用会将误差引入分割过程；解决方法是用局部区域的视差变化替代两两像素之间的视差变化；令S_j表示p_i所在区域；区域S_j内的视差变化情况采用方差var(S_j)表示；在此情况下，式(6)变为：$f_d(p_i,p_j)=f_d\left(p_i\right)=\frac{1}{\mathrm{var}\left(S_j\right)+1}---\left(7\right)$其中，S_j＝A(p_i)，函数A(p_i)表示像素p_i所在的区域；图像区域可以采用过分割方法得到，也可以通过将图片事先分割成小的正方形区域集合；(3)定义图像间二元约束项图像间二元项约束立体图像之间的对应像素取同样的标签，定义如下：$f_{\mathrm{Inter}}(p_i^l,p_j^r)=\frac{C(p_i^l,p_j^r)+C(p_j^r,p_i^l)}{2}---\left(8\right)$其中，C表示立体图像中之间作为对应点的可能性，是非对称函数：$C(p_i^l,p_j^r)=P(M\left(p_i^l\right)=p_j^r)P\left(x_i^l\right|M\left(p_i^l\right)=p_j^r,x_j^r)---\left(9\right)$是基于视差图确定的之间作为对应点的概率分布函数；函数表示是左图像素在右图上的对应点，对应关系根据视差图决定；采用Delta函数或一致的Delta函数，定义方式如下；Delta函数只使用单幅图对应的视差图；令{d^l}为左图视差集合，Delta函数定义方式为：其中，为左图中像素与右图中对应点的视差；令{d^r}为右图视差集合，一致的Delta函数为：其中，为右图中像素与左图对应点的视差；式(9)中表示与之间的颜色相似性，在视差完全准确的情况下，但目前的视差计算方法存在误差，为消除误差采取如下形式：$P\left(x_i^l\right|M\left(p_i^l\right)=p_j^r,x_j^r)=\frac{1}{{\left|\right|c_i^l-c_j^r\left|\right|}^2+1}---\left(12\right)$其中，为左图像素的颜色值，是在右图对应点的颜色值；步骤五，求解能量函数最小值；采用图割算法，通过最优化本发明所定义的能量函数，即式(1)，得到最优的标记结果，即分割结果；如对分割结果不满意，返回步骤二，继续添加前、背景线索；每添加一笔，将触发一次完整的分割过程。