一种基于双向加权聚合的实时立体匹配方法

摘要

一种基于双向加权聚合的实时立体匹配方法，包括以下步骤：(1)计算图像对中各个像素点的匹配代价函数值；(2)对(1)步骤中计算出的匹配代价函数进行行列双向的加权聚合，仅以颜色相似度作为权值参数，设计了一种权值可信度评估机制降低行列双向加权聚合产生的误差；(3)对(2)步骤的聚合结果沿行方向选择视差，设计了一种动态规划与贪心策略相结合的选择策略。实验证明，本发明提出的方法在保证实时性的前提下达到了较高的匹配精度。本发明可应用于各种形式的交互类应用，在科研、教育、娱乐领域均有较为广阔的应用前景。

主权项

1.一种基于双向加权聚合的实时立体匹配方法，其特征在于实现步骤如下：（1）根据匹配代价函数计算图像对中各个像素点的匹配代价函数值，计算公式为：$C(p,d)=\underset{s\in \{r,g,b\}}{\Sigma }|I_s\left(p\right)-{\bar{I}}_s\left(\bar{p}\right)|,$其中，d为左右图像的视差，p，为在视差为d的情况下左右图像中的对应点，I_r(p)，I_g(p)，I_b(p)分别表示左图像在点p处的r，g,b值，分别表示右图像在点处的r，g,b值，匹配代价函数即为左右图像中对应点的r，g，b值之差的绝对值的和；对每一个视差d_i，d_min≤d_i≤d_max,d_max，d_min为整幅图像的视差范围，对图像中每一点均计算C(p,d_i)；（2）对于左图像中的每一个点c，将其周围边长为w₁的正方形作为支持窗口，该正方形以c点为中心，w₁为预设的支持窗口大小，支持窗口边长均设为33，除c点外支持窗口内所有点叫做c的支持点，用p表示左图像中的支持点；对于右图像中的每一个点即点c在视差为d时的对应点，将其周围边长为w₁的正方形作为支持窗口，该正方形以点为中心，除点外支持窗口内所有点叫做的支持点，用表示右图像中的支持点；在视差为d的情况下，对每一个点c，将其支持窗口内所有匹配代价函数值C(p,d)先后进行行方向和列方向的加权聚合，具体过程如下：A.行方向的加权聚合先将支持窗口内所有点向该行中心点加权聚合，每行中心点设为c′，行方向加权聚合过程中权值W_h(c′,p)的计算公式为：$W_h(c^{\prime },p)=w(c^{\prime },p)·w(\overline{c^{\prime }},\bar{p}),$其中，$w(c^{\prime },p)=T\left(\exp (-\frac{\mathrm{dis}(c^{\prime },p)}{K})\right)\exp (-\frac{\mathrm{dis}(c^{\prime },p)}{K}),$$w(\overline{c^{\prime }},\bar{p})=T\left(\exp (-\frac{\mathrm{dis}(\overline{c^{\prime }},\bar{p})}{K})\right)\exp (-\frac{\mathrm{dis}(\overline{c^{\prime }},\bar{p})}{K}),$$\mathrm{dix}(p_1,p_2)=\sqrt{\underset{m\in \{r,g,b\}}{\Sigma }{(I_m\left(p_1\right)-I_m\left(p_2\right))}^2},$$T\left(x\right)=\left\{\begin{array}{c}\mathrm{0,0}<x<T_{w1}\\ 0.5,T_{w1}<x<T_{w2}\\ 1,T_{w2}<x\end{array}\right.,$其中为在视差为d时c′的对应点，dis(p₁,p₂)为p₁，p₂两个点的颜色相似度，即颜色空间中的距离，T(x)为可信度评估函数，用于对聚合过程中的权值做一个评估，权值越大，可信度越高；权值越小，可信度越低，T_w1，T_w2为预设参数，分别取0.3和0.6；行方向加权聚合的公式为：$C_H(c^{\prime },d)=\frac{{\Sigma }_{p\in H_{c^{\prime }}}{W}_h(c^{\prime },p)C(p,d)}{{\Sigma }_{p\in H_{c^{\prime }}}{W}_h(c^{\prime },p)},$其中，H_c′表示点c′在支持窗口内所在行的所有点组成的集合；对于每一个视差d,为图像中所有点进行一次上述的行方向的加权聚合，将这个聚合的结果，作为下一步列方向加权聚合的输入；B.列方向的加权聚合对行方向加权聚合的结果进行列方向的加权聚合，列方向加权聚合过程中权值W_v(c,c′)的计算公式为：$W_v(c,c^{\prime })=w(c,c^{\prime })w(\bar{c},\overline{c^{\prime }}),$其中，$w(c,c^{\prime })=T\left(\exp (-\frac{\mathrm{dis}(c,c^{\prime })}{K})\right)\exp (-\frac{\mathrm{dis}(c,c^{\prime })}{K}),$$w(\bar{c},\overline{c^{\prime }})=T\left(\exp (-\frac{\mathrm{dis}(\bar{c},\overline{c^{\prime }})}{K})\right)\exp (-\frac{\mathrm{dis}(\bar{c},\overline{c^{\prime }})}{K}),$T(x)和dis(p₁,p₂)与行方向聚合过程中的含义及计算方法相同；列方向加权聚合的公式为：${C^{\prime }}_W(c,d)=\frac{{\Sigma }_{c^{\prime }\in V_c}{W}_v\left({c,c}^{\prime }\right)C_H(c^{\prime },d)}{{\Sigma }_{c^{\prime }\in V_c}{W}_v\left({c,c}^{\prime }\right)},$其中，V_c表示点c在支持窗口内所在列的所有点组成的集合，C_H(c′,d)为行方向加权聚合的结果；对每一个视差d_i，d_min≤d_i≤d_max，对图像中的每一点先后执行上述行方向、列方向的加权聚合过程，最终求得C′_W(c,d_i)；（3）通过运用步骤（2）的所有列方向的加权聚合结果C′_W(c,d_i)，分别对图像的每一行进行视差选择，所述视差选择采用动态规划与贪心策略相结合的选择策略，具体过程如下：对一行中横坐标为0的点x₀，即最左边的点，定义函数F(x₀,d_i)＝C′_w(x₀,d_i)；对于横坐标为1的点x₁，$F(x_1,d_i)={C^{\prime }}_w(x_1,d_i)+\underset{d=\{d_i-1,d_i,d_i+1,d_{{\mathrm{WTA}}_0}\}}{\min }\{F(x_0,d)+\gamma *|d_i-d\left|\right\}$其中，γ为预设参数，取值为3.27，为贪心策略选择出的x₀点的视差，也就是使C′_w(x₀,d_i)取得最小值的d_i；对于横坐标为2的点x₂，$F(x_2,d_i)={C^{\prime }}_w(x_2,d_i)+\underset{d=\{d_i-1,d_i,d_i+1,d_{{\mathrm{WTA}}_1}\}}{\min }\{F(x_1,d)+\gamma *|d_i-d\left|\right\}$为贪心策略选择出的x₁点的视差，也就是使C′_w(x₁,d_i)取得最小值的d_i；以此类推，对于横坐标为w的点x_w，w为图像的宽度，x_w为一行中最右边的点，$F(x_w,d_i)={C^{\prime }}_w(x_w,d_i)+\underset{d=\{d_i-1,d_i,d_i+1,d_{{\mathrm{WTA}}_{w-1}}\}}{\min }\{F(x_{w-1},d)+\gamma *|d_i-d\left|\right\},$选择使F(x_w,d_i)取得最小的d_i为x_w的视差d_w，此时满足公式$F(x_w,d_w)={C^{\prime }}_w(x_w,d_w)+\underset{d=\{d_w-1,d_w,d_w+1,d_{{\mathrm{WTA}}_{w-1}}\}}{\min }\{F(x_{w-1},d)+\gamma *|d_w-d\left|\right\}$中的d作为x_w-1的视差d_w-1；代入上一层公式中：$F(x_{w-1},d_{w-1})={C^{\prime }}_w(x_{w-1},d_{w-1})+\underset{d=\{d_{w-1}-1,d_{w-1},d_{w-1}+1,d_{{\mathrm{WTA}}_{w-2}}\}}{\min }\{F(x_{w-2},d)+\gamma *|d_{w-1}-d\left|\right\},$满足公式的d即为x_w-2的视差d_w-2；以此类推，从右至左选择视差，最终求得x₀的视差，得到整行每个像素点的视差值；通过对每一行进行上述视差选择，最终得到整幅图像的视差图；（4）对步骤（3）得到的视差图进行噪声过滤，过程如下：当某点c的上、下、左、右四个点的视差均为d时，则将c点的视差置为d;（5）由步骤（4）得到的视差图以及视差范围d_max，d_min求出深度图，过程如下：某点c的深度其中d_c为点c的视差，d_max，d_min为整幅图像的视差范围，点c的视差范围为[0,255]。