一种快速自适应支持权值双目视觉立体匹配方法

摘要

本发明公开了一种快速自适应支持权值双目视觉立体匹配方法，包括以下步骤：读取已有待匹配双目图像对；计算匹配代价；加权聚合匹配代价；计算初始视差；对初始视差进行校正，得到最终视差矩阵；生成视差图，输出结果。本发明可用于立体显示技术领域，改善立体匹配效果。

主权项

1.一种快速自适应支持权值双目视觉立体匹配方法，其特征在于，包括以下步骤：S1、读取已有待匹配双目图像对I_l和I_r，获得图像的大小和颜色通道信息，其中，I_l表示左视图，为待匹配图像，I_r表示右视图，为匹配图像；S2、计算I_l，I_r中像素点间的匹配代价，包括：S21、对待匹配图像I_l，确定方形支持窗N，计算支持窗内中心像素和支持像素的灰度差diff(p,q)，其中，diff(p,q)＝I(p)-I(q)，I(p)和I(q)分别为中心像素点p和支持像素点q的灰度值；S22、根据S21所得灰度差diff(p,q)，将方形支持窗N内每个像素定义到5个等级中去，五个等级如下：其中，s和t是根据经验设置的阈值，满足尽可能减小图像噪声的影响这一原则；S23、统计得出初始相似性测度值S_d：令fuz表示经秩变换后得到的数值矩阵，矩阵大小和方形支持窗N大小相同，$\mathrm{fuz}=\left\{\begin{array}{cc}-2& \mathrm{diff}(p,q)<-s\\ -1& -s\le \mathrm{diff}(p,q)<-t\\ 0& -t\le \mathrm{diff}(p,q)\le t\\ 1& t<\mathrm{diff}(p,q)\le s\\ 2& s<\mathrm{diff}(p,q)\end{array}\right.,$分别对I_l中待匹配像素点和I_r中候选匹配像素点进行秩变换，可以得到两个秩变换矩阵fuz_l和fuz_r，统计秩变换矩阵fuz_l和秩变换矩阵fuz_r在方形支持窗内对应位置具有相同等级的个数，得到初始相似性测度值S_d，其中，$S_d={\Sigma }_{q\in N}m,$$m=\left\{\begin{array}{cc}1& \mathrm{if}{\mathrm{fuz}}_l={\mathrm{fuz}}_r\\ 0& \mathrm{otherwise}\end{array}\right.,$m表示秩变换矩阵fuz_l和fuz_r在对应位置是否具有相同等级，若相同，则m＝1，否则m＝0；S24、统计待匹配图像中待匹配像素点为中心的n×n方形统计窗M内每个视差值d∈D对应的初始相似性测度值，根据ERT相似性度量函数得到待匹配像素和匹配图像中候选匹配像素点间的匹配代价其中，d表示待匹配像素和候选匹配像素在水平方向的视差，D＝{d_min,...d_max}，$C_{\mathrm{ERT}}(q,{\bar{q}}_d)=\underset{n\times n}{\Sigma }{S}_d\left(q\right);$S3、加权聚合匹配代价，包括：S31、计算支持权值w(p,q)：利用颜色相似性和几何接近性，计算匹配支持窗内支持像素q对待匹配像素p的支持权值w(p,q),w(p,q)＝f_s(Δc_pq)·f_p(Δg_pq)，其中，f_s(Δc_pq)表示由颜色相似性确定的聚类强度，f_p(Δg_pq)表示由几何接近性确定的聚类强度，Δc_pq表示两个像素颜色c_p和c_q在RGB颜色空间的欧几里德距离，c_p＝[R_p,G_p,B_p]，c_q＝[R_q,G_q,B_q]，${\mathrm{\Delta c}}_{\mathrm{pq}}=\sqrt{{(R_p-R_q)}^2+{(G_p-G_q)}^2+{(B_p-B_q)}^2},$Δg_pq表示中心像素和支持像素的在空间位置上的欧几里德距离，设像素p在图像域的坐标为p(x,y)，像素q在图像域的坐标为q(x',y')，则γ_c，γ_p是用户指定参数，分别用来调节颜色相似性和几何接近性对支持权值大小的影响；S32、根据S24所得匹配代价和S31所得支持权值w(p,q)，加权聚合匹配代价，得到：$E(p,{\stackrel{\text{-}}{p}}_d)=\frac{{\Sigma }_{q\in N_P,\bar{q}\in N_{{\bar{p}}_d}}w(p,q)c_{\mathrm{ERT}}(q,{\bar{q}}_d)}{{\Sigma }_{q\in N_P,\bar{q}\in N_{{\bar{p}}_d}}w(p,q)},$其中，分别表示当视差为d时待匹配图像像素p、q在匹配图像中对应的匹配像素点，N_p表示参考图像中的支持窗口大小，表示目标图像中的对应支持窗口大小，且S4、计算初始视差：对S3中所得加权聚合匹配代价采用局部最优化方法WTA（Winner-Take-All，胜者为王），得出最大加权聚合结果，最大加权聚合结果对应的视差值为该像素的初始视差d_p，每个像素的初始视差结果保存到初始视差矩阵，初始视差矩阵为：$d_p=\arg \underset{d\in D}{\max }E(p,{\bar{p}}_d);$S5、对S4所得初始视差进行校正，得到最终视差矩阵，包括：S51、确定以待校正像素p为中心的校正窗口N_c，根据颜色相似性和几何接近性为校正窗内每一个像素自适应地分配一个合适的支持权值w_c，S52、观察校正窗内所有像素的初始视差分布，统计视差d∈D在校正窗内出现的次数，并聚合各个视差值d在校正窗内出现的次数及对应的权值，最大聚合结果对应的视差，则为待校正像素的最终视差d_{p_final}，并将结果保存到最终视差矩阵，其中$d_{p\_\mathrm{final}}=\arg \underset{d\in D}{\max }\{{\Sigma }_{q\in N_c}{w}_c(p,q)\times k\},$$k=\left\{\begin{array}{cc}1& \mathrm{if}{d}_p\left(q\right)=d\\ 0& \mathrm{otherwise}\end{array}\right.,$k表示校正窗内像素的初始视差是否等于待统计视差d，若相等，则k＝1，否则k＝0；S6、生成视差图，输出结果：将S5所得最终视差值d_{p_final}映射到相应的灰度空间[0，255]，映射比例为t，得到表示视差信息的灰度图像。