一种基于分块投影的DIBR方法

摘要

本发明公开了一种基于分块投影的DIBR方法，首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。不难发现，该方法并没有直接利用逐点进行视点变换来生成新视点，因而有效避免了目标视点图像受深度图连续性的影响。利用仿真实验和实际数据比较了传统方法和基于分块投影的DIBR方法之间的性能，验证了该方法的有效性，提高了目标视点绘制的质量，并降低了传输带宽。

主权项

一种基于分块投影的DIBR方法，其特征在于：首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像；其包括以下步骤：1)获取参考视点图像及对应的深度图，以及目标视点的深度图；2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型；3)针对各分块区域，利用视点变换方程求取对应点对；4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像；其中，所述单应变换的原理为：空间平面在两个摄像机下的图像点具有一一对应的关系，且这种对应关系是齐次线性的，可由一个三阶矩阵即单应矩阵来描述：m′＝H_ijm；矩阵H_ij称为单应矩阵，它是齐次的，有8个自由度，如下所示：$H_{ij}=\left[\begin{array}{ccc}{a}_{ij}& b_{ij}& c_{ij}\\ d_{ij}& e_{ij}& f_{ij}\\ g_{ij}& h_{ij}& 1\end{array}\right];$记参考视点图像中的一个像素点的齐次坐标为m＝[u，v，1]^T，虚拟视点图像中的一个像素点的齐次坐标为m′＝[u′，v′，1]^T，则可推导出：$\left\{\begin{array}{c}{\mathrm{ua}}_{ij}+{\mathrm{vb}}_{ij}+c_{ij}-u^{\prime }{\mathrm{ug}}_{ij}-u^{\prime }{\mathrm{vh}}_{ij}=u^{\prime }\\ {\mathrm{ud}}_{ij}+{\mathrm{ve}}_{ij}+f_{ij}-u^{\prime }{\mathrm{vg}}_{ij}-v^{\prime }{\mathrm{vh}}_{ij}=v^{\prime }\end{array}\right.$由于矩阵H_ij有8个自由度，而一个对应点对只能建立如上两个方程，因此要求解含8个未知数的方程组至少需要8个方程，也就是至少要有4个对应点对，而这些对应点对可以利用相应的深度信息进行视点变换来获得；在某分块区域内不妨取4个对应点对m_k、m′_k(k＝1,2,3,4)，则由上式可以推导出一个非齐次线性方程组：A_ijX_ij＝Y_ij其中，i、j分别表示分块区域所在的行、列下标，常数项向量Y_ij＝[u′₁,v′₁,...,u′₄,v′₄]^T，未知数向量X_ij＝[a_ij,b_ij,...,g_ij,h_ij]^T，系数矩阵A_(8×8)如下所示：$A_{ij}=\left[\begin{array}{cccccccc}{u}_1& v_1& 1& 0& 0& 0& -u_1{u}_1^{\prime }& -u_1^{\prime }{v}_1\\ 0& 0& 0& u_1& v_1& 1& -u_1{v}_1^{\prime }& -v_1{v}_1^{\prime }\\ & ...& & ...& & ...& & ...\\ u_4& v_4& 1& 0& 0& 0& -u_4{u}_4^{\prime }& -u_4^{\prime }{v}_4\\ 0& 0& 0& u_4& v_4& 1& -u_4{v}_4^{\prime }& -v_4{v}_4^{\prime }\end{array}\right]$由非齐次线性方程组的解理论可知，上式具有唯一解，当且仅当系数矩阵的秩满足具体操作时，可分别在各分块区域取顶点位置附近的像素点，另外，也可通过多取几个对应点对来减小计算误差；若成功求得单应矩阵H_ij,则直接对分块区域中的每个像素点做单应变换，即可一一映射到目标视点的图像平面坐标系中,初步绘制出目标视点图像的对应区域；若无法计算单应矩阵，则取与之相邻的分块区域的单应矩阵H_ij,然后对分块区域进行单应变换，其依据是：目标视点的空洞区域往往出现在从背景对象到前景对象深度剧烈变化的过度区域，而实际上过度区域同属于平坦的背景区域，因此可视为具有相近深度的同一平面，其效果就是将参考视点中的背景像素点填充到了目标视点中的空洞区域，平滑的具体原则：考虑用一个右眼视点及其深度图来绘制一个左眼视点图像，显然，空洞会出现在前景对象的左侧区域，即在水平方向上深度值由低到高剧变的区域：$L(x,y)=\left\{\begin{array}{cc}1,& d\left(x+1,y\right)-d\left(x,y\right)\ge \theta \\ 0,& else\end{array}\right.$因此，在这种情况下应选择与之左邻的分块区域来平滑；同理，当以左眼视点来绘制右眼视点时，应选择与之右邻的分块区域来平滑；将上述步骤绘制出的各目标视点图像区域进行简单的融合，并采用邻域插值法修复残留的空洞区域，获得最终的目标视点图像。