稀疏镜头采集的组合立体图像系统中立体元的合成方法

摘要

稀疏镜头采集的组合立体图像系统中立体元的合成方法属立体图像生成技术领域，包括：设置稀疏相机矩阵；计算每幅拍摄图像与水平和垂直相邻图像间的视差图；将双目立体视觉模型扩展为多目立体视觉模型，分别根据每幅图像的水平视差图和垂直视差图计算出每幅图像中像素点所对应实际物点的空间位置坐标；将所有图像中计算得到的像素点所对应实际物点的空间位置坐标换算到同一坐标系中；虚拟一个相机阵列，将同一坐标系下每幅图像中像素点所对应的实际物点投影到每个虚拟相机中，生成子图像；对未填充点插值；生成立体元图像。本发明能实现大量虚拟视点的并行生成，更适合于立体元图像的虚拟合成，使组合立体图像系统的图像源从电脑制作走向实景拍摄。

主权项

一种稀疏镜头采集的组合立体图像系统中立体元的合成方法，其特征在于包括下列步骤：（1）设置稀疏相机矩阵，必须保证矩阵中的所有相机在同一个平面内，每行相机的连线互相平行，每列相机的连线也互相平行，每行相机和每列相机的连线互相垂直；（2）分别计算每幅拍摄图像与其水平相邻图像间的视差图和垂直相邻图像间的视差图，其中每幅拍摄图像与水平相邻图像间的视差图是通过一维窗匹配的方法计算获得，每幅拍摄图像与垂直相邻图像间的视差图是通过将上、下两幅相邻图像进行转置，然后按照每幅拍摄图像与水平相邻图像间视差图相同的获得方法计算，将计算结果再进行转置获得；（3）将双目立体视觉模型扩展为多目立体视觉模型，分别根据每幅图像的水平视差图和垂直视差图计算出每幅图像中像素点所对应实际物点的空间位置坐标，其中左上方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，包括下列步骤：第一步：根据水平视差图，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：Z1＝f×B1/d1X1＝xl×B1/d1Y1＝yl×B1/d1d1＝|xl‑xr|式中：Z1—为通过水平视差图计算得到的实际物点到相机阵列平面的深度距离，X1—为通过水平视差图计算得到的实际物点到左上方相机中心的水平距离，Y1—为通过水平视差图计算得到的实际物点到左上方相机中心的垂直距离，d1—为水平视差图中的值，f—为相机焦距，B1—为相邻相机间的水平基线距离，xl、xr—分别为实际物点在左上方图像和右上方图像中成像点距离图像中心的水平距离，yl—为实际物点在左上方图像中成像点距离图像中心的垂直距离；第二步：根据垂直视差图，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：Z2＝f×B2/d2X2＝xt×B2/d2Y2＝yt×B2/d2d2＝|yt‑yb|式中：Z2—为通过垂直视差图计算得到的实际物点到相机阵列平面的深度距离，X2—为通过垂直视差图计算得到的实际物点到左上方相机中心的水平距离，Y2—为通过垂直视差图计算得到的实际物点到左上方相机中心的垂直距离，d2—为垂直视差图中的值，f—为相 机焦距，B2—为相邻相机间的垂直基线距离，yt，yb—分别为实际物点在左上方图像和左下方图像中成像点距离图像中心的垂直距离，xt—为实际物点在左上方图像中成像点距离图像中心的水平距离；第三步：对每幅图像对应由水平视差图和垂直视差图计算得到的两组空间位置坐标中存在的重叠数据进行合并，将每幅图的两组空间位置坐标合并成一组，具体为：a、将两组数据中公共像素点所对应实际物点的信息进行合并，取两组数据的均值作为该实际物点的新的空间位置坐标；b、对两组数据中的非公共像素点所对应实际物点的空间位置坐标进行单独存储；右上方相机、左下方相机和右下方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，与上述三个步骤相同；（4）将所有图像中计算得到的像素点所对应实际物点的空间位置坐标换算到同一坐标系中，得到在同一坐标系下每幅图像中像素点所对应实际物点的空间位置坐标，具体为：将所有实际物点的空间位置坐标换算到左上方图像的坐标系中，其表达式为：右上方图像：X＝Xrt+B1；Y＝Yrt‑B2左下方图像：X＝Xlb‑B1；Y＝Ylb+B2右下方图像：X＝Xrb+B1；Y＝Yrb+B2其中，X和Y—分别为每幅图像中像素点所对应实际物点的空间位置坐标经过换算后在左上方图像坐标系中的新的水平和垂直位置坐标，B1—为相机阵列的水平基线距离，B2—为相机阵列的垂直基线距离，Xrt和Yrt—分别为右上方图像中像素点所对应实际物点的水平和垂直位置坐标，Xlb和Ylb—分别为左下方图像中像素点所对应实际物点的水平和垂直位置坐标，Xrb和Yrb—分别为右下方图像中像素点所对应实际物点的水平和垂直位置坐标；每幅图像中像素点所对应实际物点到相机阵列平面的深度距离都以同一相机平面作为参考，无需进行换算；（5）虚拟一个相机阵列，虚拟相机阵列的位置坐标以左上方相机中心作为坐标原点，为保证所有具有空间位置的实际物点至少能够成像到一个虚拟相机中，虚拟相机阵列的边界必须将所有实际物点的空间位置坐标都包含进来，将虚拟相机阵列的左边界设置为所有物点中最左边点的横坐标位置，右边界设置为所有物点中最右边点的横坐标位置，上边界设置为所有物点中最上边点的纵坐标位置，下边界设置为所有物点中最下边点的纵坐标位置，虚拟相机阵列中相机的数量可以自由设定，每个虚拟相机等间隔地排列在虚拟相机阵列中，虚拟相机阵列距离实际物点的深度也可以自由设定；在已设置虚拟相机空间位置和焦距的情况下，根据小孔成像原理，将步骤（4）中计算得到的同一坐标系下每幅图像中像素点所对应的实际物点投影到每个虚拟相机中，得到实际物点在每个虚拟相机中所成的像——子图像，实际物点在子图像中成像点的位置坐标为：x＝f′×(X‑Cx)/Zy＝f′×(Y‑Cy)/Z其中，f′—为虚拟相机焦距，X、Y和Z—为实际物点的空间位置坐标，Cx和Cy—为虚拟相机中心的位置坐标，x和y—为实际物点在子图像中成像点的位置坐标；在成像过程中，考虑到遮挡的影响，如果在投影线上存在多于一个的实际物点，则取深度值最小的点，也就是最接近于虚拟相机阵列的点进行投影；（6）对于投影得到的每个虚拟相机中的子图像，存在未被填充的像素点，需将未填充像素点按照其周围已填充像素点的个数进行分级，周围已填充像素点的个数越多，级别越高，越优先处理，在处理中对周围所有已填充像素点的像素值取均值，作为该未填充像素点的像素值；（7）将得到的每个子图像按虚拟相机的排列顺序进行组合，生成立体元图像。