一种裸眼3D视频生成方法

摘要

本发明提出一种裸眼3D视频生成方法，该方法基于图割优化，能够生成高质量的裸眼3D视频。主要的技术方案包括如下步骤：将双目相机采集到的双路图像进行标定，校正处理；进行基于图割的立体匹配，获得双路图像对应的两幅视差图像；利用线性内插的方法生成新的中间视点图像；采用基于图割的图像修补算法对于新视点中缺失的部分进行修补；新视点图像进行像素交织合成，使其适合于裸眼3D显示器显示。本发明的方法利用图割算法优化了立体匹配和图像修补两个主要部分，在获得高质量虚拟视点图像的同时，易于并行化加速，同时复用了计算模块，可节省硬件成本。本方法同时避免了多相机阵列的复杂性以及计算机建模，具有良好的真实感和立体效果。

主权项

一种裸眼3D视频生成方法，包括如下步骤：S1：将双目相机采集到的双路图像进行标定，校正处理，确保双路图像像素坐标在空间中行对准；S2：对于双路校正好的图像进行基于图割优化的立体匹配，获得双路图像的两幅视差图像；S3：利用获得的视差图像和原始左右双路图像生成新视点图像；所述步骤S3包括：S31：根据原校正好的左路图像与得到的左视差图像，生成左路新视点图像，同时生成记录了左路新视点图像缺失像素位置的左路缺失像素图像；S32：根据原校正好的右路图像与得到的右视差图像，生成右路新视点图像，同时生成记录了右路新视点图像缺失像素位置的右路缺失像素图像；S33：根据视差大小融合左路和右路新视点图像为新视点图像，同时判断左右路新视点图像统一位置是否都有像素，如都不存在，则记录缺失部分，并融合为缺失像素图像；S34：改变新视点图像的计算位置，循环S31至S33，得到每个位置上的新视点图像和缺失像素图像；S4：采用基于图割的图像修补算法对于新视点图像中缺失的部分进行修补；所述步骤S4包括：S41：根据步骤S3获得的缺失像素图像，确定新视点图像空洞位置；S42：为新视点图像空洞中的每个像素赋予一个标记，代表从空洞外拷贝像素的坐标映射；S43：将新视点图像空洞部分的全部像素的待求坐标映射转化为一个能量函数，能量函数的形式为$E\left(m\right)=\underset{\{p,q\}\in N}{\underset{p\in H/\partial H,}{\Sigma }}{V}_{p,q}(p+m(p),p+m(q\left)\right)+\underset{p\in \partial H}{\Sigma }{D}_p(H_p,H_{p+m\left(p\right)}),$其中E(m)代表能量值，m代表从空洞外拷贝像素的坐标映射，N代表单个像素的邻域范围，选择八邻域，H代表图像空洞部分的全部像素，代表H的边缘像素点，p,q代表单个像素点及其相邻像素点，D_p(H_p,H_p+m(p))称为数据项，代表空洞内的像素点与空洞外拷贝像素点两者邻域内灰度值的差别，选取为其中q(p+m(p))代表空洞外拷贝像素点的相邻像素点，代表空洞外区域，V_p,q(p+m(p),p+m(q))称为平滑项，表示空洞内每个像素点邻域内像素点与对应的空洞外拷贝像素点邻域内像素点灰度值的差别，选取为(I_q(p)‑I_q(p+m(p)))²，其中I代表单个像素点的灰度值，q(p)代表单个空洞内像素点的相邻像素点，q(p+m(p))代表空洞外拷贝像素点的相邻像素点；S44：将该能量函数用数据结构中的图模型表示为一个图；S45：用图割法计算该图的最小割；S46：迭代数次后，记录最小割所对应的标记分布；S47：将标记分布转化为坐标映射分布；S48：从相应的坐标位置处拷贝像素点填充至新视点图像空洞位置；S5：对于修补后的新视点图像进行像素交织合成，使其适合于裸眼3D显示器显示裸眼3D效果。