基于飞行时间TOF相机的深度计算成像方法

摘要

本发明属于计算机视觉领域。在一般量化误差和过载误差之间取得平衡，使量化输出信噪比最优，本发明采取的技术方案是基于飞行时间TOF相机的深度计算成像方法，包括下列步骤：1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；得到高分辨率图上的一些深度散点；2)构建能量函数的自回归模型项；3)构建能量函数的基础数据项和最终求解方程：利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；4)利用线性函数优化方法对优化方程进行求解。本发明主要应用于数字图像处理。

主权项

一种基于飞行时间TOF相机的深度计算成像方法，其特征是，借助于一个200×200的TOF相机，一个640×480的彩色相机实现，彩色相机架在TOF相机的上方；所述方法包括下列步骤：1）经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；根据TOF相机和彩色相机的内部、外部参数，将TOF相机生成的低分辨率深度图扭转到彩色相机的视角，得到高分辨率图上的一些深度散点；此时，深度散点图和彩色相机拍出来的彩色图像是对齐的，利用彩色图片对深度散点图进行优化；2）构建能量函数的自回归模型项：根据彩色图、导图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入求解方程；3）构建能量函数的基础数据项和最终求解方程：利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；4）利用线性函数优化方法对优化方程进行求解；自回归模型项的建立，具体包括以下步骤：21）利用彩色图像，对其中的每一个像素，选取邻域对其进行预测；22）用双边滤波作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f,p，公式如下：$a_{f,p}=\exp (-\frac{{|f-p|}^2}{{2\tau }_1^2})\exp (-\frac{{\Sigma }_{\mathrm{RGB}}{|I\left(f\right)-I\left(p\right)|}^2}{3\times {2\tau }_2^2})---\left(1\right)$其中，对于当前像素f的邻域中每一个p点，I(f)是f点在彩色图I中的RGB三通道值，I(p)是p点在彩色图I中的RGB三通道值，Σ_RGB代表RGB三通道所求得的|I(f)‑I(p)|²值之和，τ₁,τ₂分别为空间分辨率和彩色分辨率的调控参数，τ₁,τ₂取值范围均为1.0～5.0；23）用简单的双三次插值将原始的深度散点插值成一幅模糊的深度图像，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{{2\tau }_g^2})---\left(2\right)$其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数，τ_g取值范围为4.0～9.0；24）将公式1)和2）预测的系数相乘，得到：a=a_f,p×a_g并带入到下式中作为自回归模型项：$E_{\mathrm{AR}}=\underset{f\in F}{\Sigma }{(D\left(f\right)-\underset{p\in S}{\Sigma }\mathrm{aD}\left(p\right))}^2---\left(3\right)$其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。