基于彩色深度融合的虚拟阵列合成孔径透视成像方法

摘要

本发明公开了一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法，用于解决现有利用水平视差进行相机阵列合成孔径成像的方法所成图像清晰度差的技术问题。技术方案是直接从数据源入手，预先就给出被观测目标和遮挡物的深度信息，然后根据预先获取的深度信息，给予被观测目标和遮挡物不同的深度标记，利用深度标记去除投影之后错误的投影点，减少错误投影点对目标清晰度的负面影响，从而获取更加接近现实的目标图像。

主权项

1.一种基于彩色深度融合的虚拟阵列合成孔径透视成像方法，其特征在于包括以下步骤：步骤一、采用Kinect获取彩色图像和深度图片，然后利用Kinect SDK for Windows+OpenNI2+OpenCV将获取的图片信息、深度信息及RGB信息保存；将OpenNI的图像数据格式转换为OpenCV的数据格式相同；对于彩色图像，先将数据塞入OpenCV三通道RGB对象，再转换到BGR进行保存；对于深度图像，先放入单通道对象，最后将深度值等比例缩小到[0,255]的值域中，作为灰度图进行保存；步骤二、使用PTAM系统做相机标定，对于相机内参的求解，首先使用人手持标定板，用相机拍摄各个角度的图片，然后使用PTAM的CameraCalibrator子模块对相机内参进行求解；对于相机外参的求解，进行一步累加计算：假如以第一帧为参考帧，第二帧相对于第一帧的相机外参由PTAM求出，假设分别是平移向量T₁，旋转矩阵为R₁；需要将旋转矩阵分解为绕x轴，y轴，z轴旋转的三个角度ψ₁,θ₁；计算公式如下：$R_x\left(\psi \right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \psi & \sin \psi \\ 0& -\sin \psi & \cos \psi \end{array}\right]---\left(1\right)$$R_z\left(\theta \right)=\left[\begin{array}{ccc}\cos \theta & \sin \theta & 0\\ -\sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$第三帧相对于第二帧的相机外参由PTAM求出，假设分别是平移向量T₂，旋转矩阵为R₂；旋转矩阵分解出的三个角度分别是ψ₂,θ₂，第三帧相对于第一帧的平移向量是T=T₁+T₂，三个旋转角度是：再根据(4)式求解出第三帧相对于第一帧的旋转矩阵，以后每一帧相对于参考帧的相机外参都这样求解；步骤三、假设一组含有遮挡物的图片序列中有n个不同的视角，分别是V₁,V₂,…,V_n，选取其中的一个视角作为参考视角V_ref；使用∏_i表示不同视角的成像平面；假设∏_des是想要获取的聚焦平面，点p_des表示∏_des上的一个二维点，在参考视角坐标系下对应的三维空间点p_ref为：p_ref=p_des·size+o   (6)其中，size表示在参考相机坐标系下∏_des中一个像素的大小，o表示∏_des在参考相机坐标系下的起始点；size由以下公式求取：$\mathrm{size}=\left\{\begin{array}{c}\mathrm{sizeX}\\ \mathrm{sizeY}\end{array}\right\}=\pm 0.5·(\left\{\begin{array}{c}w\\ h\end{array}\right\}/\left\{\begin{array}{c}{f}_x\\ f_y\end{array}\right\})·\mathrm{depth}---\left(7\right)$其中，w和h分别表示合成图像的宽和高，f_x和f_y表示焦距，depth表示聚焦平面的深度；计算p_ref在世界坐标系下的坐标；对p_ref的世界坐标利用针孔相机模型，得到其在每一个视角的成像平面上的点p'，具体计算如下：$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=K\left[R\right|T]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(8\right)$其中，K表示相机的内参，R和T表示当前帧的旋转矩阵和平移向量，(x,y)表示p'在成像平面上的坐标；步骤四、在获取图片时，已经获取了图片中每个像素的深度信息和RGB信息，并且根据深度信息对像素做了标记，对所有的有效投影点获取平均RGB值，将该平均值作为聚焦平面上点的颜色值，获取虚拟聚焦平面上所有点的颜色值，生成目标的合成图像。