一种基于编码结构光的三维重建方法

摘要

一种基于编码结构光的三维重建方法，包括以下步骤：1)向待测物投射结构光，摄像机捕捉经待测物调制的图像；2)进行光模板匹配，包括：(2.1)光条边界的定位，沿着图像的每个列扫描，确定灰度变化强烈的像素点为候选边缘点，并搜索局部领域；(2.2)光条匹配：采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条红绿蓝白颜色；3)利用已经标定好的系统参数进行待测物的三维重建，标定好的转换矩阵参数确定了空间点坐标和它的图像坐标点的关系，从特征点的图像坐标恢复空间三维坐标。本发明能简化计算过程、匹配精度高、重建精度高。

主权项

1.一种基于编码结构光的三维重建方法，其特征在于：所述三维重建方法包括以下步骤：1)、向待测物投射结构光，摄像机捕捉经待测物调制的图像；2)、进行光模板匹配，包括以下步骤：(2.1)、光条边界的定位：待检测的光模板为一维条纹编码，沿着图像的每个列扫描，对每个像素点的各个通道用一维列算子进行预处理，确定灰度变化强烈的像素点为候选边缘点，在图像每一列上以候选边缘点为中心，选取一定大小的区域，其最大值不超过光条宽度的1/2，搜索局部邻域的步骤如下：(2.1.1).初始化候选边缘点作为一区域中心z_i，j；(2.1.2).沿列方向搜索，将z_i-k，j，z_i+k，j像素颜色空间转成色调、亮度和饱和度(HIS)空间；(2.1.3).增加新的点到这个区域，只要满足与相邻像素点的色调值差不超过设定的阈值Hh＝|z_i±k，j，h-z_{i±k±1，j，h}|      (1)h是两个像素色调的差值，z_i±k，j，h表示第i±k行j列像素的色调值；经算子处理后，像素点的三通道灰度值为G_ij，局部区域三通道灰度值之和的最大值的像素点定义为边界点；$E=\max \left(\underset{j=1}{\overset{C}{\Sigma }}{G}_{\mathrm{ij}}\right),C=3---\left(2\right)$E为算子处理后像素点灰度值之和的最大值；(2.2)、光条匹配：采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条红绿蓝白颜色；选择红、绿、蓝三基色和白作为编码颜色，除黑白外，红、绿、蓝和白之间的空间距离达到最大，编码颜色集选取为φ＝{(255，0，0)，(0，255，0)，(0，0，255)，(255，255，255)}的4元素集，白色作为间隔各条颜色，对应的颜色集字母映射为：Φ＝{R_i|i＝1，2，3，4}R_i分别指示红、绿、蓝和白四颜色的RGB特征向量；引进等宽白色光条来间隔彩色光条，使相邻光条使用同一种颜色色调值，光模板由2n^m条光条组成，其中颜色数目为n，窗口大小为m；定义Q＝{1，2，...，2n^m}，对应每条光条的坐标序号值，每个条纹边界划分一个平面空间，投射的每一帧图像由相同的光模板组成，后一帧由前一帧下移光条1/4宽度组成；不同的颜色群集聚在特定的RGB空间区域，通过样本点训练颜色群的聚类中心，然后用点到点的距离来匹配光条颜色；D_ik＝d²(Φ_i，C_k)k＝1，2，3，4            (3)D_ik是两点距离的平方，Φ_i是光条中心像素的RGB特征向量，C_k是颜色聚类中心，d(x，y)是x，y两点之间距离；设D＝min(D_ik)，那么光条颜色的分配按照(4)式进行：s_c＝{k if D＝＝D_ik k＝1，2，3，4}        (4)s_c表示光条颜色；分配好颜色后，每三条相邻的光条颜色组成一个码字s_i，找出每个码字在整个序列的位置就是解码；光条坐标值x_i定义为：$x_i=\mathrm{DdBS}\left(s_i\right)+\frac{1}{4}(j-1)---\left(5\right)$DdBS(s_i)表示直接解码第j帧光模板子序列s_i的坐标位置；3)、利用已经标定好的系统参数进行待测物的三维重建，具体过程为：标定好的转换矩阵参数确定了空间点坐标和它的图像坐标点的关系，从特征点的图像坐标恢复空间三维坐标；拍摄经调制的图像，经图像处理后获取图像坐标计算得出理想归一化坐标(x，y)，摄像机坐标系下空间点和空间存在如下的关系：$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+t=\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]---\left(6\right)$定义X_c＝xZ_c，Y_c＝yZ_c，带入(6)得：$\left[\begin{array}{c}{\mathrm{xZ}}_c\\ {\mathrm{yZ}}_c\\ Z_c\end{array}\right]=\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]---\left(7\right)$消去Z_c，化简得：$\left[\begin{array}{c}{\mathrm{xt}}_3-t_1\\ {\mathrm{yt}}_3-t_2\end{array}\right]=\left[\begin{array}{c}{r}_1-{\mathrm{xr}}_3\\ r_2-{\mathrm{yr}}_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]---\left(8\right)$由投影仪坐标x_d和世界坐标X＝(X_w，Y_w，Z_w)建立投影仪模型如下：$\gamma \left[\begin{array}{c}{x}_d\\ 1\end{array}\right]=\left[\begin{array}{cc}{m}_1& m_{14}\\ m_2& m_{24}\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(15\right)$γ是任一尺度因子；通过光条解码求出x_d坐标值，得：$x_d{m}_{24}-m_{14}=[m_1-x_d{m}_2]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]---\left(9\right)$结合(8)式、(9)式得：$\left[\begin{array}{c}{\mathrm{xt}}_3-t_1\\ {\mathrm{yt}}_3-t_2\\ x_d{m}_{24}-m_{14}\end{array}\right]=\left[\begin{array}{c}{r}_1-{\mathrm{xr}}_3\\ r_2-{\mathrm{yr}}_3\\ m_1-x_d{m}_2\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]---\left(10\right)$将(10)式写成矩阵AX＝B形式，其中X＝(X_w，Y_w，Z_w)，则方程线性最小二乘解为：X＝(A^TA)^-1A^TB         (11)X即是由二维图像通过三维计算得到的世界坐标。