基于三维视觉系统图像特征和三维信息的运动估计方法

摘要

本发明公开了一种基于三维视觉系统图像特征和三维信息的运动估计方法，该方法基于三维视觉系统实时获取场景二维图像信息和按二维图像像素对应的空间三维信息；采用相邻帧采样间隔自适应调整方法控制相邻帧采集间隔，根据t-1时刻和t时刻相邻帧之间有效匹配图像特征点对数目，自动调整t+1时刻相对t时刻的采样间隔，在满足三维估计准确性和可靠性的基础上有效减少了计算量；根据当前相邻帧二维图像特征匹配点对数目，综合场景二维图像特征和三维点云信息进行三维运动估计，获得高精度的三维运动估计，具有计算量小，应用场景限制性小等优点。

主权项

1.一种基于三维视觉系统图像特征和三维信息的运动估计方法，其特征在于，包括以下步骤：步骤1：基于三维视觉系统，动态确定相邻帧场景之间的采样间隔Δt；步骤2：按照步骤1确定的采样间隔Δt，利用三维视觉系统分别在t时刻和t+1时刻获取相邻帧场景的二维彩色图像I^t和I^t+1、场景对应的三维点云D^t和D^t+1；步骤3：利用SIFT算法对相邻帧场景的二维彩色图像I^t和I^t+1进行特征点提取与匹配，得到相邻帧场景的匹配图像特征点对集合M；步骤4：剔除集合M中的误匹配图像特征点对，得到最终的匹配图像特征点对集合M₃；1)基于双向一致性检查的误匹配剔除；采用欧式距离作为特征点128维向量描述子的相似性度量，对t+1时刻的二维彩色图像I^t+1的任一图像特征点F_i^t+1，依次从t时刻的二维彩色图像I^t的图像特征点中找出相匹配的特征点构成匹配特征点对集合M′，M和M′的交集构成新的匹配图像特征点对集合M₁，以剔除非双向一致的误匹配图像特征点对；2）基于颜色一致性检查的误匹配剔除；步骤a：分别提取t时刻和t+1时刻获取的二维彩色图像I^t和I^t+1的HSV空间颜色信息；步骤b：依据1）中获得的匹配特征点对集合M₁，建立集合M₁中所有特征点的HSV空间分量的索引信息；所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的HSV空间颜色分量的对应关系；步骤c：依据步骤b中建立的HSV空间分量索引信息和匹配特征点对集合M₁，分别获取匹配特征点对集合M₁的HSV信息[H^t,S^t,V^t]和[H^t+1,S^t+1,V^t+1]，其中，[H^t,S^t,V^t]为M₁中t时刻二维彩色图像匹配特征点对应的HSV信息，[H^t+1,S^t+1,V^t+1]为M₁中t+1时刻二维彩色图像匹配特征点对应的HSV信息；步骤d：对匹配特征点对集合M₁中的任一特征点对进行HSV空间颜色一致性检查处理，若同时满足如下约束，则认为是正确匹配点对，否则认为是误匹配点对，并从M₁中剔除，得到新的匹配特征点对集合M₂；约束判定条件如下：$\left\{\begin{array}{c}|H^t\left(F_i^t\right)-H^{t+1}\left(F_j^{t+1}\right)|\le T_H\\ |S^t\left(F_i^t\right)-S^{t+1}\left(F_j^{t+1}\right)|\le T_S\\ {|V}^t\left(F_i^t\right)-V^{t+1}\left(F_j^{t+1}\right)|\le T_V\end{array}\right.$其中，T_H为H分量阈值，T_S为S分量阈值，T_V为V分量阈值，取值范围分别为：T_H∈(0,π)，T_S∈(0,0.5)，T_V∈(0,0.5)；3）采用RANSAC算法对匹配特征点对集合M₂中的误匹配进一步剔除，得到最终的匹配特征点对集合M₃；步骤5：如果集合M₃中匹配特征点对数目大于设定的阈值N₂，转入步骤6；否则转入步骤7；步骤6：基于集合M₃中相邻场景所有匹配特征点对的对应三维点云信息，利用ICP(Iterative Closest Point，迭代最近点)算法，求取t+1时刻相对于t时刻的三维旋转向量R和平移向量T，获取相邻帧的三维运动估计，并转入步骤9；步骤7：依据t时刻相对于t-1时刻的三维运动的估计值R^t和T^t，依据三维视觉系统呈匀速直线运动，线性估计t+1时刻相对于t时刻的三维运动信息初始估计值R₀和T₀；$R_0=\Delta t^{t+1}*\frac{R^t}{\Delta t^t},T_0=\Delta t^{t+1}*\frac{T^t}{\Delta t^t}$Δt^t为t时刻和t-1时刻相邻帧之间的采样间隔，Δt^t+1t+1时刻和t时刻相邻帧之间的采样间隔；步骤8：基于相邻帧三维点云数据D^t和D^t+1、三维运动初始估计值R₀和T₀，采用ICP算法估计相邻帧的三维运动R和平移向量T；根据三维运动估计初值（旋转矩阵R₀和平移向量T₀）、t时刻场景的三维点云D^t、t+1时刻场景的三维点云D^t，通过ICP迭代算法，计算t+1时刻相对于t时刻的三维旋转向量R和平移向量T，即获得相邻两帧的三维运动估计；步骤9：若机器人系统运动结束，无需对三维运动进行估计，则退出三维运动估计；否则转至步骤1重复继续进行下一个采样时刻与相邻帧的三维运动估计。