基于机器视觉的多体投放位姿测量方法

摘要

本发明基于机器视觉的多体投放位姿测量方法属于计算机视觉测量技术领域，涉及一种适用于多投放物同时投放的位姿测量方法。测量方法先建立各投放物单体特征点先验模型，对各单体进行区分编号。对多视觉测量图像进行处理，对每帧图像中的所有特征点进行运算对特征点进行分组划分刚体，利用先验模型对组内特征点进行比对识别，利用单体中各特征点距离约束识别单体中各特征点。最后，利用坐标转换方式求得各帧图像中各投放物位姿参数。该方法通过刚体标记信息的约束，有效避免了由于视觉测量中各投放物相互干扰而引起的测量中断问题，可同时对多运动目标进行跟踪，有效的解决了多体投放物位姿测量问题。

主权项

一种基于机器视觉的多体投放物位姿测量方法，其特征是，测量方法首先建立各投放物单体特征点先验模型，对各单体进行区分编号；然后对多视觉测量图像进行处理，对每帧图像中的所有特征点进行运算对特征点进行分组划分刚体，利用先验模型对组内特征点进行比对识别，利用单体中各特征点距离约束识别单体中各特征点；最后利用坐标转换方式求得各帧图像中各投放物位姿参数，该方法的具体提取步骤如下：第一步：先验模型建立首先要建立多投放物表面特征点的先验知识模型，每个单体内各特征点的距离信息所组成的向量被称为此单体的先验知识模型；单体的先验知识模型如下式所示：A_I＝[a_I1 ... a_IN]              (1)其中：A_I为第I个投放物编号，a_I1为第I个投放物中第1个标记的距离先验知识信息，a_IN为第I个投放物中第N个标记的距离先验知识信息；以此建立所有投放物刚体的先验知识模型；单体内先验模型为：a_Ii＝[L_i1 ... L_in]              (2)其中：a_Ii为第I个刚体第i个特征点先验知识模型，L_i1为第i个特征点与单刚体内第1个特征点间距离，L_in为第i个特征点与单刚体内第n个特征点间距离；由此建立所有投放物刚体内先验模型；第二步：基于时空关系的图像匹配方法根据光流方法找到同名标记点在不同时刻的图像坐标，并且绘制出同名标记点在一段时间内的运动轨迹；得到目标物表面标记点的轨迹之后，将左右图像的轨迹进行匹配；匹配的方法如下所示：1)首先对左图像轨迹起始点在右图像起始点中进行极限约束匹配，找到满足极限约束条件的右图像轨迹；2)再对左图像轨迹不同时刻与上步中筛选的右图像轨迹同一时刻点进行匹配，直到找到唯一一个与左图像匹配的右图像运动轨迹；3)最后左右图像两条轨迹中同一时刻的标记点即为匹配点；第三步：基于刚体不变性的多投放物体间特征区分求出图像特征点的三维坐标后，比较这些空间点的相对关系，寻找在时间变化情况下空间关系一直不变的特征点，进行分组；具体过程首先建立空间所有点与其他标记点之间距离向量，如下所示：$G_i=\left[\begin{array}{ccc}{l_{i1}}^1& ...& {l_{in}}^1\\ \begin{array}{c}\\ \\ \end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}\\ \\ \end{array}\\ {l_{i1}}^t& ...& {l_{in}}^t\end{array}\right]---\left(3\right)$其中：G_i的第t行是空间第i个标记点与其他空间标记点在时刻t下的距离信息向量，l_i1¹是第一时刻下第i个点与第一个点的距离，l_in^t是第t时刻下第i个点与第n个点的距离；以矩阵G_i中在时间序列图像中位置关系一直不变的特征点为一组，从而完成多体分离图像特征点分组；最后利用先验模型方法对各分组内特征点进行组内识别，从而建立图像特征点与目标实物特征点的对应关系；第四步：单投放物内各特征点识别将不同被测物体上标记点进行区分之后，要对每个刚体内的每个标记点进行识别，识别方法是首先建立同一个刚体内标记点的距离测量向量，建立方法如下：g_Jj＝[l_j1 ... l_jm]                  (4)其中l_in是第J组第个j特征点与第J组第m个特征点的测量值，g_Jj是第J组第j个特征点的距离测量向量；与先验模型a_Ii(i＝1:n)比对如下：min||l_Jj‑a_Ii||＝min{l_Jj‑L_I1||，||l_Jj‑L_I2||...||l_Jj‑L_In||}，i＝1～n         (5)$h(g_{Ii},a_{Ij})=\left[\begin{array}{c}\min \left|\right|l_{I1}-L_{In}\left|\right|\\ \min \left|\right|l_{I2}-L_{In}\left|\right|\\ \begin{array}{c}.\\ .\\ .\end{array}\\ \min \left|\right|l_{\mathrm{Im}}-L_{In}\left|\right|\end{array}\right],i=1~n;j=1~m---\left(6\right)$其中：h(g_Jj，a_Ii)是第J组第j点与第I组第i点的距离差值，当值最小时两点匹配；目标体G_Jj与目标体A_Ii距离差值：$H(G_J,A_I)=\left|\right|\begin{array}{c}M\left(g_{J1},a_{Ii}\right)\\ M\left(g_{J2},a_{Ii}\right)\\ \begin{array}{c}.\\ .\\ .\end{array}\\ M\left(g_{Jm},a_{Ii}\right)\end{array}\left|\right|---\left(7\right)$其中：H(G_J，A_I)是目标体J与目标体I的距离差值，M(g_Jj，a_Ii)是h(g_Jj，a_Ii)的最小值，当H(G_J，A_I)值最小时，两目标体匹配，完成图像与先验模型的匹配识别；第五步：坐标转换求取位姿参数用以识别的特征点建立单个投放物局部坐标系O_tX_tY_tZ_t为：世界坐标系中任意点p_ow＝(x_p y_p z_p)^T在局部坐标系O_tX_tY_tZ_t下的坐标为p_ow＝(x_t y_t z_t)^T:$\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]=R_{wb}\left[\begin{array}{c}{x}_p-x_0\\ y_p-y_0\\ z_p-z_0\end{array}\right]---\left(8\right)$其中：T_wb＝(x₀ y₀ z₀)为目标体坐标系原点即被测物体质心在世界坐标系中的坐标；R_wb为局部坐标系相对于世界坐标系的旋转矩阵；$\begin{array}{c}{R}_{wb}=\\ \left[\begin{array}{ccc}\cos \left({\theta }_Y\right)\cos \left({\theta }_Z\right)-\sin \left({\theta }_Y\right)\sin \left({\theta }_X\right)\sin \left({\theta }_Z\right)& \cos \left({\theta }_Y\right)\sin \left({\theta }_Z\right)+\sin \left({\theta }_Y\right)\sin \left({\theta }_X\right)\cos \left({\theta }_Z\right)& -\sin \left({\theta }_Y\right)\cos \left({\theta }_X\right)\\ -\cos \left({\theta }_X\right)\sin \left({\theta }_Z\right)& \cos \left({\theta }_X\right)\cos \left({\theta }_Z\right)& \sin \left({\theta }_X\right)\\ \sin \left({\theta }_Y\right)\cos \left({\theta }_Z\right)+\cos \left({\theta }_Y\right)\sin \left({\theta }_X\right)\sin \left({\theta }_Z\right)& \sin \left({\theta }_Y\right)\sin \left({\theta }_Z\right)-\cos \left({\theta }_Y\right)\sin \left({\theta }_X\right)\cos \left({\theta }_Z\right)& \cos \left({\theta }_Y\right)\cos \left({\theta }_X\right)\end{array}\right]\end{array}---\left(9\right)$其中，‑θ_Z，‑θ_X，‑θ_Y为投放物相对于世界坐标系的偏航角，俯仰角和滚转角，求得R_wb，T_wb即单个投放物对于世界坐标系的位姿信息，以此求得所有投放物位姿信息。