发明名称 基于彩色图像的滚转物单目位姿测量方法
摘要 本发明基于彩色图像的滚转物单目位姿测量方法属于计算机视觉领域,涉及一种在风洞环境下使用单目视觉原理结合自发光编码标志点进行滚转体模型位姿测量。该测量方法采用环绕式分组排列的方式将彩色编码的自发光标志点布置在被测物体的表面,利用单目视觉系统对滚转体目标进行X、Y、Z方向的位移和俯仰角、偏航角、滚转角六参数位姿测量。以目标物表面彩色编码自发光标志点作为特征标记,采集运动目标表面彩色编码特征图像,在高速摄像机标定的基础上,经彩色编码标记特征的识别和提取的图像处理步骤后,求解出滚转体目标位置姿态信息。本发明采用单目摄像机配合彩色图像进行测量,测量效率高,设备简单的特点,适用范围广。
申请公布号 CN104764440B 申请公布日期 2017.04.12
申请号 CN201510113207.4 申请日期 2015.03.12
申请人 大连理工大学 发明人 刘巍;陈玲;贾振元;李肖;马鑫;尚志亮
分类号 G01C11/00(2006.01)I 主分类号 G01C11/00(2006.01)I
代理机构 大连理工大学专利中心 21200 代理人 关慧贞
主权项 一种基于彩色图像的滚转物单目位姿测量方法,其特征是,测量方法采用环绕式分组排列的方式将彩色编码的自发光标志点布置在被测物体的表面,利用单目视觉系统对滚转物目标进行X、Y、Z方向的位移和俯仰角、偏航角、滚转角六参数位姿测量;以滚转物表面彩色编码自发光标志点作为特征标记,采集运动目标表面彩色编码特征图像,在高速摄像机标定的基础上,经彩色编码标记特征的识别和提取的图像处理步骤后,求解出滚转物目标位置姿态信息;测量方法的具体步骤如下:1)彩色标志点的编码本测量方法采用环绕式分组排列的方式将彩色编码的自发光标志点布置在被测物体的表面,标志点分为两组,每组含有一定数量的编码标志点,以周向均布方式分布在被测物体的表面,标志点的数量根据具体测量视场的大小和被测滚转物直径的大小决定,必须保证在每一帧图像上至少有三个标志点,并以此拟合出被测滚转物的圆心;用标志点的颜色信息作为其编码信息,每种颜色采用一定的代码进行标记;几个连续的编码标志点组成一个编码片段,任意两编码片段因所含标志点颜色顺序不同而使各编码片段都是唯一的;编码颜色和编码片段长度根据标志点的个数来确定,且编码片段长度至少为3,以保证一组中编码各不相同;最后将各编码片段代入编码组得到每个标志点的编码;2)进行高速摄像机的标定本测量方法采用张正友基于平面标定板的标定方法对高速摄像机进行标定,其具体标定过程如下:首先,将精密加工的二维棋盘格标定板放置在物体运动的平面附近,并将标定板摆放多个位置,同时触发高速摄像机拍摄标定板的多幅图像,通过标定板上每个标志点和其像平面的像点间的对应关系来标定摄像机,得到摄像机的内外参数;然后,利用各标志点坐标与实际坐标的偏差构建目标函数f(x)并利用优化算法对内外参数进行整体优化;目标函数公式如下:f(x)=(X<sub>w</sub>‑X<sub>d</sub>)<sup>2</sup>+(Y<sub>w</sub>‑Y<sub>d</sub>)<sup>2</sup>+(Z<sub>w</sub>‑Z<sub>d</sub>)<sup>2</sup>           (1)其中:X<sub>w</sub>,Y<sub>w</sub>,Z<sub>w</sub>表示各特征角点在世界坐标系中的坐标,而X<sub>d</sub>,Y<sub>d</sub>,Z<sub>d</sub>为采用摄像机标定参数重建得到的对应特征角点的坐标,则可建立目标函数F(x)如下:<maths num="0001"><math><![CDATA[<mrow><mi>F</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>m</mi><mi>i</mi><mi>n</mi><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mi>f</mi><msup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001152204430000021.GIF" wi="1079" he="133" /></maths>其中,N为特征点的个数,<img file="FDA0001152204430000022.GIF" wi="172" he="125" />为所有特征角点偏差函数的平方和,应用LM方法对该目标函数F(x)进行优化,进而得摄像机内外参数的全局最优解;3)彩色图像特征的识别和提取(1)彩色编码特征的识别本测量方法采用基于RGB的图像分割方法对彩色标志点的颜色信息进行识别,将图像特征分解为红、绿、蓝三个互相独立的颜色通道分别用R、G、B表示;每个通道的灰度范围都是0~255,根据欧几里德距离公式判断图像上像素点的颜色是否与某一颜色之间的相似度是否小于所设阈值T,进而判断出该像素点特征所属的颜色,欧几里德距离公式表示为:D(z,m)=||z‑m||=[(z‑m)<sup>T</sup>(z‑m)]<sup>1/2</sup>=[(z<sub>R</sub>‑m<sub>R</sub>)<sup>2</sup>+(z<sub>G</sub>‑m<sub>G</sub>)<sup>2</sup>+(z<sub>B</sub>‑m<sub>B</sub>)<sup>2</sup>]<sup>1/2</sup>   (3)其中,m为某一颜色的RGB向量,z表示该像素点的RGB向量,下标R、G、B表示向量m和z的RGB分量;在解码时,采用曲线拟合的方法找出图像特征标志所组成的环形曲线,然后将标志点按该曲线串联排序,按顺序写出图像中标志点的编码片段并与标志点编码数组列表进行对比,找到与之完全相同的数组,确定图像中标记点与编码组中标志点的对应关系,从而得知所采集片段在整个编码组中的位置;(2)标志点的提取本测量方法采用梯度重心法提取被测滚转物表面的编码标志点,首先,使用高斯一阶微分算子对被测滚转物运动图像进行卷积处理,获得二维图像上各点的灰度梯度,图像特征标记所在区域的梯度重心点坐标用下式表示:<maths num="0002"><math><![CDATA[<mrow><mi>C</mi><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>h</mi></mrow><mi>h</mi></munderover><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>w</mi></mrow><mi>w</mi></munderover><mo>&lsqb;</mo><mo>|</mo><mi>G</mi><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>|</mo><mo>&CenterDot;</mo><mi>P</mi><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>&rsqb;</mo><mo>/</mo><munderover><mo>&Sigma;</mo><mrow><mi>i</mi><mo>=</mo><mo>-</mo><mi>h</mi></mrow><mi>h</mi></munderover><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mo>-</mo><mi>w</mi></mrow><mi>w</mi></munderover><mo>|</mo><mi>G</mi><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001152204430000023.GIF" wi="1290" he="137" /></maths>其中:C为应用梯度重心法所提取的标记中心像素的坐标值,(i,j)点的梯度幅值用|G(i,j)|表示,w,h分别为二维图像的宽和高,(i,j)点的图像坐标表示为P(i,j);4)滚转物位姿求取选取滚转物体表面的三个特征点A,B,C,通过求解方程组:<maths num="0003"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msup><msub><mi>h</mi><mi>A</mi></msub><mn>2</mn></msup><mo>+</mo><msup><msub><mi>h</mi><mi>B</mi></msub><mn>2</mn></msup><mo>+</mo><mn>2</mn><msub><mi>h</mi><mi>A</mi></msub><msub><mi>h</mi><mi>B</mi></msub><mi>c</mi><mi>o</mi><mi>s</mi><mi>&alpha;</mi><mo>=</mo><msup><mi>c</mi><mn>2</mn></msup></mrow></mtd></mtr><mtr><mtd><mrow><msup><msub><mi>h</mi><mi>A</mi></msub><mn>2</mn></msup><mo>+</mo><msup><msub><mi>h</mi><mi>C</mi></msub><mn>2</mn></msup><mo>+</mo><mn>2</mn><msub><mi>h</mi><mi>A</mi></msub><msub><mi>h</mi><mi>C</mi></msub><mi>cos</mi><mi>&beta;</mi><mo>=</mo><msup><mi>b</mi><mn>2</mn></msup></mrow></mtd></mtr><mtr><mtd><mrow><msup><msub><mi>h</mi><mi>B</mi></msub><mn>2</mn></msup><mo>+</mo><msup><msub><mi>h</mi><mi>C</mi></msub><mn>2</mn></msup><mo>+</mo><mn>2</mn><msub><mi>h</mi><mi>B</mi></msub><msub><mi>h</mi><mi>C</mi></msub><mi>cos</mi><mi>&gamma;</mi><mo>=</mo><msup><mi>a</mi><mn>2</mn></msup></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001152204430000031.GIF" wi="1166" he="251" /></maths>解出h<sub>A</sub>,h<sub>B</sub>,h<sub>C</sub>的值;其中h<sub>A</sub>,h<sub>B</sub>,h<sub>C</sub>分别为A,B,C与摄像机光心O之间的距离,A,B,C两两组成的三条直线之间的夹角为α,β,γ,并且三个特征点之间的距离表示为:|AB|=c,|AC|=b,|BC|=a;设A′,B′,C′分别是A,B,C在摄像机平面上的对应点,求出h<sub>A</sub>,h<sub>B</sub>,h<sub>C</sub>后,利用A′,B′,C′坐标,根据摄像机的成像关系,解算出特征点在摄像机坐标系下的坐标,再通过摄像机的标定参数将该坐标转换到物体在世界坐标系下的坐标,即求出被测目标的初始位姿参数;最后,通过图像上其余特征标记对目标的初始位姿参数进行优化,得出运动目标的准确位姿信息。
地址 116024 辽宁省大连市甘井子区凌工路2号