发明名称 基于空间平面约束的线结构光视觉传感器的快速标定方法
摘要 本发明公开了一种基于空间平面约束的线结构光视觉测量传感器的标定方法,通过以下步骤进行标定:将一二维平面靶标置于摄像机视场范围内,并采集一组该二维靶标平面上不同位置多个特征圆的图像;确定靶标拓扑关系;同步完成摄像机内部参数标定和光平面标定。在光平面标定过程中,利用摄像机成像模型和各位置靶标形成的空间平面提供的约束,可容易地提取到较大数量的线结构光光平面三维点,对三维点集进行基于主元素分析方法的平面拟合,从而得到光平面在摄像机坐标系下的方程。本发明标定方法操作简单,结果可靠,适合现场标定,能够满足线结构光视觉高精度检测任务的需要。
申请公布号 CN101943563A 申请公布日期 2011.01.12
申请号 CN201010133057.0 申请日期 2010.03.26
申请人 天津大学 发明人 刘斌;孙长库
分类号 G01B11/00(2006.01)I 主分类号 G01B11/00(2006.01)I
代理机构 天津市北洋有限责任专利代理事务所 12201 代理人 李素兰
主权项 一种基于空间平面约束的线结构光视觉测量传感器的标定方法,其特征在于:该标定方法包括以下步骤:步骤一、采集一组图像,包括:将一二维平面靶标置于摄像机视场范围内,并采集一组该二维平面靶标不同位置的图像;该组图像包括在靶标平面上有矩阵排列的m个特征圆,其相邻特征圆的圆心间距均为D;在保证靶标和投射在靶标平面上的结构光光条都在摄像机视场和景深范围内的前提下,自由、非平行或共面地摆放靶标n次以上,其中,n≤5,并采集图像,将采集到的图像保存到计算机;步骤二、确定靶标拓扑关系,包括:将特征圆的圆心定义为标定特征点,上述矩阵排列的m个特征圆中的一特征圆的圆心定义为世界坐标系的原点Ow,世界坐标系的坐标轴为OwXw轴和OwYw轴,其中,所述OwZw轴为靶标平面的法向量方向;在上述世界坐标系下,在水平和竖直相邻两个特征圆圆心的距离dx和dy均为D,则与Ow(0,0,0)在OwXw轴方向上相邻和在OwYw轴方向上相邻的特征圆圆心的世界坐标系坐标分别为(D,0,0)和(0,D,0),以此类推,确定各标定特征点的世界坐标系坐标,并保存到计算机;步骤三、摄像机标定,包括:(3‑1)定义线结构光视觉测量模型,其中,(xc,yc,zc)为光平面上Pc点在摄像机坐标系下的三维坐标,(u,v)和(ud,vd)分别为理想像点Pu和实际像点Pd在计算机图像坐标系下的像素坐标,Pc(xc,yc,zc)与(u,v)的转换关系如下: <mrow> <mi>s</mi> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>A</mi> <mo>&CenterDot;</mo> <mo>[</mo> <mi>R</mi> <mo>|</mo> <mi>T</mi> <mo>]</mo> <mo>&CenterDot;</mo> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <msub> <mi>f</mi> <mi>x</mi> </msub> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>f</mi> <mi>y</mi> </msub> </mtd> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>&CenterDot;</mo> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>c</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>公式(1)中,矩阵A为摄像机的内部参数矩阵;R和T分别为世界坐标系到摄像机坐标系的旋转矩阵和平移向量;畸变修正公式为: <mrow> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <msup> <mi>u</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <msub> <mi>u</mi> <mi>d</mi> </msub> <mo>-</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msup> <mi>v</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <msub> <mi>v</mi> <mi>d</mi> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mi>u</mi> <mo>=</mo> <msup> <mi>u</mi> <mo>&prime;</mo> </msup> <mo>&CenterDot;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <mo>&CenterDot;</mo> <msup> <mi>r</mi> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <mo>&CenterDot;</mo> <msup> <mi>r</mi> <mn>4</mn> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mo>&CenterDot;</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>&CenterDot;</mo> <msup> <mi>u</mi> <mo>&prime;</mo> </msup> <mo>&CenterDot;</mo> <msup> <mi>v</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>&CenterDot;</mo> <mo>[</mo> <msup> <mi>r</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mn>2</mn> <mi>u</mi> </mrow> <mrow> <mo>&prime;</mo> <mn>2</mn> </mrow> </msup> <mo>]</mo> <mo>+</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> <mo>=</mo> <msup> <mi>v</mi> <mo>&prime;</mo> </msup> <mo>&CenterDot;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <mo>&CenterDot;</mo> <msup> <mi>r</mi> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <mo>&CenterDot;</mo> <msup> <mi>r</mi> <mn>4</mn> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mo>&CenterDot;</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>&CenterDot;</mo> <msup> <mi>u</mi> <mo>&prime;</mo> </msup> <mo>&CenterDot;</mo> <msup> <mi>v</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>&CenterDot;</mo> <mo>[</mo> <msup> <mi>r</mi> <mn>2</mn> </msup> <mo>+</mo> <mn>2</mn> <msup> <mi>v</mi> <mrow> <mo>&prime;</mo> <mn>2</mn> </mrow> </msup> <mo>]</mo> <mo>+</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msup> <mi>r</mi> <mn>2</mn> </msup> <mo>=</mo> <msup> <mi>u</mi> <mrow> <mo>&prime;</mo> <mn>2</mn> </mrow> </msup> <mo>+</mo> <msup> <mi>v</mi> <mrow> <mo>&prime;</mo> <mn>2</mn> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>公式(2)中,k1,k2,p1,p2为畸变系数;(3‑2)确定CCD摄像机内部参数,包括fx,fy,u0,v0,k1,k2,p1,p2,并计算所述n个靶标摆放位置的世界坐标系和摄像机坐标系的旋转矩阵Ri和平移向量Ti,每个位置靶标m个特征点的世界坐标系坐标记为Mij(xw,yw,0),与其对应的图像处理得到的像素坐标为Iij(ud,vd)(i=1,2,...,n;j=1,2,...,m);(3‑3)根据公式(1),利用Mij,fx,fy,u0,v0和Ri,Ti计算出理想像素坐标,其表达式为:(u1ij,v1ij)=H(Mij,fx,fy,u0,v0,Ri,Ti);(3‑4)根据公式(2),利用Iij,k1,k2,p1,p2计算出理想像素坐标,其表达式为:(u2ij,v2ij)=L(Iij,k1,k2,p1,p2);(3‑5)设:(u1ij,v1ij)和(u2ij,v2ij)相同,因此,构建最优化计算估计的目标函数为: <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msup> <mrow> <mo>|</mo> <mo>|</mo> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mi>ij</mi> </msub> <mo>,</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mo>,</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mo>,</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>T</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>ij</mi> </msub> <mo>,</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>(3‑6)对所有靶标特征点,利用最优化方法通过最小化公式(3)的数值,得到需标定的参数fx,fy,u0,v0i,k1,k2,p1,p2,Ri,Ti,将得到的上述摄像机内部参数及靶标在各摆放位置的旋转矩阵Ri和平移向量Ti保存到计算机;步骤四、光平面标定,包括:根据每个靶标摆放位置的旋转矩阵Ri和平移向量Ti,确定每幅图像的靶标平面在摄像机坐标系下的平面方程,根据上述步骤二的靶标拓扑关系,旋转矩阵Ri的第三列列向量(r3i,r6i,r9i)T为靶标平面的法向量,Ti(t1i,t2i,t3i)则为靶标平面上的圆点Ow在摄像机坐标系下的坐标,因此,摄像机坐标系下的靶标平面方程为:r3i·xc+r6i·yc+r9i·zc=r3i·t1i+r6i·t2i+r9i·t3i             (4)对采集的每一幅靶标图像中的光条进行图像处理,可得到靶标平面上各光条点的像素坐标,根据公式(2),首先对像素坐标进行去畸变处理,随后根据公式(1)和公式(4),计算各光条点的摄像机坐标系坐标,随后利用主元素分析法PCA对摄像机坐标系下的光条点集进行空间平面拟合,从而确定摄像机坐标系下的光平面方程axc+byc+czc+d=0,至此,完成光平面标定,将将得到的光平面参数保存到计算机。
地址 300072 天津市南开区卫津路92号