发明名称 一种摄像机内参数快速标定的靶标方法
摘要 本发明一种摄像机内参数快速标定的靶标方法属于计算机视觉测量,涉及一种摄像机内参数快速标定的靶标方法。该靶标方法利用形状为正三角形及其内切圆的靶标进行快速标定摄像机内参数;提取内切圆圆心的图像坐标,根据靶标平面和像平面的单应性建立单应性矩阵方程;提取正三角形和内切圆形状信息计算正三角形顶点和切点的图像坐标,获得正三角形垂线方程,根据四个正三角形对应边和垂线构成正交平行线段,获得平行线的消失点建立消失点方程;进行摄像机内参数矩阵求解。该方法标定过程简单方便,只需要拍摄一幅靶标图像,即可求得摄像机内参数矩阵,标定速度快,解决了大视场、复杂环境下快速标定问题。
申请公布号 CN103903260B 申请公布日期 2017.01.11
申请号 CN201410111234.3 申请日期 2014.03.24
申请人 大连理工大学 发明人 刘巍;张洋;贾振元;马鑫;尚志亮;李晓东;李肖
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 大连理工大学专利中心 21200 代理人 关慧贞
主权项 一种摄像机内参数快速标定的靶标方法,其特征是,该方法利用形状为正三角形及其内切圆的靶标进行快速标定摄像机内参数;提取内切圆圆心的图像坐标,根据靶标平面和像平面的单应性建立单应性矩阵方程;提取正三角形和内切圆形状信息计算正三角形顶点和切点的图像坐标,获得正三角形垂线方程,根据四个正三角形对应边和垂线构成正交平行线段,获得平行线的消失点建立消失点方程;进行摄像机内参数矩阵求解;方法的具体步骤如下:第一步基于内切圆圆心坐标建立单应性矩阵方程1)提取内切圆圆心整个靶标图形由四个具有相同边长的正三角(1)按照两排两列对齐排列,每个正三角形内嵌实心黑色内切圆(2);首先提取内切圆圆心的图像坐标,采用Sobel边缘检测算子对对靶标内切圆进行提取,其公式如下所示:<maths num="0001"><math><![CDATA[<mrow><mi>g</mi><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>{</mo><msubsup><mi>d</mi><mi>u</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow><mo>+</mo><msubsup><mi>d</mi><mi>v</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow><mo>}</mo></mrow><mfrac><mn>1</mn><mn>2</mn></mfrac></msup></mrow>]]></math><img file="FDA0000973452360000011.GIF" wi="709" he="127" /></maths><maths num="0002"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msub><mi>d</mi><mi>u</mi></msub><mo>=</mo><mfenced open = "[" close = "]"><mtable><mtr><mtd><mrow><mo>-</mo><mn>1</mn></mrow></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mrow><mo>-</mo><mn>2</mn></mrow></mtd><mtd><mn>0</mn></mtd><mtd><mn>2</mn></mtd></mtr><mtr><mtd><mrow><mo>-</mo><mn>1</mn></mrow></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow></mtd><mtd><mrow><msub><mi>d</mi><mi>v</mi></msub><mo>=</mo><mfenced open = "[" close = "]"><mtable><mtr><mtd><mrow><mo>-</mo><mn>1</mn></mrow></mtd><mtd><mn>2</mn></mtd><mtd><mrow><mo>-</mo><mn>1</mn></mrow></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>2</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow></mtd></mtr></mtable><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000973452360000012.GIF" wi="934" he="261" /></maths>其中,(u,v)为图像坐标,d<sub>u</sub>为u轴方向的Sobel检测算子,d<sub>v</sub>为v轴方向的Sobel检测算子,d<sub>u</sub>(u,v)为u轴方向边缘检测的在图像坐标(u,v)点处的图像灰度值,d<sub>v</sub>(u,v)为v轴方向边缘检测的在图像坐标(u,v)点处的图像灰度值,g(u,v)为经过Sobel边缘检测计算后在图像坐标(u,v)点处的图像灰度值;针对已提取出的内切圆利用灰度重心法计算内切圆圆心的图像坐标,计算公式如下:<maths num="0003"><math><![CDATA[<mrow><mover><msub><mi>u</mi><mi>c</mi></msub><mo>&OverBar;</mo></mover><mo>=</mo><mfrac><mrow><mi>&Sigma;</mi><mi>u</mi><mo>&times;</mo><mi>f</mi><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow></mrow><mrow><mi>&Sigma;</mi><mi>f</mi><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000973452360000013.GIF" wi="494" he="173" /></maths><maths num="0004"><math><![CDATA[<mrow><mover><msub><mi>v</mi><mi>c</mi></msub><mo>&OverBar;</mo></mover><mo>=</mo><mfrac><mrow><mi>&Sigma;</mi><mi>v</mi><mo>&times;</mo><mi>f</mi><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow></mrow><mrow><mi>&Sigma;</mi><mi>f</mi><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000973452360000021.GIF" wi="542" he="188" /></maths>其中,(u,v)为图像坐标,u,v∈Ω,Ω为边缘提取区域内像素目标的集合,f(u,v)为在图像坐标(u,v)位置处像素点的灰度值,<img file="FDA0000973452360000022.GIF" wi="157" he="78" />为内切圆圆心的图像坐标;2)建立单应性矩阵方程设定靶标平面为三维世界坐标系中Z=0的平面,在世界坐标系下,已知内切圆圆心的齐次坐标为M=[X Y 1]<sup>T</sup>,设定摄像机所拍摄的图像平面为像平面,在像平面上内切圆圆心的齐次图像坐标为<img file="FDA0000973452360000023.GIF" wi="290" he="79" />可根据靶标平面与像平面的单应性求解单应矩阵H:m=λKLM=HM(4)其中,K为摄像机内参数矩阵,L为摄像机外参数矩阵,λ为比例因子;设定单应矩阵H=[h<sub>1</sub> h<sub>2</sub> h<sub>3</sub>],h<sub>1</sub>、h<sub>2</sub>、h<sub>3</sub>为单应矩阵H的列向量,根据摄像机外参数中旋转矩阵列向量的正交性,可建立单应性矩阵方程如下所示:<maths num="0005"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><msup><msub><mi>h</mi><mn>1</mn></msub><mi>T</mi></msup><msup><mi>K</mi><mrow><mo>-</mo><mi>T</mi></mrow></msup><msup><mi>K</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>h</mi><mn>2</mn></msub><mo>=</mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><msup><msub><mi>h</mi><mn>1</mn></msub><mi>T</mi></msup><msup><mi>K</mi><mrow><mo>-</mo><mi>T</mi></mrow></msup><msup><mi>K</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>h</mi><mn>1</mn></msub><mo>=</mo><msup><msub><mi>h</mi><mn>2</mn></msub><mi>T</mi></msup><msup><mi>K</mi><mrow><mo>-</mo><mi>T</mi></mrow></msup><msup><mi>K</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><msub><mi>h</mi><mn>2</mn></msub></mrow></mtd></mtr></mtable><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000973452360000024.GIF" wi="646" he="151" /></maths>其中,K<sup>‑T</sup>为摄像机内参数矩阵K转置的逆矩阵,K<sup>‑1</sup>为摄像机内参数矩阵K的逆矩阵;h<sub>1</sub><sup>T</sup>为单应矩阵H第一列列向量的转置,h<sub>2</sub><sup>T</sup>为单应矩阵H第二列列向量的转置;第二步基于三对正交平行线段建立消失点方程1)基于HOUGH变换提取正三角形的边设定直线方程为v=ku+b,其中(u,v)为图像的像素坐标,k为直线的斜率,b为直线的截距;定义直线的参数方程为:ρ=u<sub>i</sub>cosθ+v<sub>i</sub>sinθ  (6)其中,ρ为坐标原点到直线的距离,θ为直线与u轴夹角;以ρ‑θ为自变量‑因变量,将图像坐标系中每个像素点(u<sub>i</sub>,v<sub>i</sub>)带入公式(6)中分别构成一条曲线,其曲线交点为(ρ,θ),则可得出空间直线的参数为:<maths num="0006"><math><![CDATA[<mrow><mtable><mtr><mtd><mrow><mi>k</mi><mo>=</mo><mo>-</mo><mi>cot</mi><mi>&theta;</mi></mrow></mtd></mtr><mtr><mtd><mrow><mi>b</mi><mo>=</mo><mi>&rho;</mi><mo>/</mo><mi>s</mi><mi>i</mi><mi>n</mi><mi>&theta;</mi></mrow></mtd></mtr></mtable><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000973452360000031.GIF" wi="357" he="151" /></maths>进而可得到四个正三角形边的方程;2)计算正三角形顶点及切点的图像坐标联立正三角形边的方程,其交点为正三角形的三个顶点,分别记为<img file="FDA0000973452360000032.GIF" wi="646" he="71" />采用椭圆拟合法拟合内切圆的椭圆方程,将所提取的边缘信息按照椭圆的一般式方程,利用最小二乘法进行拟合:s.t. min|F(u<sub>i</sub>,v<sub>i</sub>)|<sup>2</sup>F(u<sub>i</sub>,v<sub>i</sub>)=au<sub>i</sub><sup>2</sup>+bu<sub>i</sub>v<sub>i</sub>+cv<sub>i</sub><sup>2</sup>+du<sub>i</sub>+ev<sub>i</sub>+f  (8)i=1,2,3...n其中,各点图像坐标为(u<sub>i</sub>,v<sub>i</sub>),n为图像像素点总数目,a、b、c、d、e、f为椭圆的一般式方程参数,联立椭圆方程和正三角形边的直线方程,其交点为正三角形与内切圆的切点也为正三角形的垂足记为<img file="FDA0000973452360000033.GIF" wi="587" he="71" />3)建立消失点方程连接正三角形顶点<img file="FDA0000973452360000034.GIF" wi="72" he="79" />与其对应边的切点<img file="FDA0000973452360000035.GIF" wi="59" he="87" />构成正三角形垂线<img file="FDA0000973452360000036.GIF" wi="83" he="79" />(i=1,2,3,4 j=1,2,3),其中i为正三角形个数,j为正三角形左、右与底边,垂线<img file="FDA0000973452360000037.GIF" wi="82" he="85" />与对应正三角形边<img file="FDA0000973452360000038.GIF" wi="75" he="83" />构成一组正交线段,根据靶标四个正三角形对应边或垂线相互重合或平行,因而正三角的垂线与对应边构成三组正交平行线段,根据射影原理,平行线段相交于消失点,每组正交平行线段构成一组消失点p<sub>i</sub>,q<sub>i</sub>,与摄像机内参数可构成消失点方程:p<sub>i</sub><sup>T</sup>K<sup>‑T</sup>K<sup>‑1</sup>q<sub>i</sub>=0(i=1,2,3)  (9)其中,K<sup>‑T</sup>为摄像机内参数矩阵K转置的逆矩阵,K<sup>‑1</sup>为摄像机内参数矩阵K的逆矩阵;p<sub>i</sub><sup>T</sup>为消失点p<sub>i</sub>坐标向量的转置,q<sub>i</sub>为消失点q<sub>i</sub>坐标向量;第三步摄像机内参数矩阵求解对于摄像机模型,其内参数矩阵K为:<maths num="0007"><math><![CDATA[<mrow><mi>K</mi><mo>=</mo><mfenced open = "[" close = "]"><mtable><mtr><mtd><msub><mi>&alpha;</mi><mi>u</mi></msub></mtd><mtd><mi>s</mi></mtd><mtd><msub><mi>u</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>&alpha;</mi><mi>v</mi></msub></mtd><mtd><msub><mi>v</mi><mn>0</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000973452360000041.GIF" wi="550" he="255" /></maths>其中,α<sub>u</sub>、α<sub>v</sub>为u、v方向的像素量纲,u<sub>0</sub>、v<sub>0</sub>为主点在u、v方向的像素值,内参数矩阵K具有五个未知数,联立两个单应性矩阵方程,三个消失点方程,即通过公式(5)和公式(9)建立五个方程,根据公式(10)可求得摄像机内参数矩阵K。
地址 116024 辽宁省大连市甘井子区凌工路2号