发明名称 双目视觉测量系统中摄像机的布局优化方法
摘要 本发明双目视觉测量系统中摄像机的布局优化方法属于计算机视觉检测以及图像检测领域,特别涉及用于获取大型锻件尺寸参数的双目视觉测量系统中摄像机的布局优化方法。在双目视觉测量系统中,考虑图像采样引起的像点提取偏差,本发明建立由像点提取偏差导致的测量误差与摄像机焦距、基线距离、摄像机偏摆角三个结构参数的数学关系模型,即摄像机布局优化数学模型,并利用遗传算法获取最优的结构参数组合。本发明利用遗传算法实现了双目视觉测量系统中摄像机的布局优化设计,使由像点提取误差导致的测量误差达到最小,在未对摄像机进行标定的情况下,即可为摄像机的合理布局提供有效的理论指导与参考,具有优化效果好,应用性强的特点。
申请公布号 CN103630072B 申请公布日期 2016.01.13
申请号 CN201310508264.3 申请日期 2013.10.25
申请人 大连理工大学 发明人 贾振元;刘巍;李明星;杨景豪;刘阳;张驰
分类号 G01B11/00(2006.01)I;G06N3/12(2006.01)I 主分类号 G01B11/00(2006.01)I
代理机构 大连理工大学专利中心 21200 代理人 关慧贞
主权项 一种双目视觉测量系统中摄像机的布局优化方法,在双目视觉测量系统中,考虑图像采样引起的像点提取偏差,建立由像点提取偏差导致的测量误差与摄像机焦距、基线距离、摄像机偏摆角三个结构参数的数学关系模型,即摄像机布局优化数学模型,并利用遗传算法获取最优的结构参数组合,其特征在于,布局优化方法采用的具体步骤如下:步骤1:在双目视觉测量系统中,建立两台摄像机布局优化数学模型;左侧摄像机CCD1和右侧摄像机CCD2以光轴汇聚形式布置,世界坐标系OXYZ的原点O与左侧摄像机的摄像机坐标系O<sub>l</sub>X<sub>l</sub>Y<sub>l</sub>Z<sub>l</sub>的原点O<sub>l</sub>重合;设某一物点P在世界坐标系OXYZ中的坐标为(X<sub>w</sub>,Y<sub>w</sub>,Z<sub>w</sub>),在左侧摄像机的摄像机坐标系O<sub>l</sub>X<sub>l</sub>Y<sub>l</sub>Z<sub>l</sub>和右侧摄像机的摄像机坐标系O<sub>r</sub>X<sub>r</sub>Y<sub>r</sub>Z<sub>r</sub>下的坐标分别为(X<sub>l</sub>,Y<sub>l</sub>,Z<sub>l</sub>)、(X<sub>r</sub>,Y<sub>r</sub>,Z<sub>r</sub>),在左、右侧摄像机CCD1、CCD2像面上像点的图像物理坐标分别为(x<sub>l</sub>,y<sub>l</sub>)和(x<sub>r</sub>,y<sub>r</sub>);物点P在左、右侧摄像机的摄像机坐标系O<sub>l</sub>X<sub>l</sub>Y<sub>l</sub>Z<sub>l</sub>、O<sub>r</sub>X<sub>r</sub>Y<sub>r</sub>Z<sub>r</sub>下的坐标与其像点的图像物理坐标存在以下关系:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msub><mi>x</mi><mi>l</mi></msub><mo>=</mo><mi>f</mi><mfrac><msub><mi>X</mi><mi>l</mi></msub><msub><mi>Z</mi><mi>l</mi></msub></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>y</mi><mi>l</mi></msub><mo>=</mo><mi>f</mi><mfrac><msub><mi>Y</mi><mi>l</mi></msub><msub><mi>Z</mi><mi>l</mi></msub></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>x</mi><mi>r</mi></msub><mo>=</mo><mi>f</mi><mfrac><msub><mi>X</mi><mi>r</mi></msub><msub><mi>Z</mi><mi>r</mi></msub></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>y</mi><mi>r</mi></msub><mo>=</mo><mi>f</mi><mfrac><msub><mi>Y</mi><mi>r</mi></msub><msub><mi>Z</mi><mi>r</mi></msub></mfrac></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000011.GIF" wi="1235" he="687" /></maths>物点P在左、右侧摄像机的摄像机坐标系O<sub>l</sub>X<sub>l</sub>Y<sub>l</sub>Z<sub>l</sub>、O<sub>r</sub>X<sub>r</sub>Y<sub>r</sub>Z<sub>r</sub>下的坐标与其在世界坐标系OXYZ下的坐标存在以下关系:<img file="FDA0000793786520000021.GIF" wi="1223" he="580" />将式(3)与式(2)代入式(1),得到物点P在世界坐标系OXYZ下的坐标与像点的图像物理坐标存在以下关系:<img file="FDA0000793786520000022.GIF" wi="1224" he="727" />联立式(1)~式(5),得到物点P在世界坐标系OXYZ下的坐标(X<sub>w</sub>,Y<sub>w</sub>,Z<sub>w</sub>)如下:<img file="FDA0000793786520000023.GIF" wi="1334" he="523" />其中,设Ψ的表达式如下:<img file="FDA0000793786520000024.GIF" wi="1284" he="173" />考虑采样引起最大像点偏差的情况,假设像素尺寸为δ,则实际获取的左、右摄像机像平面上的像点与理想情况下的像点之间存在的提取偏差为:ε<sub>l</sub>=ε<sub>r</sub>=±0.5δ   (10)实际提取得到的左、右摄像机像平面上的像点物理坐标分别为<img file="FDA0000793786520000031.GIF" wi="199" he="83" /><img file="FDA0000793786520000032.GIF" wi="209" he="85" />其与理想情况下的像点物理坐标(x<sub>l</sub>,y<sub>l</sub>)、(x<sub>r</sub>,y<sub>r</sub>)的关系为:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><msub><mover><mi>x</mi><mo>~</mo></mover><mi>l</mi></msub><mo>=</mo><msub><mi>x</mi><mi>l</mi></msub><mo>+</mo><msub><mi>&epsiv;</mi><mi>l</mi></msub></mrow></mtd></mtr><mtr><mtd><mrow><msub><mover><mi>y</mi><mo>~</mo></mover><mi>l</mi></msub><mo>=</mo><msub><mi>y</mi><mi>l</mi></msub><mo>+</mo><msub><mi>&epsiv;</mi><mi>l</mi></msub></mrow></mtd></mtr><mtr><mtd><mrow><msub><mover><mi>x</mi><mo>~</mo></mover><mi>r</mi></msub><mo>=</mo><msub><mi>x</mi><mi>r</mi></msub><mo>+</mo><msub><mi>&epsiv;</mi><mi>r</mi></msub></mrow></mtd></mtr><mtr><mtd><mrow><msub><mover><mi>y</mi><mo>~</mo></mover><mi>r</mi></msub><mo>=</mo><msub><mi>y</mi><mi>r</mi></msub><mo>+</mo><msub><mi>&epsiv;</mi><mi>r</mi></msub></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000033.GIF" wi="1063" he="362" /></maths>由实际提取得到的像点物理坐标获取物点P在世界坐标系OXYZ下的坐标<img file="FDA0000793786520000034.GIF" wi="299" he="95" />如下:<img file="FDA0000793786520000035.GIF" wi="1375" he="516" />其中,设<img file="FDA0000793786520000036.GIF" wi="59" he="80" />的表达式如下:<img file="FDA0000793786520000037.GIF" wi="1311" he="182" />建立像点提取偏差导致的测量误差Q与结构参数之间的数学关系为:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>Q</mi><mo>=</mo><msqrt><mrow><msup><mrow><mo>(</mo><msub><mover><mi>X</mi><mo>~</mo></mover><mi>w</mi></msub><mo>-</mo><msub><mi>X</mi><mi>w</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mrow><mo>(</mo><msub><mover><mi>Y</mi><mo>~</mo></mover><mi>w</mi></msub><mo>-</mo><msub><mi>Y</mi><mi>w</mi></msub><mo>)</mo></mrow><mo>+</mo><msup><mrow><mo>(</mo><msub><mover><mi>Z</mi><mo>~</mo></mover><mi>w</mi></msub><mo>-</mo><msub><mi>Z</mi><mi>w</mi></msub><mo>)</mo></mrow><mn>2</mn></msup></mrow></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>16</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000038.GIF" wi="1324" he="119" /></maths>用于获取锻件尺寸的测量空间的尺寸为L×W×H,L代表长度方向(X向)的尺寸,W代表宽度方向(Z向)的尺寸,H代表高度方向(Y向)的尺寸,Y轴正向为垂直纸面向里;在XOZ平面内摄像机光轴与摄像机左、右视场边界线的夹角θ为:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>&theta;</mi><mo>=</mo><mi>arctan</mi><mrow><mo>(</mo><mfrac><mi>&gamma;</mi><mrow><mn>2</mn><mi>f</mi></mrow></mfrac><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>17</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000039.GIF" wi="1036" he="145" /></maths>其中,γ为有效像面尺寸;摄像机的前景深ΔL1为:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mi>&Delta;</mi><mi>L</mi><mn>1</mn><mo>=</mo><mfrac><mrow><mi>F</mi><mo>&CenterDot;</mo><mi>C</mi><mi>o</mi><mi>C</mi><mo>&CenterDot;</mo><msup><mi>d</mi><mn>2</mn></msup></mrow><mrow><msup><mi>f</mi><mn>2</mn></msup><mo>+</mo><mi>F</mi><mo>&CenterDot;</mo><mi>C</mi><mi>o</mi><mi>C</mi><mo>&CenterDot;</mo><mi>d</mi></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>18</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000041.GIF" wi="1139" he="171" /></maths>摄像机的后景深ΔL2为:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mi>&Delta;</mi><mi>L</mi><mn>2</mn><mo>=</mo><mfrac><mrow><mi>F</mi><mo>&CenterDot;</mo><mi>C</mi><mi>o</mi><mi>C</mi><mo>&CenterDot;</mo><msup><mi>d</mi><mn>2</mn></msup></mrow><mrow><msup><mi>f</mi><mn>2</mn></msup><mo>-</mo><mi>F</mi><mo>&CenterDot;</mo><mi>C</mi><mi>o</mi><mi>C</mi><mo>&CenterDot;</mo><mi>d</mi></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>19</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000042.GIF" wi="1149" he="173" /></maths>摄像机的景深ΔL为:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><mi>&Delta;</mi><mi>L</mi><mo>=</mo><mi>&Delta;</mi><mi>L</mi><mn>1</mn><mo>+</mo><mi>&Delta;</mi><mi>L</mi><mn>2</mn><mo>=</mo><mfrac><mrow><mn>2</mn><msup><mi>f</mi><mn>2</mn></msup><mo>&CenterDot;</mo><mi>F</mi><mo>&CenterDot;</mo><mi>C</mi><mi>o</mi><mi>C</mi><mo>&CenterDot;</mo><msup><mi>d</mi><mn>2</mn></msup></mrow><mrow><msup><mi>f</mi><mn>4</mn></msup><mo>-</mo><msup><mi>F</mi><mn>2</mn></msup><mo>&CenterDot;</mo><msup><mi>CoC</mi><mn>2</mn></msup><mo>&CenterDot;</mo><msup><mi>d</mi><mn>2</mn></msup></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>20</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000793786520000043.GIF" wi="1278" he="176" /></maths>其中,F为光圈值,d=|O<sub>l</sub>A|=|O<sub>r</sub>B|为对焦距离,CoC为允许弥散圆直径,通过下式计算:CoC=a/1730   (21)其中,a为有效像面的对角线长度;在XOZ坐标系中,构建各个边界所在直线的方程,直线方程的形式为z=k<sub>0</sub>x+b,其中k<sub>0</sub>为直线的斜率,b为直线的截距;右侧摄像机CCD2景深内边界l1所在直线的方程为:<img file="FDA0000793786520000044.GIF" wi="1214" he="86" />右侧摄像机CCD2景深外边界l2所在直线的方程为:<img file="FDA0000793786520000045.GIF" wi="1227" he="85" />左侧摄像机CCD1景深内边界l3所在直线的方程为:<img file="FDA0000793786520000046.GIF" wi="1220" he="85" />左侧摄像机CCD1景深外边界l4所在直线的方程为:<img file="FDA0000793786520000047.GIF" wi="1231" he="86" />右侧摄像机CCD2视场左边界l5所在直线的方程为:<img file="FDA0000793786520000048.GIF" wi="1231" he="82" />左侧摄像机CCD1视场左边界l6所在直线的方程为:<img file="FDA0000793786520000051.GIF" wi="1215" he="83" />右侧摄像机CCD2视场右边界l7所在直线的方程为:<img file="FDA0000793786520000052.GIF" wi="1222" he="85" />左侧摄像机CCD1视场右边界l8所在直线的方程为:<img file="FDA0000793786520000053.GIF" wi="1222" he="79" />测量空间长度方向上左边界l9(l9')所在直线的方程为:x=D/2‑L/2   (30)测量空间长度方向上右边界l10所在直线的方程为:x=D/2+L/2   (31)测量空间宽度方向尺寸W的表述分为两种情况:|CU|=W或|C'V'|=W,则有W=min{|CU|,|C'V'|};其中,<img file="FDA0000793786520000054.GIF" wi="1566" he="259" />根据实际测量需求确定测量空间的尺寸范围,长度方向(X向)的尺寸L≥L<sub>0</sub>,宽度方向(Z向)的尺寸W≥W<sub>0</sub>,高度方向(Y向)的尺寸H≥H<sub>0</sub>,应满足L=L<sub>0</sub>时对应的测量空间宽度<img file="FDA0000793786520000056.GIF" wi="262" he="84" />;选取位于有效视场中心处L<sub>0</sub>×W<sub>0</sub>×H<sub>0</sub>测量空间内均匀分布的p个位置作为测试点,测试点的布局情况如下:按照沿Z向由近及远的方向划分为等距分布的q个测试平面,测试平面间距为W<sub>0</sub>/(q‑1),每个测试平面为L<sub>0</sub>×H<sub>0</sub>的区域,在各区域上选取r行、s列均布的测试点;摄像机采用变焦镜头,焦距f的调节范围为[f<sub>1</sub>,f<sub>2</sub>];基线距离D的范围为[D<sub>1</sub>,D<sub>2</sub>];摄像机景深ΔL≥W<sub>0</sub>;参照测量系统与锻件之间的距离设置合适的对焦距离d;摄像机偏摆角<img file="FDA0000793786520000055.GIF" wi="45" he="68" />的范围为[0,θ];该双目视觉测量系统的布局优化问题转换为如下带约束的单目标最优化问题:<img file="FDA0000793786520000061.GIF" wi="1136" he="665" />其中,∑Q为p个测试点测量误差的总和;Γ为各测试点测量误差的平均值,其为待优化的目标函数;<img file="FDA0000793786520000062.GIF" wi="411" he="163" />为沿Z方向两台摄像机视场重叠部分的起始位置,其值小于对焦距离d;步骤2:使用遗传算法寻找最优解,即最优的结构参数组合;针对步骤1中获取的带约束的单目标最优化问题,采用遗传算法进行全局寻优;具体过程如下:(1)算法程序编写,包括编写步骤1中所述最优化问题的目标函数和非线性约束的程序文件;(2)优化变量为焦距f、基线距离D和摄像机偏摆角<img file="FDA0000793786520000063.GIF" wi="81" he="63" />各变量的取值范围分别为[f<sub>1</sub>,f<sub>2</sub>]、[D<sub>1</sub>,D<sub>2</sub>]和<img file="FDA0000793786520000064.GIF" wi="198" he="80" />(3)设置种群大小,交叉概率、变异概率及算法终止条件;种群大小选为PopSize,交叉概率选为p<sub>c</sub>,变异概率选为p<sub>m</sub>;算法的终止准则为:迭代次数达到最大迭代次数MaxGen;或者当算法在停滞代数规定的代数ConGen内,适应度函数的加权平均变化小于函数允差FunTol;(4)运行遗传算法的程序,得出最优化问题的最优解,即最优的结构参数组合,使整个测量空间内的测量误差达到最小。
地址 116024 辽宁省大连市凌工路2号