发明名称 基于激光测距与摄像机视觉融合的高精度位姿解算方法
摘要 本发明公开了一种基于激光测距与摄像机视觉融合的高精度位姿解算方法,包括:S1、进行基于合作目标的NLSM的摄像机视觉位姿测量算法线性建模;S2、进行基于多点激光测距仪的线性建模;S3、进行基于激光测距与摄像机的融合线性建模。综合利用了激光测距高精度的测距信息与摄像机高精度的角分辨率信息,有效提高了目标的位置姿态测量精度,且解决了融合了基于合作目标的激光测距与摄像机视觉的位置姿态测量算法的问题。
申请公布号 CN104111071A 申请公布日期 2014.10.22
申请号 CN201410328295.5 申请日期 2014.07.10
申请人 上海宇航系统工程研究所 发明人 黄建明;魏祥泉;陈凤;刘玉;刘鲁江
分类号 G01C21/00(2006.01)I;G01C11/00(2006.01)I 主分类号 G01C21/00(2006.01)I
代理机构 上海汉声知识产权代理有限公司 31236 代理人 胡晶
主权项 一种基于激光测距与摄像机视觉融合的高精度位姿解算方法,其特征在于,包括以下步骤:S1、进行基于合作目标的NLSM的摄像机视觉位姿测量算法线性建模,摄像机的成像模型:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>u</mi><mi>i</mi></msub><mo>=</mo><mi>f</mi><mfrac><msub><mi>z</mi><mi>ci</mi></msub><msub><mi>x</mi><mi>ci</mi></msub></mfrac></mtd></mtr><mtr><mtd><msub><mi>v</mi><mi>i</mi></msub><mo>=</mo><mi>f</mi><mfrac><msub><mi>y</mi><mi>ci</mi></msub><msub><mi>x</mi><mi>ci</mi></msub></mfrac></mtd></mtr></mtable></mfenced><mi>i</mi><mo>=</mo><mn>1,2,3</mn></mrow>]]></math><img file="FDA0000535868310000011.GIF" wi="412" he="300" /></maths>其中,(u<sub>i</sub>,v<sub>i</sub>)为第i个合作目标在摄像机平面坐标系中的坐标,(x<sub>ci</sub>,y<sub>ci</sub>,z<sub>ci</sub>)为对应的合作目标在像空间坐标系中的坐标,像空间坐标系与目标坐标系的坐标转换为:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>x</mi><mi>ci</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>ci</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>ci</mi></msub></mtd></mtr></mtable></mfenced><mo>=</mo><msub><mi>M</mi><mi>ct</mi></msub><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>x</mi><mi>ti</mi></msub></mtd></mtr><mtr><mtd><msub><mi>x</mi><mi>ti</mi></msub></mtd></mtr><mtr><mtd><msub><mi>x</mi><mi>ti</mi></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>t</mi><mi>xc</mi></msub></mtd></mtr><mtr><mtd><msub><mi>t</mi><mi>yc</mi></msub></mtd></mtr><mtr><mtd><msub><mi>t</mi><mi>zc</mi></msub></mtd></mtr></mtable></mfenced><mo>,</mo><mi>i</mi><mo>=</mo><mn>1,2,3</mn></mrow>]]></math><img file="FDA0000535868310000012.GIF" wi="707" he="232" /></maths>其中,(x<sub>ti</sub>,y<sub>ti</sub>,z<sub>ti</sub>)为合作目标在目标坐标系中的坐标,(t<sub>xc</sub>,t<sub>yc</sub>,t<sub>zc</sub>)为目标坐标系原点在像空间坐标系中的坐标,M<sub>ct</sub>为目标坐标系到像空间坐标系的转换矩阵,(θ<sub>1</sub>,θ<sub>2</sub>,θ<sub>3</sub>)为相应的旋转角,M<sub>ct</sub>表示为:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msub><mi>M</mi><mi>ct</mi></msub><mo>=</mo><mfenced open='[' close=']'><mtable><mtr><mtd><mi>cos</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>cos</mi><msub><mi>&theta;</mi><mn>3</mn></msub><mo>-</mo><mi>sin</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>3</mn></msub></mtd><mtd><mi>cos</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>3</mn></msub><mo>+</mo><mi>sin</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>cos</mi><msub><msub><mi>&theta;</mi></msub><mn>3</mn></msub></mtd><mtd><mo>-</mo><mi>cos</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>2</mn></msub></mtd></mtr><mtr><mtd><mo>-</mo><mi>cos</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>3</mn></msub></mtd><mtd><mi>cos</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>cos</mi><msub><mi>&theta;</mi><mn>3</mn></msub></mtd><mtd><mi>sin</mi><msub><mi>&theta;</mi><mn>1</mn></msub></mtd></mtr><mtr><mtd><mi>sin</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>cos</mi><msub><mi>&theta;</mi><mn>3</mn></msub><mo>+</mo><mi>cos</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>3</mn></msub></mtd><mtd><mi>sin</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>sin</mi><msub><mi>&theta;</mi><mn>3</mn></msub><mo>-</mo><mi>sin</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>cos</mi><msub><mi>&theta;</mi><mn>2</mn></msub><mi>cos</mi><msub><mi>&theta;</mi><mn>3</mn></msub></mtd><mtd><mi>cos</mi><msub><mi>&theta;</mi><mn>1</mn></msub><mi>cos</mi><msub><mi>&theta;</mi><mn>2</mn></msub></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000535868310000013.GIF" wi="1716" he="225" /></maths>令<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>F</mi><mrow><mn>2</mn><mi>i</mi><mo>-</mo><mn>1</mn></mrow></msub><mrow><mo>(</mo><mi>&chi;</mi><mo>)</mo></mrow><mo>=</mo><mi>f</mi><mfrac><msub><mi>z</mi><mi>ci</mi></msub><msub><mi>x</mi><mi>ci</mi></msub></mfrac></mtd></mtr><mtr><mtd><msub><mi>F</mi><mrow><mn>2</mn><mi>i</mi></mrow></msub><mrow><mo>(</mo><mi>&chi;</mi><mo>)</mo></mrow><mo>=</mo><mi>f</mi><mfrac><msub><mi>y</mi><mi>ci</mi></msub><msub><mi>x</mi><mi>ci</mi></msub></mfrac></mtd></mtr></mtable></mfenced><mi>i</mi><mo>=</mo><mn>1,2,3</mn></mrow>]]></math><img file="FDA0000535868310000014.GIF" wi="521" he="297" /></maths>其中,χ=(t<sub>xc</sub>,t<sub>yc</sub>,t<sub>zc</sub>,θ<sub>1</sub>,θ<sub>2</sub>,θ<sub>3</sub>),根据NLSM原理,得到:minV<sup>T</sup>V=min(Bε‑L)<sup>T</sup>(Bε‑L)其中,χ<sup>0</sup>为χ的初值估计,ε为χ<sup>0</sup>的改正值,符号“T”表示矩阵转置,矩阵B为函数F(χ)的一阶偏导数,表示为:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mi>B</mi><mo>=</mo><mfrac><mrow><mo>&PartialD;</mo><mi>F</mi></mrow><mrow><mo>&PartialD;</mo><mi>&chi;</mi></mrow></mfrac><msub><mo>|</mo><msup><mi>&chi;</mi><mn>0</mn></msup></msub></mrow>]]></math><img file="FDA0000535868310000015.GIF" wi="204" he="165" /></maths>矩阵L中的元素l<sub>i</sub>表示为:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>l</mi><mrow><mn>2</mn><mi>i</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>u</mi><mi>i</mi></msub><mo>-</mo><msub><mi>F</mi><mrow><mn>2</mn><mi>i</mi><mo>-</mo><mn>1</mn></mrow></msub><mrow><mo>(</mo><msup><mi>&chi;</mi><mn>0</mn></msup><mo>)</mo></mrow></mtd></mtr><mtr><mtd><msub><mi>l</mi><mrow><mn>2</mn><mi>i</mi></mrow></msub><mo>=</mo><msub><mi>v</mi><mi>i</mi></msub><mo>-</mo><msub><mi>F</mi><mrow><mn>2</mn><mi>i</mi></mrow></msub><mrow><mo>(</mo><msup><mi>&chi;</mi><mn>0</mn></msup><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mi>i</mi><mo>=</mo><mn>1,2,3</mn></mrow>]]></math><img file="FDA0000535868310000021.GIF" wi="614" he="200" /></maths>S2、进行基于多点激光测距仪的线性建模:激光测距仪的安装位置P点在像空间坐标系中的坐标为(x<sub>pc</sub>,y<sub>pc</sub>,z<sub>pc</sub>),P与合作目标之间的激光测距距离为D<sub>i</sub>,i=1,2,3;<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><msub><mi>D</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>&chi;</mi><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><msub><mi>x</mi><mi>cp</mi></msub><mo>-</mo><msub><mi>x</mi><mi>ci</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msub><mi>y</mi><mi>cp</mi></msub><mo>-</mo><msub><mi>y</mi><mi>ci</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msub><mi>z</mi><mi>cp</mi></msub><mo>-</mo><msub><mi>z</mi><mi>ci</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><msubsup><mi>d</mi><mi>i</mi><mn>2</mn></msubsup><mo>,</mo><mi>i</mi><mo>=</mo><mn>1,2,3</mn></mrow>]]></math><img file="FDA0000535868310000026.GIF" wi="1303" he="102" /></maths>对其进行线性化,得到:<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><msub><mi>D</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>&chi;</mi><mo>)</mo></mrow><mo>=</mo><msub><mi>D</mi><mi>i</mi></msub><mrow><mo>(</mo><msup><mi>&chi;</mi><mn>0</mn></msup><mo>)</mo></mrow><mo>+</mo><mfrac><mrow><mo>&PartialD;</mo><msub><mi>D</mi><mi>i</mi></msub></mrow><mrow><mo>&PartialD;</mo><mi>&chi;</mi></mrow></mfrac><mi>&epsiv;</mi><mo>,</mo><mi>i</mi><mo>=</mo><mn>1,2,3</mn></mrow>]]></math><img file="FDA0000535868310000022.GIF" wi="719" he="157" /></maths>改写为矩阵形式,则有:D(χ)=D(χ<sup>0</sup>)+Cε其中,C为条件方程D(χ)的一阶偏导数,为:<maths num="0009" id="cmaths0009"><math><![CDATA[<mrow><mi>C</mi><mo>=</mo><mfrac><mrow><mo>&PartialD;</mo><mi>D</mi></mrow><mrow><mo>&PartialD;</mo><mi>&chi;</mi></mrow></mfrac><msub><mo>|</mo><msup><mi>&chi;</mi><mn>0</mn></msup></msub></mrow>]]></math><img file="FDA0000535868310000023.GIF" wi="225" he="172" /></maths>S3、进行基于激光测距与摄像机的融合线性建模:将激光测距作为摄像机视觉测量算法的强制性约束条件,则有:D(χ<sup>0</sup>)+Cε=0相应的目标函数为:<maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><mi>min</mi><mo>[</mo><msup><mrow><mo>(</mo><munder><mi>B</mi><mn>6,6</mn></munder><munder><mi>&epsiv;</mi><mn>6,1</mn></munder><mo>-</mo><munder><mi>l</mi><mn>6,1</mn></munder><mo>)</mo></mrow><mi>T</mi></msup><mo>(</mo><munder><mi>B</mi><mn>6,6</mn></munder><munder><mi>&epsiv;</mi><mn>6,1</mn></munder><mo>-</mo><munder><mi>l</mi><mn>6,1</mn></munder><mo>)</mo><mo>+</mo><mn>2</mn><msup><mrow><mo>(</mo><munder><mi>D</mi><mn>3,1</mn></munder><mo>+</mo><munder><mi>C</mi><mn>3,6</mn></munder><munder><mi>&epsiv;</mi><mn>6,1</mn></munder><mo>)</mo></mrow><mi>T</mi></msup><munder><mi>&lambda;</mi><mn>3,1</mn></munder><mo>]</mo></mrow>]]></math><img file="FDA0000535868310000024.GIF" wi="954" he="157" /></maths>对相应的λ进行求解:λ=[C(B<sup>T</sup>B)<sup>‑1</sup>C<sup>T</sup>]<sup>‑1</sup>[D+C(B<sup>T</sup>B)<sup>‑1</sup>(B<sup>T</sup>L)]对相应的ε进行求解:ε=(B<sup>T</sup>B)<sup>‑1</sup>(B<sup>T</sup>L‑C<sup>T</sup>λ)相应的位置姿态参数χ表示为:χ<sup>(k+1)</sup>=χ<sup>(k)</sup>+ε式中,χ<sup>(k)</sup>为第k次的计算结果。
地址 201108 上海市闵行区金都路3805号