发明名称 基于球形投影模型的纯旋转摄像机自标定方法
摘要 一种基于球形投影模型的纯旋转摄像机自标定方法。针对针孔摄像机内参数的标定任务,本发明提出了一种新颖的基于球形投影模型的纯旋转自标定方法。首先构造了针孔摄像机的球形投影模型,之后分析了空间静止点对应的球面投影点之间的距离在摄像机纯旋转时不变;然后根据该性质构造了内参数的约束方程组;进而以非线性最小二乘算法求解该方程组。相比现有方法,本发明利用两幅图像上对应的点特征即可得到内参数,因而无需复杂的矩阵数值运算,并且仅需两幅图像上的4个匹配点即可完成对摄像机4个内参数的标定,且均适用于在线与离线标定。仿真与实验结果表明,本发明简单实用并且标定精度高,且对图像噪声与平移噪声具有很好的鲁棒性。
申请公布号 CN102855620A 申请公布日期 2013.01.02
申请号 CN201210243420.3 申请日期 2012.07.13
申请人 南开大学 发明人 方勇纯;李宝全;张雪波;刘开征
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 天津佳盟知识产权代理有限公司 12002 代理人 侯力
主权项 1.一种基于球形投影模型的纯旋转摄像机自标定方法,其特征在于该方法包括:第1,构造针孔摄像机的球形投影模型定义P<sub>i</sub>,P<sub>j</sub>分别表示第i,j个空间点;像素坐标系的横坐标轴与纵坐标轴分别以u,v表示;以<img file="FDA00001886900700011.GIF" wi="46" he="51" />表示摄像机坐标系,其中<img file="FDA00001886900700012.GIF" wi="47" he="51" />的原点在摄像机光心位置,<img file="FDA00001886900700013.GIF" wi="47" he="51" />的z轴与摄像机光轴重合,x轴方向与u轴方向相同,y轴方向与v轴方向相同;f为摄像机焦距,f的单位为米;cp<sub>i</sub>,cp<sub>j</sub>表示点P<sub>i</sub>,P<sub>j</sub>对应的图像像素点在<img file="FDA00001886900700014.GIF" wi="47" he="51" />下的位置;<img file="FDA00001886900700015.GIF" wi="153" he="54" />表示以<img file="FDA00001886900700016.GIF" wi="47" he="51" />的原点为球心的单位虚拟球面;s<sub>i</sub>,s<sub>j</sub>分别为cp<sub>i</sub>,cp<sub>j</sub>对应在<img file="FDA00001886900700017.GIF" wi="153" he="56" />上的投影点,称其为球面投影点;对于作纯旋转运动的摄像机,<img file="FDA00001886900700018.GIF" wi="46" he="52" />与<img file="FDA00001886900700019.GIF" wi="57" he="52" />分别表示摄像机在参考位姿处与经过纯旋转运动后的坐标系;s<sub>i</sub>,s<sub>j</sub>与s<sub>i</sub>′,s<sub>j</sub>′分别表示点P<sub>i</sub>,P<sub>j</sub>在<img file="FDA000018869007000110.GIF" wi="46" he="52" />与<img file="FDA000018869007000111.GIF" wi="57" he="52" />下的球面投影点;关于s<sub>i</sub>,s<sub>j</sub>与s<sub>i</sub>′,s<sub>j</sub>′有定理1所述性质:定理1:球面投影点之间向量的模长在摄像机作纯旋转运动时不变,如式(1)所示:||s<sub>i</sub>-s<sub>j</sub>||<sub>2</sub>=||s<sub>i</sub>′-s<sub>j</sub>′||<sub>2</sub>    (1)定理1呈现了球面投影点在纯旋转摄像机下的性质,根据通用的摄像机的针孔成像模型,其内参数包括f<sub>x</sub>,f<sub>y</sub>,u<sub>0</sub>,v<sub>0</sub>;其中f<sub>x</sub>,f<sub>y</sub>分别为焦距对应于u,v方向的像素块个数,即f<sub>x</sub>=f/d<sub>x</sub>,f<sub>y</sub>=f/d<sub>y</sub>;其中d<sub>x</sub>,d<sub>y</sub>分别为单个像素块在u,v方向的长度,单位为米;(u<sub>0</sub>,v<sub>0</sub>)为图像主点坐标;因此,本发明的目的为根据空间特征点并利用定理1,对纯旋转运动下的摄像机作内参数自标定;第2,纯旋转运动下的摄像机内参数自标定第2.1,构造约束方程组首先,推导并构造了含有摄像机内参数的约束方程为:<maths num="0001"><![CDATA[<math><mrow><mfrac><mrow><msub><mi>a</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></mrow><mrow><msqrt><msub><mi>b</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt><msqrt><msub><mi>c</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt></mrow></mfrac><mo>=</mo><mfrac><mrow><msub><mi>l</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></mrow><mrow><msqrt><msub><mi>m</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt><msqrt><msub><mi>n</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow></math>]]></maths>其中<maths num="0002"><![CDATA[<math><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>a</mi><mi>ij</mi></msub><mo>=</mo><mrow><mo>(</mo><msub><mi>u</mi><mi>i</mi></msub><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mrow><mo>(</mo><msub><mi>u</mi><mi>j</mi></msub><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><msub><mi>v</mi><mi>i</mi></msub><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><mrow><mo>(</mo><msub><mi>v</mi><mi>j</mi></msub><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><msup><mi>&gamma;</mi><mn>2</mn></msup></mtd></mtr><mtr><mtd><msub><mi>b</mi><mi>ij</mi></msub><mo>=</mo><msup><mrow><mo>(</mo><msub><mi>u</mi><mi>i</mi></msub><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msub><mi>v</mi><mi>i</mi></msub><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><msup><mi>&gamma;</mi><mn>2</mn></msup><mo>;</mo></mtd></mtr><mtr><mtd><msub><mi>c</mi><mi>ij</mi></msub><mo>=</mo><msup><mrow><mo>(</mo><msub><mi>u</mi><mi>j</mi></msub><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msub><mi>v</mi><mi>j</mi></msub><mo>+</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><msup><mi>&gamma;</mi><mn>2</mn></msup></mtd></mtr><mtr><mtd><msub><mi>l</mi><mi>ij</mi></msub><mo>=</mo><mrow><mo>(</mo><msup><msub><mi>u</mi><mi>i</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mrow><mo>(</mo><msup><msub><mi>u</mi><mi>j</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><msup><msub><mi>v</mi><mi>i</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><mrow><mo>(</mo><msup><msub><mi>v</mi><mi>j</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><msup><mi>&gamma;</mi><mn>2</mn></msup></mtd></mtr><mtr><mtd><msub><mi>m</mi><mi>ij</mi></msub><mo>=</mo><msup><mrow><mo>(</mo><msup><msub><mi>u</mi><mi>i</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msup><msub><mi>v</mi><mi>i</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><msup><mi>&gamma;</mi><mn>2</mn></msup><mo>;</mo></mtd></mtr><mtr><mtd><mrow><msup><mrow><msup><mrow><msub><mi>n</mi><mi>ij</mi></msub><mo>=</mo><mrow><mo>(</mo><msup><msub><mi>u</mi><mi>j</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>u</mi><mn>0</mn></msub><mo>)</mo></mrow></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><msup><msub><mi>v</mi><mi>j</mi></msub><mo>&prime;</mo></msup><mo>-</mo><msub><mi>v</mi><mn>0</mn></msub><mo>)</mo></mrow><mn>2</mn></msup><mi>&gamma;</mi></mrow><mn>2</mn></msup></mrow></mtd></mtr></mtable></mfenced></math>]]></maths>其中定义了像素块在v方向与u方向的长度比<img file="FDA000018869007000114.GIF" wi="486" he="68" />(u<sub>i</sub>,v<sub>i</sub>),(u<sub>j</sub>,v<sub>j</sub>)分别为点P<sub>i</sub>与P<sub>j</sub>对应的图像像素坐标,(u<sub>i</sub>′,v<sub>i</sub>′),(u<sub>j</sub>′,v<sub>j</sub>′)分别为点P<sub>i</sub>与P<sub>j</sub>经过摄像机纯旋转之后对应的图像像素坐标;然后利用4个空间点能够得到6个公式(9)形式的约束方程,构成约束方程组,其中设定任意两空间点与摄像机光心不共线;第2.2,利用非线性最小二乘算法对约束方程组进行求解采用Levenberg-Marquardt(LM)非线性最小二乘方法进行数值最优化求解;利用至少4个空间点最小化如下的目标函数J<sub>whole</sub>(·),得到u<sub>0</sub>,v<sub>0</sub>,f<sub>x</sub>,γ的解:<maths num="0003"><![CDATA[<math><mrow><msub><mi>J</mi><mi>whole</mi></msub><mrow><mo>(</mo><msub><mi>u</mi><mn>0</mn></msub><mo>,</mo><msub><mi>v</mi><mn>0</mn></msub><mo>,</mo><msub><mi>f</mi><mi>x</mi></msub><mo>,</mo><mi>&gamma;</mi><mo>)</mo></mrow><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>n</mi><mo>-</mo><mn>1</mn></mrow></munderover><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mi>i</mi><mo>+</mo><mn>1</mn></mrow><mi>n</mi></munderover><msup><mrow><mo>(</mo><mfrac><mrow><msub><mi>a</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></mrow><mrow><msqrt><msub><mi>b</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt><msqrt><msub><mi>c</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt></mrow></mfrac><mo>-</mo><mfrac><mrow><msub><mi>l</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></mrow><mrow><msqrt><msub><mi>m</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt><msqrt><msub><mi>n</mi><mi>ij</mi></msub><mo>+</mo><msup><msub><mi>f</mi><mi>x</mi></msub><mn>2</mn></msup></msqrt></mrow></mfrac><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>20</mn><mo>)</mo></mrow></mrow></math>]]></maths>最后利用f<sub>y</sub>=f<sub>x</sub>/γ得到f<sub>y</sub>,进而完成纯旋转运动下的摄像机内参数自标定。
地址 300071 天津市南开区卫津路94号