发明名称 使用双球的相离像与圆环点的像标定拋物折反射摄像机
摘要 本发明涉及使用双球的相离像与圆环点的像标定拋物折反射摄像机的方法。用抛物折反射摄像机拍摄双球作为靶标的1幅图像,并且靶标在像平面是相离的。通过该幅折反射图像中球像的虚交点与对拓球像虚交点对应形成的四组虚对拓像点确定摄像机的内参数中的主点;在获得主点的基础上,求解双球在单位视球上的两组平行投影小圆所在平面的消失线,从而确定该平面上圆环点的像,最终利用圆环点的像对摄像机内参数的约束求解其余摄像机内参数。利用本发明的方法可以实现全自动标定,减少了标定过程中由测量引起的误差。由于球的投影轮廓线在图像中可以全部提取,因此提高了摄像机的标定精度。
申请公布号 CN105321181A 申请公布日期 2016.02.10
申请号 CN201510709516.8 申请日期 2015.10.28
申请人 云南大学 发明人 赵越;王亚林
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 代理人
主权项 一种使用双球的相离像与圆环点的像标定拋物折反射摄像机的方法,其特征在于由空间中的双球作为靶标,并且双球在抛物折反射摄像机的像平面的投影是相离的,所述方法的具体步骤包括:首先,用抛物折反射摄像机拍摄1幅含有相离的双球的图像,从该幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点,使用最小二乘法拟合获得镜面轮廓投影和双球的图像;其次,根据双球的像点和其对拓像点的关系获得对拓像点,从而估计双球像的对拓球像,根据球像的交点,与对拓球像的交点,对应形成的四组对拓像点确定主点,球像的交点和对拓球像的交点均为虚点;在获得主点的基础上,求解双球在单位视球上的两组平行投影小圆所在平面的消失线,从而确定该平面上圆环点的像;最后,利用圆环点的像对摄像机内参数的约束求解其余摄像机内参数;(1)拟合镜面轮廓投影方程及靶标投影方程利用Matlab程序中的函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标,并用最小二乘法拟合获得镜面轮廓投影方程和双球像的方程;(2)估计双球像的对拓球像空间中的一个点以单位视球的球心为中心在球面上的投影有两个点,在靠近空间点在球面上的投影点是可见的称为投影点,远离空间点在球面上的投影为不可见称为对拓点,球面上投影两点相对于球心对称;同时在球面上任取一点,将投影点和对拓点投影到一个平面上,对应于投影点在投影平面上的像称为投影点的像,对应于对拓点在投影平面上的像称为对拓点的像,即不可见的像;空间中的双球<img file="33106dest_path_image001.GIF" wi="19" he="25" />与<img file="195097dest_path_image002.GIF" wi="22" he="25" />,并且双球在成像平面是相离的,双球在拋物折反射摄像机的单位球模型下的投影分为两步:第一步,将双球<img file="896074dest_path_image001.GIF" wi="19" he="25" />与<img file="852529dest_path_image002.GIF" wi="22" he="25" />投影为以<img file="202739dest_path_image003.GIF" wi="18" he="20" />为中心的单位视球面上的两组平行小圆<img file="168421dest_path_image004.GIF" wi="52" he="25" />和<img file="726835dest_path_image005.GIF" wi="54" he="25" />,称<img file="493671dest_path_image006.GIF" wi="25" he="25" />为<img file="65598dest_path_image007.GIF" wi="80" he="28" />的对拓圆,下标<img file="507075dest_path_image008.GIF" wi="9" he="18" />表示与球对应的像,+表示单位视球球面上可见投影,‑表示单位视球球面上不可见投影;<img file="117398dest_path_image009.GIF" wi="25" he="25" />与<img file="681234dest_path_image010.GIF" wi="26" he="25" />没有实交点,<img file="176676dest_path_image011.GIF" wi="25" he="25" />与<img file="421843dest_path_image012.GIF" wi="26" he="25" />也没有实交点;第二步,以单位视球表面上的一点<img file="512772dest_path_image013.GIF" wi="21" he="25" />为投影中心,即主点,这里<img file="185192dest_path_image013.GIF" wi="21" he="25" />看作一个摄像机的光心,将这两组平行小圆<img file="731711dest_path_image004.GIF" wi="52" he="25" />和<img file="75843dest_path_image005.GIF" wi="54" he="25" />分别投影为抛物折反射图像平面上的两组二次曲线<img file="525672dest_path_image014.GIF" wi="53" he="25" />和<img file="739966dest_path_image015.GIF" wi="57" he="25" />,其中称可见的二次曲线<img file="836098dest_path_image016.GIF" wi="54" he="25" />为球<img file="485385dest_path_image001.GIF" wi="19" he="25" />与<img file="662157dest_path_image002.GIF" wi="22" he="25" />的像,不可见的二次曲线<img file="738698dest_path_image017.GIF" wi="54" he="25" />为球像<img file="259809dest_path_image016.GIF" wi="54" he="25" />的对拓球像,抛物折反射图像平面与直线<img file="775104dest_path_image018.GIF" wi="33" he="25" />垂直;<img file="933946dest_path_image019.GIF" wi="26" he="25" />与<img file="181388dest_path_image020.GIF" wi="27" he="25" />有两对虚交点;<img file="127478dest_path_image021.GIF" wi="26" he="25" />与<img file="554786dest_path_image022.GIF" wi="27" he="25" />也有两对虚交点;令以<img file="332250dest_path_image013.GIF" wi="21" he="25" />为光心的摄像机的内参数矩阵为<img file="207319dest_path_image023.GIF" wi="138" he="76" />,其中<img file="703022dest_path_image024.GIF" wi="16" he="34" />是纵横比,<img file="232224dest_path_image025.GIF" wi="18" he="33" />是有效焦距,<img file="864193dest_path_image026.GIF" wi="13" he="26" />是倾斜因子,<img file="217552dest_path_image027.GIF" wi="69" he="30" />是摄像机主点<img file="810338dest_path_image028.GIF" wi="17" he="18" />的齐次坐标;利用Matlab中的函数提取该幅图像中的镜面轮廓投影边缘点和靶标图像边缘点的像素坐标,通过最小二乘法拟合得到相应的二次曲线方程,这里用<img file="582379dest_path_image029.GIF" wi="21" he="25" />表示镜面轮廓投影曲线的系数矩阵,<img file="334434dest_path_image016.GIF" wi="54" he="25" />表示该幅图像中的两个球像的系数矩阵,为了简化表述,用相同字母表示曲线和它的系数矩阵;通过<img file="94580dest_path_image029.GIF" wi="21" he="25" />获得摄像机内参数矩阵<img file="797831dest_path_image030.GIF" wi="24" he="25" />的一个初始值<img file="996731dest_path_image031.GIF" wi="24" he="28" />,从而得到绝对二次曲线的像<img file="540976dest_path_image032.GIF" wi="17" he="16" />的初始值<img file="780678dest_path_image033.GIF" wi="17" he="21" />;这里:<img file="410374dest_path_image034.GIF" wi="82" he="26" />,<img file="147385dest_path_image035.GIF" wi="82" he="28" />,<img file="546137dest_path_image036.GIF" wi="138" he="89" />,<img file="284636dest_path_image037.GIF" wi="16" he="25" />是纵横比的初始值,<img file="713212dest_path_image038.GIF" wi="18" he="28" />是有效焦距的初始值,<img file="365167dest_path_image039.GIF" wi="13" he="20" />是倾斜因子的初始值,<img file="884004dest_path_image040.GIF" wi="69" he="30" />是摄像机主点的初始齐次坐标,记<img file="468438dest_path_image041.GIF" wi="96" he="30" />;取<img file="506014dest_path_image042.GIF" wi="25" he="25" />上的一组点<img file="584829dest_path_image043.GIF" wi="220" he="28" />,<img file="20489dest_path_image044.GIF" wi="21" he="25" />表示取的第几个点,上下标<img file="729819dest_path_image008.GIF" wi="9" he="18" />表示哪一个球,则与它相对应的一组对拓像点<img file="116676dest_path_image045.GIF" wi="222" he="28" />由关系式<img file="936864dest_path_image046.GIF" wi="252" he="55" />确定,<img file="289348dest_path_image047.GIF" wi="24" he="28" />,<img file="169580dest_path_image048.GIF" wi="28" he="28" />用齐次坐标表示,‑表示不可见的像;根据对拓像点的定义,点<img file="922028dest_path_image048.GIF" wi="28" he="28" />在球像<img file="280329dest_path_image042.GIF" wi="25" he="25" />的对拓球像<img file="126800dest_path_image049.GIF" wi="25" he="25" />上,因此用最小二乘法拟合得到对拓球像<img file="240249dest_path_image049.GIF" wi="25" he="25" />的初始方程,最后通过最小化函数<img file="40846dest_path_image050.GIF" wi="253" he="49" />获得<img file="202837dest_path_image049.GIF" wi="25" he="25" />的一个估计,其中<img file="970328dest_path_image051.GIF" wi="14" he="20" />是Lagrange乘数因子,<img file="254678dest_path_image052.GIF" wi="254" he="25" />,<img file="604888dest_path_image053.GIF" wi="260" he="25" />,这里<img file="508253dest_path_image054.GIF" wi="234" he="28" />表示矩阵<img file="689836dest_path_image049.GIF" wi="25" he="25" />的第<img file="256340dest_path_image055.GIF" wi="13" he="15" />行第<img file="467747dest_path_image056.GIF" wi="9" he="17" />列元素;(3)确定摄像机的主点空间中的双球<img file="971541dest_path_image001.GIF" wi="19" he="25" />与<img file="273209dest_path_image002.GIF" wi="22" he="25" />的相离的像<img file="509150dest_path_image019.GIF" wi="26" he="25" />和<img file="896269dest_path_image057.GIF" wi="28" he="25" />有两对虚交点<img file="699359dest_path_image058.GIF" wi="22" he="24" />,对拓球像<img file="589954dest_path_image021.GIF" wi="26" he="25" />和<img file="262375dest_path_image059.GIF" wi="28" he="25" />也有两对虚交点<img file="182796dest_path_image060.GIF" wi="22" he="24" />,其中<img file="293971dest_path_image061.GIF" wi="73" he="22" />;根据步骤(2)对拓像点的定义,<img file="242335dest_path_image062.GIF" wi="61" he="28" />互为虚对拓,+表示虚像点,‑表示虚对拓像点,并且看作互为虚对拓点<img file="649439dest_path_image063.GIF" wi="66" he="28" />的像,其中<img file="620938dest_path_image061.GIF" wi="73" he="22" />;根据对拓点的定义,虚线段<img file="270225dest_path_image064.GIF" wi="45" he="25" />过单位视球的球心<img file="571631dest_path_image003.GIF" wi="18" he="20" />,再由投影变换的结合性和主点的定义知,虚线段<img file="648171dest_path_image065.GIF" wi="40" he="25" />过摄像机的主点<img file="231599dest_path_image028.GIF" wi="17" he="18" />,于是通过求四条虚线段<img file="418998dest_path_image065.GIF" wi="40" he="25" />的交点确定摄像机的主点<img file="341955dest_path_image028.GIF" wi="17" he="18" />,其中<img file="22685dest_path_image061.GIF" wi="73" he="22" />;通过上面的分析,使用靶标的1幅图像确定摄像机的主点<img file="93409dest_path_image028.GIF" wi="17" he="18" />的坐标,即求出<img file="22182dest_path_image066.GIF" wi="37" he="25" />为摄像机的2个参数;(4) 确定圆环点的像在球<img file="298181dest_path_image067.GIF" wi="20" he="25" />的投影小圆<img file="968721dest_path_image009.GIF" wi="25" he="25" />上取两个互异的点<img file="136528dest_path_image068.GIF" wi="30" he="25" />和<img file="429844dest_path_image069.GIF" wi="32" he="25" />,用<img file="999497dest_path_image070.GIF" wi="30" he="25" />和<img file="588741dest_path_image071.GIF" wi="32" he="25" />分别表示<img file="634057dest_path_image068.GIF" wi="30" he="25" />和<img file="400238dest_path_image069.GIF" wi="32" he="25" />的对拓点,则点<img file="824398dest_path_image070.GIF" wi="30" he="25" />和<img file="912439dest_path_image071.GIF" wi="32" he="25" />在<img file="615691dest_path_image009.GIF" wi="25" he="25" />的对拓圆<img file="752274dest_path_image011.GIF" wi="25" he="25" />上,下标第一位表示第1个球,下标第二位表示取的第几个点;直线<img file="93257dest_path_image072.GIF" wi="24" he="25" />为小圆<img file="289883dest_path_image009.GIF" wi="25" he="25" />在点<img file="483360dest_path_image073.GIF" wi="29" he="25" />处的切线,直线<img file="220372dest_path_image074.GIF" wi="24" he="25" />为小圆<img file="681440dest_path_image011.GIF" wi="25" he="25" />在点<img file="48968dest_path_image075.GIF" wi="29" he="25" />处的切线,其中下标<img file="107839dest_path_image076.GIF" wi="46" he="22" />;根据对拓点的定义和圆的几何性质,有<img file="648541dest_path_image077.GIF" wi="60" he="25" />,于是<img file="229695dest_path_image072.GIF" wi="24" he="25" />和<img file="502545dest_path_image074.GIF" wi="24" he="25" />具有相同的无穷远点,这里用<img file="605368dest_path_image078.GIF" wi="33" he="25" />表示<img file="684182dest_path_image072.GIF" wi="24" he="25" />上的无穷远点,其中下标<img file="119843dest_path_image076.GIF" wi="46" he="22" />;通过<img file="563594dest_path_image072.GIF" wi="24" he="25" />和<img file="213100dest_path_image074.GIF" wi="24" he="25" />确定小圆<img file="95605dest_path_image009.GIF" wi="25" he="25" />所在平面上的两个无穷远点,确定该平面上的无穷远直线,这里用<img file="323456dest_path_image079.GIF" wi="21" he="25" />表示该平面上的无穷远直线,其中下标<img file="266004dest_path_image076.GIF" wi="46" he="22" />;根据圆环点的定义,<img file="641621dest_path_image079.GIF" wi="21" he="25" />与小圆<img file="498457dest_path_image009.GIF" wi="25" he="25" />及小圆<img file="908709dest_path_image011.GIF" wi="25" he="25" />的交点相同,均为该平面上的圆环点<img file="694263dest_path_image080.GIF" wi="37" he="25" />;用<img file="557177dest_path_image081.GIF" wi="113" he="25" />分别表示<img file="220633dest_path_image082.GIF" wi="128" he="25" />的像,则<img file="485392dest_path_image083.GIF" wi="66" he="28" />为两对对拓像点,下标<img file="707426dest_path_image076.GIF" wi="46" he="22" />;记球像<img file="57636dest_path_image019.GIF" wi="26" he="25" />在点<img file="193957dest_path_image084.GIF" wi="25" he="25" />处的切线为<img file="313222dest_path_image085.GIF" wi="24" he="28" />,它的对拓球像<img file="706158dest_path_image021.GIF" wi="26" he="25" />在点<img file="39269dest_path_image086.GIF" wi="25" he="25" />处的切线为<img file="480746dest_path_image087.GIF" wi="24" he="28" />,则根据射影变换的性质,直线<img file="454518dest_path_image085.GIF" wi="24" he="28" />为直线<img file="80671dest_path_image072.GIF" wi="24" he="25" />的像,直线<img file="904009dest_path_image087.GIF" wi="24" he="28" />为直线<img file="945914dest_path_image074.GIF" wi="24" he="25" />的像,于是通过直线<img file="39772dest_path_image085.GIF" wi="24" he="28" />和直线<img file="836827dest_path_image087.GIF" wi="24" he="28" />确定小圆<img file="822494dest_path_image009.GIF" wi="25" he="25" />所在平面上的两个消失点<img file="933669dest_path_image088.GIF" wi="21" he="25" />,即<img file="882034dest_path_image078.GIF" wi="33" he="25" />的像,从而确定该平面的消失线<img file="849990dest_path_image089.GIF" wi="14" he="28" />,即<img file="883805dest_path_image079.GIF" wi="21" he="25" />的像,其中下标<img file="766048dest_path_image076.GIF" wi="46" he="22" />;最后,求直线<img file="896815dest_path_image089.GIF" wi="14" he="28" />与球像<img file="973355dest_path_image019.GIF" wi="26" he="25" />的交点得到一对共轭虚点,同时求直线<img file="494466dest_path_image089.GIF" wi="14" he="28" />与球像<img file="681865dest_path_image019.GIF" wi="26" he="25" />的对拓球像<img file="667139dest_path_image021.GIF" wi="26" he="25" />的交点也得到一对共轭虚点;根据射影理论,这两对共轭虚点相同,均为小圆<img file="347869dest_path_image009.GIF" wi="25" he="25" />所在平面上的圆环点的像,但是由于噪声影响,这里通过求对应点坐标的平均值作为最终结果,从而获得该平面上的圆环点的像<img file="356276dest_path_image090.GIF" wi="57" he="25" />;对于小圆<img file="409683dest_path_image010.GIF" wi="26" he="25" />所在平面上的圆环点的像<img file="187146dest_path_image091.GIF" wi="61" he="24" />也获得;下标<img file="104024dest_path_image092.GIF" wi="32" he="22" />表示对应于圆环点<img file="396465dest_path_image093.GIF" wi="33" he="22" />;(5)求解抛物折反射摄像机的其余内参数由于已经获得了摄像机的主点,因此只需求解摄像机其余的三个内参数;使用抛物折反射摄像机拍摄靶标的1幅图像;首先,通过一个平移变换矩阵<img file="128929dest_path_image094.GIF" wi="20" he="26" />将图像坐标系的坐标原点平移到主点<img file="823216dest_path_image028.GIF" wi="17" he="18" />形成新的坐标系,其中<img file="412460dest_path_image095.GIF" wi="117" he="76" />;在新坐标系下内参数矩阵<img file="834607dest_path_image030.GIF" wi="24" he="25" />简化为<img file="167500dest_path_image096.GIF" wi="73" he="26" />,这里<img file="716293dest_path_image097.GIF" wi="132" he="76" />;于是,<img file="178236dest_path_image032.GIF" wi="17" he="24" />简化为<img file="382952dest_path_image098.GIF" wi="238" he="76" />,<img file="253956dest_path_image099.GIF" wi="16" he="21" />表示等价于,此时<img file="317244dest_path_image100.GIF" wi="21" he="20" />仅有3个自由度;在新坐标系下小圆<img file="576187dest_path_image101.GIF" wi="26" he="25" />所在平面上的一对圆环点的像<img file="877987dest_path_image102.GIF" wi="57" he="25" />变换为<img file="880578dest_path_image103.GIF" wi="95" he="54" />,其中,<img file="840181dest_path_image104.GIF" wi="116" he="28" />为齐次坐标;其次,通过SVD方法求解新坐标系下圆环点的像<img file="942129dest_path_image105.GIF" wi="58" he="25" />,对简化的绝对二次曲线的像<img file="183755dest_path_image100.GIF" wi="21" he="20" />的线性约束获得<img file="662141dest_path_image100.GIF" wi="21" he="20" />,即:<img file="977716dest_path_image106.GIF" wi="135" he="65" />,其中<img file="955292dest_path_image107.GIF" wi="48" he="22" />分别表示复数的实部和虚部;最后,对<img file="418635dest_path_image100.GIF" wi="21" he="20" />进行Cholesky分解再求逆便获得新坐标系下的内参数矩阵<img file="638395dest_path_image108.GIF" wi="24" he="25" />,即获得了抛物折反射摄像机的其余三个内参数中<img file="572590dest_path_image109.GIF" wi="50" he="25" />,其中<img file="16341dest_path_image024.GIF" wi="16" he="25" />是纵横比,<img file="232559dest_path_image025.GIF" wi="18" he="25" />是有效焦距,<img file="52747dest_path_image026.GIF" wi="13" he="16" />是倾斜因子。
地址 650091 云南省昆明市翠湖北路2号城云南大学