发明名称 使用相切的双球像与正交消失点标定拋物折反射摄像机
摘要 本发明涉及一种使用相切的双球像与正交消失点标定拋物折反射摄像机的方法。用抛物折反射摄像机拍摄靶标的两幅图像,所述靶标为像平面上投影相切的双球,在每幅图像中,通过像点和其对拓像点的关系获得对拓像点,从而估计折反射图像中双球像的对拓球像,并求解双球像的实和虚交点与对拓球像的实和虚交点;在此基础上,根据球像的交点与对拓球像的交点对应形成的三组对拓像点确定三组正交消失点,来自于这两幅图像可确定六组正交消失点;最终利用正交消失点对摄像机内参数的约束求解摄像机内参数。利用本发明的方法可以实现全自动标定,减少了标定过程中由测量引起的误差。由于球的投影轮廓线在图像中可以全部提取,因此提高了摄像机的标定精度。
申请公布号 CN105354839A 申请公布日期 2016.02.24
申请号 CN201510686781.9 申请日期 2015.10.22
申请人 云南大学 发明人 王亚林;赵越
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 代理人
主权项 一种使用相切的双球像与正交消失点标定拋物折反射摄像机的方法,其特征在于由空间中的双球作为靶标,双球在抛物折反射摄像机的像平面的投影是相切的;所述方法的具体步骤包括:首先,用抛物折反射摄像机拍摄2幅含有相切的双球的图像,从这两幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点,使用最小二乘法拟合获得镜面轮廓投影和双球的图像;其次,在每幅图像中,根据双球的像点和其对拓像点的关系获得对拓像点,从而估计双球像的对拓球像,并求解双球像的交点及其对拓球像的交点,球像的交点和对拓球像的交点包含实点与虚点,再根据球像的交点与对拓球像的交点对应形成的三组对拓像点确定正交消失点;最后,利用正交消失点对摄像机内参数的约束求解摄像机内参数;(1)拟合镜面轮廓投影方程及靶标投影方程利用Matlab程序中的Edge函数提取这两幅图像中镜面轮廓投影边缘点和靶标图像边缘点的像素坐标,并用最小二乘法拟合获得镜面轮廓投影方程和双球像的方程;(2)估计两幅图像中双球像的对拓球像空间中的双球<img file="183461dest_path_image001.GIF" wi="19" he="25" />与<img file="914656dest_path_image002.GIF" wi="22" he="25" />,双球的在像平面上的投影是相切的;双球在拋物折反射摄像机的单位球模型下的投影分为两步:第一步,将双球<img file="238846dest_path_image001.GIF" wi="19" he="25" />与<img file="727596dest_path_image002.GIF" wi="22" he="25" />投影为以<img file="792504dest_path_image003.GIF" wi="18" he="20" />为中心的单位视球上的两组平行小圆<img file="378206dest_path_image004.GIF" wi="52" he="25" />和<img file="542471dest_path_image005.GIF" wi="54" he="25" />,称<img file="846414dest_path_image006.GIF" wi="25" he="25" />为<img file="449433dest_path_image007.GIF" wi="80" he="28" />的对拓圆;<img file="889642dest_path_image008.GIF" wi="25" he="25" />与<img file="490388dest_path_image009.GIF" wi="26" he="25" />有一个实交点,<img file="16047dest_path_image010.GIF" wi="25" he="25" />与<img file="360440dest_path_image011.GIF" wi="26" he="25" />也有一个实交点;第二步,以单位视球表面上的一点<img file="920735dest_path_image012.GIF" wi="21" he="25" />为投影中心,这里<img file="492049dest_path_image012.GIF" wi="21" he="25" />看作一个摄像机的光心,将这两组平行小圆<img file="708267dest_path_image004.GIF" wi="52" he="25" />和<img file="653089dest_path_image005.GIF" wi="54" he="25" />分别投影为抛物折反射图像平面上的两组二次曲线<img file="5573dest_path_image013.GIF" wi="53" he="25" />和<img file="744859dest_path_image014.GIF" wi="57" he="25" />,其中称可见的二次曲线<img file="245110dest_path_image015.GIF" wi="54" he="25" />为球<img file="931307dest_path_image001.GIF" wi="19" he="25" />与<img file="200614dest_path_image002.GIF" wi="22" he="25" />的像,不可见的二次曲线<img file="314063dest_path_image016.GIF" wi="54" he="25" />为球像<img file="301611dest_path_image015.GIF" wi="54" he="25" />的对拓球像,抛物折反射图像平面与直线<img file="525919dest_path_image017.GIF" wi="33" he="25" />垂直;<img file="915312dest_path_image018.GIF" wi="26" he="25" />与<img file="261980dest_path_image019.GIF" wi="27" he="25" />有一个实交点和两个虚交点;<img file="408927dest_path_image020.GIF" wi="26" he="25" />与<img file="513891dest_path_image021.GIF" wi="27" he="25" />也有一个实交点和两个虚交点;令以<img file="695474dest_path_image012.GIF" wi="21" he="25" />为光心的摄像机的内参数矩阵为<img file="213043dest_path_image022.GIF" wi="138" he="76" />,其中<img file="175183dest_path_image023.GIF" wi="16" he="25" />是纵横比,<img file="741293dest_path_image024.GIF" wi="18" he="25" />是有效焦距,<img file="839699dest_path_image025.GIF" wi="13" he="16" />是倾斜因子,<img file="465853dest_path_image026.GIF" wi="69" he="30" />是摄像机主点<img file="649710dest_path_image027.GIF" wi="17" he="18" />的齐次坐标;利用Matlab中的函数提取这两幅图像中的镜面轮廓投影边缘点和靶标图像边缘点的像素坐标,通过最小二乘法拟合得到相应的二次曲线方程;为了简化描述,用带有上标<img file="19511dest_path_image028.GIF" wi="14" he="20" />的字母表示双球的第<img file="238003dest_path_image028.GIF" wi="14" he="20" />幅图像中的几何元素,这里<img file="97374dest_path_image029.GIF" wi="49" he="22" />,并且它在后面的部分具有相同的意义;<img file="706210dest_path_image030.GIF" wi="24" he="26" />表示双球第<img file="676440dest_path_image028.GIF" wi="14" he="20" />幅图像的镜面轮廓投影曲线的系数矩阵,<img file="687122dest_path_image031.GIF" wi="54" he="26" />表示双球第<img file="720324dest_path_image028.GIF" wi="14" he="20" />幅图像中的两个球像的系数矩阵,为了简化表述,用相同字母表示曲线和它的系数矩阵;由于估计摄像机内参数矩阵<img file="878773dest_path_image032.GIF" wi="24" he="25" />的一个初始值<img file="590377dest_path_image033.GIF" wi="24" he="28" />时仅需要一幅图像中的镜面轮廓投影,这里不妨选取<img file="783461dest_path_image034.GIF" wi="21" he="26" />,通过<img file="984635dest_path_image034.GIF" wi="21" he="26" />获得<img file="302484dest_path_image033.GIF" wi="24" he="28" />,从而得到绝对二次曲线的像(IAC)<img file="880096dest_path_image035.GIF" wi="17" he="16" />的初始值<img file="865369dest_path_image036.GIF" wi="17" he="21" />;这里:<img file="237445dest_path_image037.GIF" wi="82" he="26" />,<img file="104907dest_path_image038.GIF" wi="82" he="28" />,<img file="158314dest_path_image039.GIF" wi="138" he="89" />,<img file="60410dest_path_image040.GIF" wi="16" he="25" />是纵横比的初始值,<img file="541070dest_path_image041.GIF" wi="18" he="28" />是有效焦距的初始值,<img file="164337dest_path_image042.GIF" wi="13" he="20" />是倾斜因子的初始值,<img file="755856dest_path_image043.GIF" wi="69" he="30" />是摄像机主点的初始齐次坐标,记<img file="778038dest_path_image044.GIF" wi="96" he="30" />;取<img file="491916dest_path_image045.GIF" wi="25" he="26" />上的一组点<img file="271653dest_path_image046.GIF" wi="281" he="31" />,则与它相对应的一组对拓像点<img file="729180dest_path_image047.GIF" wi="286" he="30" />由关系式<img file="605869dest_path_image048.GIF" wi="273" he="55" />确定;根据对拓像点的定义,点<img file="428331dest_path_image049.GIF" wi="33" he="28" />在球像<img file="757681dest_path_image045.GIF" wi="25" he="26" />的对拓球像<img file="956582dest_path_image050.GIF" wi="25" he="26" />上,因此用最小二乘法拟合得到对拓球像<img file="687777dest_path_image050.GIF" wi="25" he="26" />的初始方程,最后通过最小化函数<img file="743458dest_path_image051.GIF" wi="455" he="53" />获得<img file="497787dest_path_image050.GIF" wi="25" he="26" />的一个估计,其中<img file="565625dest_path_image052.GIF" wi="14" he="20" />是Lagrange乘数因子,<img file="89010dest_path_image053.GIF" wi="254" he="26" />,<img file="315592dest_path_image054.GIF" wi="260" he="26" />,这里<img file="619535dest_path_image055.GIF" wi="285" he="28" />表示矩阵<img file="160237dest_path_image050.GIF" wi="25" he="26" />的第<img file="600446dest_path_image056.GIF" wi="13" he="15" />行第<img file="201192dest_path_image057.GIF" wi="9" he="17" />列元素;(3)确定正交消失点考虑空间中的双球<img file="726851dest_path_image001.GIF" wi="19" he="25" />与<img file="133561dest_path_image002.GIF" wi="22" he="25" />的第<img file="365960dest_path_image058.GIF" wi="72" he="28" />幅图像,并且双球的像是相切的;<img file="199923dest_path_image001.GIF" wi="19" he="25" />与<img file="150562dest_path_image002.GIF" wi="22" he="25" />在单位视球上的投影小圆<img file="95384dest_path_image059.GIF" wi="53" he="26" />的一个实交点<img file="501396dest_path_image060.GIF" wi="27" he="26" />和投影小圆<img file="443944dest_path_image061.GIF" wi="53" he="26" />的一个实交点<img file="944196dest_path_image062.GIF" wi="26" he="26" />对应形成一对对拓点;用<img file="630392dest_path_image063.GIF" wi="22" he="26" />和<img file="899699dest_path_image064.GIF" wi="22" he="26" />分别表示<img file="75466dest_path_image060.GIF" wi="27" he="26" />和<img file="696dest_path_image062.GIF" wi="26" he="26" />的像,根据对拓像点的定义,<img file="287321dest_path_image065.GIF" wi="61" he="30" />为一对对拓像点;同时,根据射影变换的结合性,<img file="614397dest_path_image063.GIF" wi="22" he="26" />是球像<img file="695486dest_path_image066.GIF" wi="26" he="26" />和<img file="170329dest_path_image067.GIF" wi="27" he="26" />的一个实交点,<img file="198328dest_path_image064.GIF" wi="22" he="26" />是对拓球像<img file="442228dest_path_image068.GIF" wi="26" he="26" />和<img file="897480dest_path_image069.GIF" wi="27" he="26" />的一个实交点;用<img file="596970dest_path_image070.GIF" wi="25" he="26" />和<img file="163081dest_path_image071.GIF" wi="24" he="26" />表示球像<img file="527066dest_path_image066.GIF" wi="26" he="26" />和<img file="215536dest_path_image067.GIF" wi="27" he="26" />的两个虚交点,<img file="337076dest_path_image072.GIF" wi="25" he="26" />和<img file="769194dest_path_image073.GIF" wi="24" he="26" />表示对拓球像<img file="925369dest_path_image068.GIF" wi="26" he="26" />和<img file="784741dest_path_image069.GIF" wi="27" he="26" />的两个虚交点;根据对拓像点的定义,<img file="455894dest_path_image074.GIF" wi="65" he="30" />为两对虚对拓像点,并且看作两对虚对拓点<img file="363807dest_path_image075.GIF" wi="70" he="30" />的像,这里<img file="436805dest_path_image076.GIF" wi="52" he="22" />;根据对拓点的定义和初等几何知识,通过这三对虚对拓点构成3个矩形<img file="404761dest_path_image077.GIF" wi="108" he="28" />,提供空间的3组正交方向<img file="563210dest_path_image078.GIF" wi="57" he="28" />与<img file="274814dest_path_image079.GIF" wi="56" he="28" />,其中<img file="205248dest_path_image080.GIF" wi="133" he="25" />;记直线<img file="406422dest_path_image078.GIF" wi="57" he="28" />与<img file="989851dest_path_image079.GIF" wi="56" he="28" />上的无穷远点分别为<img file="567462dest_path_image081.GIF" wi="41" he="28" />与<img file="349474dest_path_image082.GIF" wi="38" he="28" />,用<img file="721549dest_path_image083.GIF" wi="32" he="28" />与<img file="792273dest_path_image084.GIF" wi="30" he="28" />分别表示<img file="907997dest_path_image081.GIF" wi="41" he="28" />与<img file="747777dest_path_image082.GIF" wi="38" he="28" />的像,则<img file="290754dest_path_image083.GIF" wi="32" he="28" />与<img file="911091dest_path_image084.GIF" wi="30" he="28" />为正交消失点,其中<img file="502609dest_path_image085.GIF" wi="135" he="25" />;根据射影变换的结合性,有<img file="262142dest_path_image086.GIF" wi="31" he="28" />是直线<img file="179283dest_path_image087.GIF" wi="50" he="27" />与直线<img file="21337dest_path_image088.GIF" wi="50" he="28" />的交点,<img file="416546dest_path_image084.GIF" wi="30" he="28" />是直线<img file="293235dest_path_image089.GIF" wi="50" he="27" />与直线<img file="178015dest_path_image090.GIF" wi="50" he="28" />的交点,其中<img file="445048dest_path_image085.GIF" wi="135" he="25" />;由于空间中的一组正交方向提供一组正交消失点,因此通过上面的三组正交方向提供三组正交消失点,于是来自靶标的两幅图像确定六组正交消失点;(4)求解抛物折反射摄像机的内参数使用抛物折反射摄像机拍摄靶标的两幅图像;先通过SVD方法求解正交消失点对绝对二次曲线的像<img file="706265dest_path_image035.GIF" wi="17" he="16" />的线性约束获得<img file="375144dest_path_image035.GIF" wi="17" he="16" />,这里的线性约束为:<img file="430824dest_path_image091.GIF" wi="113" he="34" />,其中<img file="185154dest_path_image092.GIF" wi="185" he="25" />;再对获得的<img file="984483dest_path_image035.GIF" wi="17" he="16" />进行Cholesky分解并求逆便得到内参数矩阵<img file="570185dest_path_image032.GIF" wi="24" he="25" />,即获得抛物折反射摄像机的5个内参数<img file="29dest_path_image093.GIF" wi="88" he="25" />。
地址 650091 云南省昆明市翠湖北路2号云南大学