发明名称 基于相似特征三角形的图像配准方法
摘要 本发明涉及数字图像处理领域,为提出一种图像配准方法,从而可以为相似变换下的图像配准提供一种精确快速的解决方案。为此,本发明采取的技术方案是,基于相似特征三角形的图像配准方法,包括如下步骤:1)特征点提取及特征匹配;2)随机选取样本构成特征三角形;3)相似特征三角形预检验;4)根据最大欧氏距离法选取样本点;5)通过求解变换模型及全数据检验得到变换模型。本发明主要应用于数字图像处理。
申请公布号 CN104574372A 申请公布日期 2015.04.29
申请号 CN201410808359.1 申请日期 2014.12.21
申请人 天津大学 发明人 史再峰;刘江明;庞科;高天野;姚素英;李斌桥
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 天津市北洋有限责任专利代理事务所 12201 代理人 刘国威
主权项 一种基于相似特征三角形的图像配准方法,其特征是,包括如下步骤:1)特征点提取及特征匹配将待配准两幅图像分为参考图像和目标图像,分别在两幅图像中利用特征提取算法进行特征点的提取,然后利用特征匹配算法对提取的特征点进行匹配,得到目标图像中特征点到参考图像特征点的一一对应关系,即匹配的特征点对;2)随机选取样本构成特征三角形从匹配好的特征点对中随机选取3对作为一个数据点样本,并分别在参考图像和目标图像中利用选取的3个特征点构成一个特征三角形,特征三角形分别为△R<sub>1</sub>R<sub>2</sub>R<sub>3</sub>、△T<sub>1</sub>T<sub>2</sub>T<sub>3</sub>,其中,顶点R<sub>1</sub>(x<sub>R1</sub>,y<sub>R1</sub>)、R<sub>2</sub>(x<sub>R2</sub>,y<sub>R2</sub>)、R<sub>3</sub>(x<sub>R3</sub>,y<sub>R3</sub>)为参考图像中的三个特征点,并一一对应着目标图像中的三个特征点T<sub>1</sub>(x<sub>T1</sub>,y<sub>T1</sub>)、T<sub>2</sub>(x<sub>T2</sub>,y<sub>T2</sub>)、T<sub>3</sub>(x<sub>T3</sub>,y<sub>T3</sub>);d<sub>R12</sub>、d<sub>R23</sub>、d<sub>R13</sub>、d<sub>T12</sub>、d<sub>T23</sub>、d<sub>T13</sub>分别是两两特征点之间的欧氏距离;3)相似特征三角形预检验根据两幅图像之间的相似变换关系以及3对特征点对中特征点的一一对应关系,匹配正确的特征三角形对应满足相似关系:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mfrac><msub><mi>d</mi><mrow><mi>R</mi><mn>12</mn></mrow></msub><msub><mi>d</mi><mrow><mi>T</mi><mn>12</mn></mrow></msub></mfrac><mo>=</mo><mfrac><msub><mi>d</mi><mrow><mi>R</mi><mn>23</mn></mrow></msub><msub><mi>d</mi><mrow><mi>T</mi><mn>23</mn></mrow></msub></mfrac><mo>=</mo><mfrac><msub><mi>d</mi><mrow><mi>R</mi><mn>13</mn></mrow></msub><msub><mi>d</mi><mrow><mi>T</mi><mn>13</mn></mrow></msub></mfrac><mo>=</mo><mi>r</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000639680590000011.GIF" wi="1079" he="124" /></maths>其中r为目标图像到参考图像的缩放比例因子,将式(1)中的等式各项平方后,可以变形为满足式(1)成立的充分必要条件:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><msubsup><mi>d</mi><mrow><mi>R</mi><mn>12</mn></mrow><mn>2</mn></msubsup><mo>&CenterDot;</mo><msubsup><mi>d</mi><mrow><mi>T</mi><mn>23</mn></mrow><mn>2</mn></msubsup><mo>-</mo><msubsup><mi>d</mi><mrow><mi>R</mi><mn>23</mn></mrow><mn>2</mn></msubsup><mo>&CenterDot;</mo><msubsup><mi>d</mi><mrow><mi>T</mi><mn>12</mn></mrow><mn>2</mn></msubsup><mo>=</mo><mn>0</mn></mtd></mtr><mtr><mtd><msubsup><mi>d</mi><mrow><mi>R</mi><mn>23</mn></mrow><mn>2</mn></msubsup><mo>&CenterDot;</mo><msubsup><mi>d</mi><mrow><mi>T</mi><mn>13</mn></mrow><mn>2</mn></msubsup><mo>-</mo><msubsup><mi>d</mi><mrow><mi>R</mi><mn>13</mn></mrow><mn>2</mn></msubsup><mo>&CenterDot;</mo><msubsup><mi>d</mi><mrow><mi>T</mi><mn>23</mn></mrow><mn>2</mn></msubsup><mo>=</mo><mn>0</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000639680590000012.GIF" wi="1123" he="151" /></maths>由于在多视角的二维平面景物图像的配准过程中,特征点的各向坐标值均看作是测量值,并满足如下关系:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><mi>x</mi><mo>=</mo><munder><mi>x</mi><mo>&OverBar;</mo></munder><mo>+</mo><mi>&Delta;x</mi></mtd></mtr><mtr><mtd><mi>y</mi><mo>=</mo><munder><mi>y</mi><mo>&OverBar;</mo></munder><mo>+</mo><mi>&Delta;y</mi></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000639680590000013.GIF" wi="1019" he="142" /></maths>其中<u>x</u>、<u>y</u>为坐标值的真实值,Δx、Δy为受到噪声污染的坐标值误差,通常坐标值误差服从以均值μ=0、标准差σ=0.001的高斯分布。将式(3)代入欧氏距离公式并带入到式(2)并最终代入到式(1)中,得到:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>e</mi><mrow><mi>s</mi><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>D</mi><mn>1</mn></msub><mo>-</mo><msub><mi>D</mi><mn>2</mn></msub><mo>=</mo><mn>0</mn></mtd></mtr><mtr><mtd><msub><mi>e</mi><mrow><mi>s</mi><mn>2</mn></mrow></msub><mo>=</mo><msub><mi>D</mi><mn>3</mn></msub><mo>-</mo><msub><mi>D</mi><mn>4</mn></msub><mo>=</mo><mn>0</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000639680590000015.GIF" wi="1054" he="132" /></maths>其中<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mfenced open='' close=''><mtable><mtr><mtd><msub><mi>D</mi><mn>1</mn></msub><mo>=</mo><mo>{</mo><msup><mrow><mo>[</mo><mrow><mo>(</mo><msub><munder><mi>x</mi><mo>&OverBar;</mo></munder><mrow><mi>R</mi><mn>1</mn></mrow></msub><mo>-</mo><msub><munder><mi>x</mi><mo>&OverBar;</mo></munder><mrow><mi>R</mi><mn>2</mn></mrow></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><msub><mi>&Delta;x</mi><mrow><mi>R</mi><mn>1</mn></mrow></msub><mo>-</mo><msub><mi>&Delta;x</mi><mrow><mi>R</mi><mn>2</mn></mrow></msub><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>[</mo><mrow><mo>(</mo><msub><munder><mi>y</mi><mo>&OverBar;</mo></munder><mrow><mi>R</mi><mn>1</mn></mrow></msub><mo>-</mo><msub><munder><mi>y</mi><mo>&OverBar;</mo></munder><mrow><mi>R</mi><mn>2</mn></mrow></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><msub><mi>&Delta;y</mi><mrow><mi>R</mi><mn>1</mn></mrow></msub><mo>-</mo><msub><mi>&Delta;y</mi><mrow><mi>R</mi><mn>2</mn></mrow></msub><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup><mo>}</mo></mtd></mtr><mtr><mtd><mo>&CenterDot;</mo><mo>{</mo><msup><mrow><mo>[</mo><mrow><mo>(</mo><msub><munder><mi>x</mi><mo>&OverBar;</mo></munder><mrow><mi>T</mi><mn>2</mn></mrow></msub><mo>-</mo><msub><munder><mi>x</mi><mo>&OverBar;</mo></munder><mrow><mi>T</mi><mn>3</mn></mrow></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><msub><mi>&Delta;x</mi><mrow><mi>T</mi><mn>2</mn></mrow></msub><mo>-</mo><msub><mi>&Delta;x</mi><mrow><mi>T</mi><mn>3</mn></mrow></msub><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>[</mo><mrow><mo>(</mo><msub><munder><mi>y</mi><mo>&OverBar;</mo></munder><mrow><mi>T</mi><mn>2</mn></mrow></msub><mo>-</mo><msub><munder><mi>y</mi><mo>&OverBar;</mo></munder><mrow><mi>T</mi><mn>3</mn></mrow></msub><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><msub><mi>&Delta;y</mi><mrow><mi>T</mi><mn>2</mn></mrow></msub><mo>-</mo><msub><mi>&Delta;y</mi><mrow><mi>T</mi><mn>3</mn></mrow></msub><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup><mo>}</mo></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000639680590000016.GIF" wi="1377" he="144" /></maths>D<sub>2</sub>、D<sub>3</sub>、D<sub>4</sub>依式(5)类推,e<sub>s1</sub>和e<sub>s2</sub>分别为对应于两个等式的相似误差;当特征三角形对满足如下关系<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mfenced open='{' close=''><mtable><mtr><mtd><mo>|</mo><msub><mi>e</mi><mrow><mi>s</mi><mn>1</mn></mrow></msub><mo>|</mo><mo>=</mo><mfrac><mrow><mo>|</mo><msub><mi>D</mi><mn>1</mn></msub><mo>-</mo><msub><mi>D</mi><mn>2</mn></msub><mo>|</mo></mrow><mi>A</mi></mfrac><mo>&le;</mo><msub><mi>th</mi><mi>s</mi></msub></mtd></mtr><mtr><mtd><mo>|</mo><msub><mi>e</mi><mrow><mi>s</mi><mn>2</mn></mrow></msub><mo>|</mo><mo>=</mo><mfrac><mrow><mo>|</mo><msub><mi>D</mi><mn>3</mn></msub><mo>-</mo><msub><mi>D</mi><mn>4</mn></msub><mo>|</mo></mrow><mi>A</mi></mfrac><mo>&le;</mo><msub><mi>th</mi><mi>s</mi></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000639680590000017.GIF" wi="1139" he="253" /></maths>时,特征三角形对相似成立,即通过预检验;否则,抛弃此样本,重新选取;其中A为坐标误差归一化系数,根据式(5)多项式的各项系数,采用两个特征点的x坐标差值绝对值均值的三次方或y坐标差值绝对值均值的三次方作为坐标误差归一化系数A;阈值th<sub>s</sub>是一个由统计方法得出的高斯分布特征值;4)根据最大欧氏距离法选取样本点选取目标图像中的特征三角形中边长最大的一条边,即选取目标图像中三个特征点两两之间欧氏距离d<sub>T12</sub>、d<sub>T23</sub>、d<sub>T13</sub>中最大的一个,然后选取以这一最大欧氏距离作为端点的2个特征点,并依据匹配关系得到2对匹配的特征点样本;5)通过求解变换模型及全数据检验得到变换模型根据选取的2对特征点对的坐标,利用相似变换模型,如式(7),构成4个线性方程,并组成关于模型参数r,θ,h<sub>13</sub>和h<sub>23</sub>的方程组,其中r为缩放比例因子,θ为旋转角度因子,h<sub>13</sub>和h<sub>23</sub>分别为水平、竖直方向的平移因子,求解方程组得到相似变换模型,并在所有特征点对上按照传统RANSAC的方法进行全数据检验,根据内点数量结果确定的最终正确的变换模型:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>x</mi><mi>r</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>r</mi></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfenced open='[' close=']'><mtable><mtr><mtd><mi>r</mi><mi>cos</mi><mi>&theta;</mi></mtd><mtd><mo>-</mo><mi>r</mi><mi>sin</mi><mi>&theta;</mi></mtd></mtr><mtr><mtd><mi>r</mi><mi>sin</mi><mi>&theta;</mi></mtd><mtd><mi>r</mi><mi>cos</mi><mi>&theta;</mi></mtd></mtr></mtable></mfenced><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>x</mi><mi>t</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>t</mi></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>h</mi><mn>13</mn></msub></mtd></mtr><mtr><mtd><msub><mi>h</mi><mn>23</mn></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow><mo>.</mo></mrow>]]></math><img file="FDA0000639680590000021.GIF" wi="1300" he="154" /></maths>
地址 300072 天津市南开区卫津路92号