发明名称 一种基于SIFT特征实现多点分层支撑描述的图像匹配方法
摘要 一种基于SIFT特征实现多点分层支撑描述图像匹配方法,解决提高正确匹配保留率和错误匹配消除率及匹配计算速度的技术问题。采用的方法是:1.分别求得SIFT特征并进行最近邻与次近邻比值法匹配,获得初始匹配集,2.建立支撑特征集,3.构建支撑描述符,4.支撑描述符匹配实现判断相互匹配的特征点的匹配是否正确。本发明所提出的方法(MLSD)在不同场景图像中都实现了更高正确匹配保留率(几乎100%)和错误匹配消除率(高于90%),在保留正确匹配的同时,能够剔除更多错误匹配。
申请公布号 CN105513075A 申请公布日期 2016.04.20
申请号 CN201510909055.9 申请日期 2015.12.09
申请人 深圳市华和瑞智科技有限公司;郑可尧 发明人 郑可尧
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 深圳市智科友专利商标事务所 44241 代理人 曲家彬
主权项 一种基于SIFT特征实现多点分层支撑描述图像匹配方法,该方法基于对同一场景获得的两幅不同视角的图像,分别求得SIFT特征并进行最近邻与次近邻比值法匹配,获得初始匹配集实现,其特征在于:该方法由以下步骤实现:步骤1.建立初始匹配集:对同一场景获得的两幅不同视角的图像I<sub>1</sub>和I<sub>2</sub>,分别求得SIFT特征并进行最近邻与次近邻比值法匹配,获得初始匹配集,如公式(1):<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msub><mi>U</mi><mrow><mi>I</mi><mi>n</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>a</mi><mi>l</mi></mrow></msub><mrow><mo>(</mo><msub><mi>I</mi><mn>1</mn></msub><mo>,</mo><msub><mi>I</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>=</mo><mo>{</mo><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mo>)</mo></mrow><mo>|</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>&Element;</mo><msub><mmultiscripts><mi>U</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mrow><mi>S</mi><mi>I</mi><mi>F</mi><mi>T</mi></mrow></msub><mo>,</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>2</mn></mmultiscripts><mo>&Element;</mo><msub><mmultiscripts><mi>U</mi><mprescripts/><none/><mn>2</mn></mmultiscripts><mrow><mi>S</mi><mi>I</mi><mi>F</mi><mi>T</mi></mrow></msub><mo>,</mo><mfrac><mrow><mi>D</mi><mi>i</mi><mi>s</mi><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mo>)</mo></mrow></mrow><mrow><mi>D</mi><mi>i</mi><mi>s</mi><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>x</mi><mi>t</mi></mrow></msub><mo>)</mo></mrow></mrow></mfrac><mo>&lt;</mo><msub><mi>ratio</mi><mrow><mi>I</mi><mi>n</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>}</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000872586630000011.GIF" wi="1678" he="150" /></maths>其中:U<sub>Initial</sub>(I<sub>1</sub>,I<sub>2</sub>)表示I<sub>1</sub>和I<sub>2</sub>的初始匹配集、(<sup>1</sup>p,<sup>2</sup>p)表示匹配特征点对、<sup>1</sup>U<sub>SIFT</sub>表示I<sub>1</sub>中检测得到的SIFT特征集、<sup>2</sup>U<sub>SIFT</sub>表示I<sub>2</sub>中检测得到的SIFT特征、<sup>2</sup>p<sub>next</sub>为<sup>1</sup>U<sub>SIFT</sub>中某特征<sup>1</sup>p在<sup>2</sup>U<sub>SIFT</sub>中的次近邻、Dis()表示特征点对应之间的欧氏距离、ratio<sub>Initial</sub>表示初始匹配集的阈值,取ratio<sub>Initial</sub>=0.8;步骤2.建立支撑特征集:⑴.在步骤1获得的初始匹配集中,将稳定性较高的匹配特征作为第一层支撑特征集,如公式(2):<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msub><mi>U</mi><mrow><mi>S</mi><mi>u</mi><mi>p</mi><mi>p</mi><mi>o</mi><mi>r</mi><mi>t</mi></mrow></msub><mrow><mo>(</mo><msub><mi>I</mi><mn>1</mn></msub><mo>,</mo><msub><mi>I</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>=</mo><mo>{</mo><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mo>)</mo></mrow><mo>|</mo><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mo>)</mo></mrow><msub><mi>U</mi><mrow><mi>I</mi><mi>n</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>,</mo><mfrac><mrow><mi>D</mi><mi>i</mi><mi>s</mi><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mo>)</mo></mrow></mrow><mrow><mi>D</mi><mi>i</mi><mi>s</mi><mrow><mo>(</mo><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mo>,</mo><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>x</mi><mi>t</mi></mrow></msub><mo>)</mo></mrow></mrow></mfrac><mo>&lt;</mo><msub><mi>ratio</mi><mrow><mi>S</mi><mi>u</mi><mi>p</mi><mi>p</mi><mi>o</mi><mi>r</mi><mi>t</mi></mrow></msub><mo>}</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000872586630000012.GIF" wi="1465" he="164" /></maths>其中:U<sub>Support</sub>(I<sub>1</sub>,I<sub>2</sub>)是图像I<sub>1</sub>和图像I<sub>2</sub>的第一层支撑特征集,ratio<sub>Support</sub>为获取稳定匹配的支撑阈值,取ratio<sub>Support</sub>=0.35;⑵.在步骤1获得的初始匹配集中,除第一层支撑特征集剩余稳定性较底的初始匹配集,按ratio值由小到大排列,取前20%作为第二层支撑特征集,如公式(3):U<sub>Support</sub>(I<sub>1</sub>,I<sub>2</sub>)={(<sup>1</sup>p,<sup>2</sup>p)|(<sup>1</sup>p,<sup>2</sup>p)∈First 20% of Sort<sub>ratio</sub>(U<sub>Initial</sub>)}   (3)其中:Sort<sub>ratio</sub>(U<sub>Initial</sub>)指对初始匹配集按ratio值由小到大排序;步骤3.构建支撑描述符:对步骤2获得的支撑特征集中匹配特征对,依据匹配特征对,周围支撑特征点分布情况,构建支撑描述符,构建支撑描述符步骤如下:⑴.分别对支撑特征集两幅图像中每个特征点周边的支撑特征点,进行无重复编号,并保证两幅图像相互匹配的每个支撑特征点为相同编号;⑵.分别在两幅图像中,以相互匹配的特征点为中心,以×形划分图像区域,形成ABCD四象限,在每个象限中寻找n个距离相互匹配的特征点最近的支撑特征点为相互匹配的特征点的支撑描述点,四个象限共获得4n个支撑描述点编号集合构成相互匹配的特征点的支撑描述符,以下公式表示:设.R<sub>i</sub>(p<sub>new</sub>),i=A,B,C,D,为相互匹配的特征点p<sub>new</sub>各象限中所有支撑特征点的集合;设.S<sub>i</sub>(p<sub>new</sub>),i=A,B,C,D,为相互匹配的特征点p<sub>new</sub>各象限中支撑描述点的集合;则有:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mo>&ForAll;</mo><msub><mi>p</mi><mi>d</mi></msub><mo>&Element;</mo><msub><mi>S</mi><mi>i</mi></msub><mo>,</mo><msub><mi>p</mi><mi>s</mi></msub><mo>&Element;</mo><msub><mi>R</mi><mi>i</mi></msub><mo>-</mo><msub><mi>S</mi><mi>i</mi></msub><mo>,</mo><mo>&Exists;</mo><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>,</mo><msub><mi>p</mi><mi>d</mi></msub><mo>)</mo></mrow><mo>&le;</mo><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>,</mo><msub><mi>p</mi><mi>s</mi></msub><mo>)</mo></mrow><mo>,</mo><mi>i</mi><mo>=</mo><mi>A</mi><mo>,</mo><mi>B</mi><mo>,</mo><mi>C</mi><mo>,</mo><mi>D</mi><mo>;</mo></mrow>]]></math><img file="FDA0000872586630000022.GIF" wi="1291" he="86" /></maths>其中,d()表示两特征点坐标之间的欧氏距离;则p<sub>new</sub>的支撑描述符可表示为;D(p<sub>new</sub>)={T(p)|p∈R<sub>A</sub>(p<sub>new</sub>)∪R<sub>B</sub>(p<sub>new</sub>)∪R<sub>C</sub>(p<sub>new</sub>)∪R<sub>D</sub>(p<sub>new</sub>)}   (4)其中,T(p)表示支撑特征点p的标识编号;步骤4.支撑描述符匹配:对步骤4获得的相互匹配的特征点支撑描述符确定其相似程度,依据支撑描述符相似程度判断相互匹配的特征点的匹配是否正确,具体判断步骤如下:⑴.确定支撑描述符的相似程度,相似程度通过式(6)获得:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>F</mi><mrow><mo>(</mo><mi>D</mi><mo>(</mo><mrow><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub></mrow><mo>)</mo><mo>,</mo><mi>D</mi><mo>(</mo><mrow><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>2</mn></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub></mrow><mo>)</mo><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>N</mi><mi>u</mi><mi>m</mi><mrow><mo>(</mo><mi>D</mi><mo>(</mo><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>)</mo></mrow><mo>&cap;</mo><mi>D</mi><mrow><mo>(</mo><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>)</mo></mrow><mo>)</mo></mrow><mrow><mi>m</mi><mi>i</mi><mi>n</mi><mrow><mo>(</mo><mi>N</mi><mi>u</mi><mi>m</mi><mo>(</mo><mi>D</mi><mo>(</mo><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mn>1</mn></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>)</mo></mrow><mo>)</mo><mo>,</mo><mi>N</mi><mi>u</mi><mi>m</mi><mrow><mo>(</mo><mi>D</mi><mo>(</mo><msub><mmultiscripts><mi>p</mi><mprescripts/><none/><mi>2</mi></mmultiscripts><mrow><mi>n</mi><mi>e</mi><mi>w</mi></mrow></msub><mo>)</mo></mrow><mo>)</mo><mo>)</mo></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000872586630000021.GIF" wi="1572" he="163" /></maths>其中:F(D(<sup>1</sup>p<sub>new</sub>),D(<sup>2</sup>p<sub>new</sub>))为支撑描述符的相似程度;Num()函数统计集合中不为0元素的个数,即支撑描述符中支撑特征点的个数;⑵.判断相互匹配的特征点的匹配是否正确:当:F(D(<sup>1</sup>p<sub>new</sub>),D(<sup>2</sup>p<sub>new</sub>))满足如下公式(7),判断为匹配正确,否则为误匹配;F(D(<sup>1</sup>p<sub>new</sub>),D(<sup>2</sup>p<sub>new</sub>))&gt;k·ratio(<sup>1</sup>p<sub>new</sub>,<sup>2</sup>p<sub>new</sub>)   (7)其中ratio(<sup>1</sup>p<sub>new</sub>,<sup>2</sup>p<sub>new</sub>)表示使用最近邻与次近邻比值法确定该特征对时最近邻与次近邻距离比值,k为正比例常数,此处取k=1;⑶.将步骤⑵全部判断为正确的相互匹配的特征对与支撑特征集中的特征对合并,得支撑特征集中全部相互匹配特征点的匹配结果。
地址 518000 广东省深圳市罗湖区笋岗街道笋岗东路华通大厦1406室
您可能感兴趣的专利