发明名称 一种全景图像融合方法、系统及图像处理设备
摘要 本发明适用于图像处理技术领域,提供了一种全景图像融合方法,包括以下步骤:对具有一定视场重合的两幅图像A、B,计算它们对全景视场的投影变换参数,并将它们投影变换到统一的全景视场中;计算这两幅图像在全景视场中的公共视场重叠区域,计算公共视场重叠区域的相异视场边界;计算公共视场重叠区域的像素点到相异视场边界的距离;根据相异视场边界距离计算融合系数;根据融合系数表对公共视场区域的图像进行融合。本发明解决了已有的全景图像融合方法无法很好地处理在公共重叠视场区域为任意形状时的无缝融合问题,也解决了已有的融合算法由于公共视场重叠区域的形状不同造成的融合算法不统一的问题。
申请公布号 CN101951487B 申请公布日期 2012.06.27
申请号 CN201010258066.2 申请日期 2010.08.19
申请人 深圳大学 发明人 裴继红;谢维信;杨烜
分类号 H04N5/74(2006.01)I;G03B37/04(2006.01)I 主分类号 H04N5/74(2006.01)I
代理机构 代理人
主权项 1.一种全景图像融合方法,其特征在于,包括以下步骤:步骤a1,对待融合的两幅图像进行到全景视场的投影变换处理,并通过插值运算得到待融合的两幅图像在全景视场中的对应镶嵌图;步骤a2,计算两幅镶嵌图的区域掩模图,并根据所述两幅镶嵌图的区域掩模图得到两幅镶嵌图的公共重叠视场区域以及公共重叠视场区域的相异视场边界集合;步骤a3,计算所述公共重叠视场区域中的每一个像素点到所述相异视场边界集合的距离,并根据计算结果进一步计算得到所述公共重叠视场区域中的每一个像素点的融合系数;步骤a4,根据所述公共重叠视场区域中的每一个像素点的融合系数、所述两幅镶嵌图的区域掩模图、所述两幅镶嵌图的公共重叠视场区域、所述两幅镶嵌图得到两幅图像融合后的全景图像;该步骤a2具体包括以下步骤:步骤a21,计算两幅镶嵌图的区域掩模图R<sub>A</sub>、R<sub>B</sub>,<img file="FSB00000617552500011.GIF" wi="457" he="136" /><img file="FSB00000617552500012.GIF" wi="455" he="136" />其中,X=(x,y),是全景图像视场中像素点的空间位置坐标,T<sub>A</sub>、T<sub>B</sub>分别是待融合的两幅图像在全景视场中的镶嵌图;步骤a22,根据所述两幅镶嵌图的区域掩模图R<sub>A</sub>、R<sub>B</sub>得到两幅镶嵌图的公共重叠视场区域R<sub>AB</sub>,R<sub>AB</sub>(X)=R<sub>A</sub>(X)·R<sub>B</sub>(X),其中·为乘积运算符,R<sub>AB</sub>是R<sub>A</sub>和R<sub>B</sub>的交集;步骤a23,进一步得到公共重叠视场区域的相异视场边界集合E<sub>AB</sub>、E<sub>BA</sub>:若<img file="FSB00000617552500013.GIF" wi="676" he="184" />且<img file="FSB00000617552500014.GIF" wi="548" he="128" />则E<sub>AB</sub>(X)=1,否则E<sub>AB</sub>(X)=0;若<img file="FSB00000617552500021.GIF" wi="683" he="185" />且<img file="FSB00000617552500022.GIF" wi="555" he="125" />则E<sub>BA</sub>(X)=1,否则E<sub>BA</sub>(X)=0;其中∏是连乘积运算符,∑是累加和运算符,N(X)是X的以X为中心的3×3邻域,是一个由9个元素组成的集合,E<sub>AB</sub>(X)、E<sub>BA</sub>(X)分别是集合E<sub>AB</sub>、E<sub>BA</sub>的指示函数;所述步骤a3具体包括以下步骤:步骤a31,计算所述公共重叠视场区域中的像素点到所述相异视场边界集合E<sub>AB</sub>、E<sub>BA</sub>的距离d<sub>AB</sub>(X)、d<sub>BA</sub>(X),如下:d<sub>AB</sub>(X)=min{||X-X<sub>k</sub>||,X<sub>k</sub>∈E<sub>AB</sub>},X∈R<sub>AB</sub>,d<sub>BA</sub>(X)=min{||X-X<sub>k</sub>||,X<sub>k</sub>∈E<sub>BA</sub>},X∈R<sub>AB</sub>其中,min{·}是求集合中最小元素的运算,||X-X<sub>k</sub>||是计算公共重叠区域中的点X到相异边界集合中的点X<sub>k</sub>之间的距离运算,假设X=(x,y),X<sub>k</sub>=(x<sub>k</sub>,y<sub>k</sub>),采用欧氏距离,则具体距离的计算为<img file="FSB00000617552500023.GIF" wi="694" he="88" />步骤a32,根据步骤a31的计算结果,计算公共重叠区域R<sub>AB</sub>中的每一个X点的融合系数w<sub>AB</sub>(X)、w<sub>BA</sub>(X):<img file="FSB00000617552500024.GIF" wi="591" he="135" />w<sub>BA</sub>(X)=1-w<sub>AB</sub>(X);所述步骤a4具体为:根据下述公式得到两幅图像融合后的全景图像:<img file="FSB00000617552500025.GIF" wi="1182" he="220" />其中R<sub>A</sub>-R<sub>B</sub>是集合R<sub>A</sub>与集合R<sub>B</sub>的差集,R<sub>B</sub>-R<sub>A</sub>是集合R<sub>B</sub>与集合R<sub>A</sub>的差集。
地址 518060 广东省深圳市南山区南海大道3688号