发明名称 基于视觉方差定位的图像镶嵌方法
摘要 本发明公开了一种基于视觉方差定位的图像镶嵌方法,适用于无人机空中视频情报侦察装置。本发明基于视觉信息的高效注意机制,首先将基准图像分成若干个窗口,通过采用视觉方差定位技术,获得能够用于匹配的图像窗口中心位置的统计集合,在候选图像中采用互相关匹配算法搜索最佳对应匹配窗口中心的位置;然后根据基准图像和候选图像中窗口中心的对应位置采用最小二乘法求解图像变换参数;最后,根据图像变换参数将候选图像变换逆向映射到基准图像坐标系中,并对基准图像和变换图像进行合成显示,最终得到全景镶嵌图像。本发明解决了在复杂战场环境中低信噪比条件下有效、精确、实时的图像镶嵌问题,并具有抗光照变化能力强、计算效率高的特点。
申请公布号 CN102609928B 申请公布日期 2015.04.01
申请号 CN201210009419.4 申请日期 2012.01.12
申请人 中国兵器工业第二0五研究所 发明人 李良福;陈卫东;郑宝忠;钱钧
分类号 G06T5/50(2006.01)I 主分类号 G06T5/50(2006.01)I
代理机构 代理人
主权项 一种基于视觉方差定位的图像镶嵌方法,其特征在于:该方法包括以下操作步骤: 第一步,当接到无人机空中视频情报侦察装置发出的镶嵌命令后,通过传感器采集分辨率为W*H的第K帧基准图像g<sub>B</sub>,1≤K≤F‑1且F为图像镶嵌操作所采集的图像帧数,在K=1时的基准图像g<sub>B</sub>定义为绝对基准图像g<sub>A</sub>,将第K帧基准图像g<sub>B</sub>与绝对基准图像g<sub>A</sub>之间的参数变换矩阵P<sub>B</sub><sub>←</sub><sub>A</sub>初始化为3×3单位阵; 第二步,将当前基准图像g<sub>B</sub>的中心区域划分成宽度为w<sub>b</sub>、高度为h<sub>b</sub>的n<sub>w</sub>*n<sub>h</sub>个窗口,中心区域是指基准图像g<sub>B</sub>在水平方向两侧各去除边缘E<sub>w</sub>和在垂直方向两侧各去除边缘E<sub>h</sub>后的剩余部分; 第三步,根据下式依次计算所述当前基准图像g<sub>B</sub>中n<sub>w</sub>*n<sub>h</sub>个窗口的图像方差D: <img file="FSB0000133431800000011.GIF" wi="489" he="200" />式中,g(i,j)为窗口图像区域中第i行第j列像素的灰度值,<img file="FSB0000133431800000012.GIF" wi="47" he="68" />为窗口图像区域的平均灰度值<img file="FSB0000133431800000013.GIF" wi="67" he="69" />第四步,将各所述窗口的方差与方差阈值D<sub>thd</sub>进行比较,得到M个方差大于方差阈值D<sub>thd</sub>的基准窗口并保存基准窗口的中心位置B<sub>k</sub>且坐标为(x<sub>k</sub>,y<sub>k</sub>),其中,0≤M≤n<sub>w</sub>*n<sub>h</sub>,k=1,…,M; 第五步,采集一帧分辨率为W*H的第K+1帧图像作为候选图像g<sub>c</sub>; 第六步,在候选图像g<sub>c</sub>中分别以对应的基准窗口中心位置B<sub>k</sub>为中心,创建一个宽度和高度分别为w<sub>c</sub>和h<sub>c</sub>的搜索窗口,其中1.4*w<sub>b</sub>≤w<sub>c</sub>≤1.6*w<sub>b</sub>, 1.4*h<sub>b</sub>≤h<sub>c</sub>≤1.6*h<sub>b</sub>;在搜索窗口中移动基准窗口而获得不同的匹配窗口,计算搜索窗口中各匹配窗口和对应基准窗口之间的归一化互相关系数Cor(Δx,Δy)并找出具有最大归一化互相关系数的匹配窗口,将候选图像g<sub>c</sub>中具有最大归一化互相关系数的各匹配窗口的归一化互相关系数与相关阈值Cor<sub>thd</sub>进行比较,若归一化互相关系数大于相关阈值Cor<sub>thd</sub>的匹配窗口被认为是有效匹配窗口,统计候选图像中有效匹配窗口的中心位置即有效匹配点的集合C={C<sub>1</sub>,C<sub>2</sub>,…,C<sub>N</sub>},其中C<sub>k</sub>=(x<sub>k</sub>,y<sub>k</sub>),k=1,2,…,N,且N≤M; 第七步,当N<3时,则基准图像g<sub>B</sub>和候选图像g<sub>c</sub>之间的相对参数变换矩阵P<sub>C</sub><sub>←</sub><sub>B</sub>为单位阵;当N≥3时,则基准图像g<sub>B</sub>和候选图像g<sub>c</sub>之间的相对参数变换矩阵P<sub>C</sub><sub>←</sub><sub>B</sub>采用以下最小二乘法公式计算: P<sub>C</sub><sub>←</sub><sub>B</sub>=C*B<sup>T</sup>*(B*B<sup>T</sup>)<sup>‑1</sup><img file="FSB0000133431800000021.GIF" wi="742" he="228" /><img file="FSB0000133431800000022.GIF" wi="609" he="239" />其中,C表示候选图像坐标系中的匹配点奇次坐标且为3×N矩阵,B表示基准图像坐标系中的匹配点的奇次坐标且为3×N矩阵,B<sup>T</sup>为B的转置矩阵,相对参数变换矩阵P<sub>C</sub><sub>←</sub><sub>B</sub>也为3×3矩阵; 第八步,根据下式计算绝对基准图像g<sub>A</sub>和候选图像g<sub>c</sub>之间的绝对参数变换矩阵P<sub>C</sub><sub>←</sub><sub>A</sub>: P<sub>C</sub><sub>←</sub><sub>A</sub>=P<sub>C</sub><sub>←</sub><sub>B</sub>*P<sub>B</sub><sub>←</sub><sub>A</sub>从第三帧图像即K=3开始,每计算一次P<sub>C</sub><sub>←</sub><sub>B</sub>和P<sub>C</sub><sub>←</sub><sub>A</sub>后,就要用P<sub>C</sub><sub>←</sub><sub>A</sub>更新P<sub>B</sub><sub>←</sub><sub>A</sub>; 第九步,根据绝对基准图像g<sub>A</sub>中点A<sup>0</sup>的奇次坐标,计算出候选图像g<sub>c</sub>中 与之对应点的奇次坐标C<sup>0</sup>,其计算公式为: <img file="FSB0000133431800000031.GIF" wi="462" he="243" /><img file="FSB0000133431800000032.GIF" wi="221" he="244" />其中,A<sup>0</sup>的水平坐标为<img file="FSB0000133431800000033.GIF" wi="87" he="80" />其取值范围为1,2,…,W;垂直坐标为<img file="FSB0000133431800000034.GIF" wi="88" he="76" />其取值范围为1,2,…,H,C<sup>0</sup>的水平坐标为<img file="FSB0000133431800000035.GIF" wi="89" he="73" />其取值范围也为1,2,…,W;垂直坐标为<img file="FSB0000133431800000036.GIF" wi="89" he="78" />其取值范围也为1,2,…,H;将候选图像g<sub>c</sub>中点C<sup>0</sup>的像素灰度值g<sub>c</sub>(i,j)赋予绝对基准图像g<sub>A</sub>中与之对应点A<sup>0</sup>后,将计算出的绝对基准图像g<sub>A</sub><sub>←</sub><sub>C</sub>向无人机空中视频情报侦察装置输出; 第十步,将当前候选图像g<sub>c</sub>作为下一轮计算的基准图像g<sub>B</sub>,即令g<sub>B</sub>=g<sub>c</sub>; 第十一步,判断是否有关机命令,若为否,则返回到第二步,若为是,则结束操作。 
地址 710065 陕西省西安市雁塔区电子三路西段九号