基于视觉注意的红外图像与可见光图像配准方法

摘要

基于视觉注意机制的红外图像与可见光图像配准方法，步骤如下：输入原始红外和可见光图像，通过视觉注意机制模型获取红外和可见光图像的视觉显著区域；通过Hu矩的不变矩计算，对红外和可见光图像的视觉显著区域进行粗匹配；在粗匹配的红外和可见光图像的视觉显著区域内搜寻质心，以质心作为视觉显著点，以视觉显著点代表视觉显著区域；基于去均值归一化互相关原理对视觉显著点进行细匹配；采用RANSAC算法对精确匹配的图像进行提纯，计算配准估计函数，通过配准估计函数进行图像变换，实现图像的配准、输出。本发明通过模拟人眼的视觉注意机制作为图像的特征检测方法提取稳定的特征，经过匹配后，精确实现红外图像与可见光图像的配准。

主权项

基于视觉注意机制的红外图像与可见光图像配准方法，其特征在于，包括以下步骤：输入原始红外图像和原始可见光图像，步骤1、通过视觉注意机制模型获取红外图像和可见光图像的视觉显著区域：步骤1‑1、将原始红外图像和原始可见光图像分别进行灰度处理，得到红外灰度图和可见光灰度图，将红外灰度图作为单一尺度下的红外亮度图，将可见光灰度图作为单一尺度下的可见光亮度图；步骤1‑2、构造m个尺寸为n×n像素、方向为的Gabor滤波器，分别对红外灰度图与可见光灰度图进行滤波，对应得到m幅单一尺度下的红外方向图和m幅单一尺度下的可见光方向图；步骤1‑3、建立图像的多尺度空间：对单一尺度的红外、可见光亮度图和单一尺度的红外、可见光方向图分别逐级进行隔行隔列的降采样和平滑处理，形成各图像的金字塔模型，得到多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图；步骤1‑4、对多尺度的红外、可见光亮度图和多尺度的红外、可见光方向图进行中央周差操作，利用金字塔模型高层图像与低层图像进行减运算，对应得到红外、可见光亮度特征图和红外、可见光方向特征图；步骤1‑5、对红外、可见光亮度特征图和红外、可见光方向特征图分别归一化合并，对应得到红外、可见光亮度显著图和红外、可见光方向显著图；步骤1‑6、线性叠加获取总显著图，通过全局搜索确定视觉显著区域；将红外亮度显著图和红外方向显著图通过线性叠加得到红外总显著图，将可见光亮度显著图和可见光方向显著图通过线性叠加得到可见光总显著图，分别通过胜者全取策略全局搜索极大值，得到图像的视觉显著区域；步骤2：通过Hu矩的不变矩计算，对红外图像和可见光图像的视觉显著区域进行粗匹配：步骤2‑1、将原始红外图像和原始可见光图像分别转换为二值图像，通过链码获取前述图像的轮廓；步骤2‑2、将红外图像的视觉显著区域、可见光图像的视觉显著区域分别导入步骤2‑1得到的红外图像的轮廓和可见光图像的轮廓中，得到红外图像的视觉显著区域轮廓图和可见光图像的视觉显著区域轮廓图；步骤2‑3、对红外图像和可见光图像的视觉显著区域进行粗匹配，步骤如下：a.计算视觉显著区域的中心矩u_pq：$u_{pq}=\underset{y=1}{\overset{M}{\Sigma }}\underset{x=1}{\overset{N}{\Sigma }}{(x-\bar{x})}^p{(y-\bar{y})}^{q}f(x,y),p,q=0,1,2...,$其中，f(x,y)为视觉显著区域轮廓图中像素点的像素灰度值，为视觉显著区域轮廓图的重心，N为视觉显著区域轮廓图的高度，M为视觉显著区域轮廓图的宽度；b.归一化中心矩计算式：η_pq＝u_pq/(u₀₀^ρ)，其中ρ＝(p+q)/2+1；c.构造Hu矩的不变矩：M1＝η₂₀+η₀₂，M2＝(η₂₀‑η₀₂)²+4η₁₁²，M3＝(η₃₀‑3η₁₂)²+(3η₂₁‑η₀₃)²；d.计算红外图像与可见光图像的一阶矩比值：M1/M1',及二阶矩比值：M2/M2',M3/M3'，若三组比值都在阈值范围内则视为匹配区域；步骤3、在粗匹配的红外图像和可见光图像的视觉显著区域内搜寻其质心，以质心作为视觉显著点，以视觉显著点代表视觉显著区域；计算红外、可见光视觉显著区域的质心，质心(x₀,y₀)通过下式计算：$x_0=\frac{\underset{(x,y)\in T}{\Sigma }xI(x,y)}{\underset{(x,y)\in T}{\Sigma }I(x,y)},y_0=\frac{\underset{(x,y)\in T}{\Sigma }yI(x,y)}{\underset{(x,y)\in T}{\Sigma }I(x,y)};$其中，T为视觉显著区域，I(x,y)为视觉显著区域内像素点亮度值；步骤4、基于去均值归一化互相关原理对视觉显著点进行细匹配；选取红外图像的视觉显著点周围l×l区域为模板，将可见光图像的视觉显著点周围l×l区域为待匹配图像，计算模板和待匹配图像的相关系数R(u,v)，对红外图像和可见光图像的视觉显著区域进行精确匹配，当相关系数R(u,v)在0.6以上则视为匹配；$R(u,v)=\frac{\underset{x=u}{\overset{u+U-1}{\Sigma }}\underset{y=v}{\overset{v+V-1}{\Sigma }}[f(x,y)-{\bar{f}}_{u,v}][t(x-u,y-v)-\bar{t}]}{\sqrt{\underset{x=u}{\overset{u+U-1}{\Sigma }}\underset{y=v}{\overset{v+V-1}{\Sigma }}{[f(x,y)-{\bar{f}}_{u,v}]}^2\underset{x=u}{\overset{u+U-1}{\Sigma }}\underset{y=v}{\overset{v+V-1}{\Sigma }}{[t(x-u,y-v)-\bar{t}]}^2}},$其中，x、y为待匹配图像的大小，U、V为模板的大小,u、v为视觉显著点，f(x,y)为待匹配图像中像素点的像素灰度值，t(x‑u,y‑v)为模板中像素点的像素灰度值，为模板的灰度均值，为待匹配图像的灰度均值；步骤5、采用RANSAC算法对精确匹配的图像进行提纯，计算配准估计函数，通过配准估计函数进行图像变换，实现红外图像和可见光图像的配准、输出。