基于视觉注意机制的电子稳像方法

摘要

一种基于视觉注意机制的电子稳像方法，包括以下步骤：对参考帧进行前景运动区域检测，标记前景运动子块；提取参考帧中全局显著特征点；特征点对匹配；误匹配特征点对剔除；运动参数获得；运动滤波；快速运动补偿；重建未定义的边界信息，获得全景图像。本发明方法通过全局显著特征点对的提取、匹配、验证和运动参数计算，以及自适应滤波平滑运动获得补偿参数，提高视频帧间的视觉稳定度和清晰度，消除或者减轻了视频序列的不稳定现象，改善了视频监控或者跟踪系统的观测效果。

主权项

一种基于视觉注意机制的电子稳像方法，其特征在于，包括以下步骤：步骤1、对参考帧进行前景运动区域检测，标记前景运动子块步骤；子步骤1a、对视频序列的一段连续帧图像进行平均，获得背景图像B(x,y)，x、y表示像素点的x轴和y轴坐标；子步骤1b、定义k‑1时刻的图像为参考帧f_k‑1(x,y)，k时刻的图像为当前帧f_k(x,y)，分别计算它们与背景图像B(x,y)的差分图像：参考帧差分图像D_k‑1(x,y)＝abs[f_k‑1(x,y)‑B(x,y)]，当前帧差分图像D_k(x,y)＝abs[f_k(x,y)‑B(x,y)]；子步骤1c、将参考帧差分图像D_k‑1(x,y)和当前帧差分图像D_k(x,y)分别划分成互不重叠的M×N个子块，所述子块尺寸为I×J像素，计算各子块内的平均绝对误差：参考帧图像子块平均绝对误差当前帧图像子块平均绝对误差其中，i＝1,…,I，j＝1,…,J，m＝1,…,M，n＝1,…,N；子步骤1d、计算参考帧子块差分平均值和当前帧子块差分平均值，分别作为阈值Th1和Th2：Th1＝∑B_k‑1(m,n)/(M×N)，Th2＝∑B_k(m,n)/(M×N)；子步骤1e、通过二值化初步判断各子块是否为运动子块，定义MO_k‑1(m,n)为参考帧运动子块，MO_k(m,n)为当前帧运动子块，判断条件如下：${\mathrm{MO}}_{k-1}(m,n)=\{\begin{array}{cc}1,& \begin{array}{cc}if& B_{k-1}(m,n)>{\mathrm{Th}}_1\end{array}\\ 0,& else\end{array},$${\mathrm{MO}}_k(m,n)=\{\begin{array}{cc}1,& \begin{array}{cc}if& B_k(m,n)>{\mathrm{Th}}_2\end{array}\\ 0,& else\end{array};$子步骤1f、对参考帧运动子块MO_k‑1(m,n)进行空域相似性检测，将不属于运动前景的子块删除；子步骤1g、对参考帧运动子块MO_k‑1(m,n)进行时域相似性检测，将不属于运动前景的子块删除；经过空域、时域相似性检测后，最终保留的运动子块为运动前景区域；步骤2、提取参考帧中全局显著特征点步骤；子步骤2a、将参考帧f_k‑1(x,y)利用下式计算梯度图像：$\{\begin{array}{c}X=f_{k-1}\otimes \left(-1,0,1\right)\\ Y=f_{k-1}\otimes {(-1,0,1)}^T\end{array};$其中，表示卷积，X表示水平方向的梯度图像，Y表示垂直方向的梯度图像，[·]^T表示转置操作；子步骤2b、构造自相关矩阵R：$R=\left[\begin{array}{cc}{X}^2\otimes w& XY\otimes w\\ XY\otimes w& Y^2\otimes w\end{array}\right];$其中，为高斯平滑窗函数，为窗函数的标准差；子步骤2c、计算Harris角点响应值R_H：R_H＝λ₁×λ₂‑0.05·(λ₁+λ₂)；其中，λ₁和λ₂为自相关矩阵R的两个特征值；子步骤2d、将参考帧f_k‑1(x,y)划分成互不重叠的M×N个子块，子块尺寸为I×J像素，将参考帧f_k‑1(x,y)的每个子块内的最大Harris角点响应值作为该子块的特征响应值R_HMAX(m,n)；子步骤2e、将特征响应值R_HMAX(m,n)进行由高到低的排序，取出前20％较大值，将所述特征响应值对应的位置记为参考帧特征点(x_i,y_i)；子步骤2f、利用子步骤1g的结果对参考帧特征点(x_i,y_i)进行判断，判断该特征点对应的参考帧运动子块MO_k‑1(m,n)及其周围8相邻领域内是否为1，若为1，则表明该特征点属于运动目标或者在运动边界的不可靠区域，该特征点予以删除；步骤3、特征点对匹配步骤；子步骤3a、在参考帧f_k‑1(x,y)中以参考帧特征点(x_i,y_i)为中心，构建尺寸为P×Q像素的特征窗；子步骤3b、利用全搜索策略及最小误差和SAD准则，在当前帧f_k(x,y)中找到对应的匹配窗，匹配窗尺寸为(P+2T)×(Q+2T)像素，匹配窗的中心点即为当前帧匹配特征点其中，T表示水平方向和垂直方向的像素最大偏移量，SAD准则的计算公式为：$SAD(x,y)=\underset{p=1}{\overset{P}{\Sigma }}\underset{q=1}{\overset{Q}{\Sigma }}|f_{k-1}(p,q)-f_k(p+x,q+y)|,$p＝1,…,P，q＝1,…,Q，x,y＝‑T,…,T；步骤4：误匹配特征点对剔除步骤；根据欧式距离公式计算参考帧和当前帧的第i对特征点对在水平方向和垂直方向平移量的距离，将匹配的特征点对利用距离正态性分布特征进行距离验证，剔除误匹配特征点对，得到正确匹配的C对特征点对；步骤5：运动参数的获得步骤；子步骤5a、建立描述参考帧特征点(x_i,y_i)和当前帧匹配特征点间关系的运动参数模型：$\left[\begin{array}{c}\hat{x}\\ \hat{y}\end{array}\right]=\left[\begin{array}{cc}1& -\theta \\ \theta & 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}u\\ v\end{array}\right],$其中，θ为图像旋转角度，u为像素垂直平移量，v为像素水平平移量，θ、u和v组成运动参数；子步骤5b、将正确匹配的C对特征点对代入运动参数模型，整理得到运动参数矩阵方程：$B=\left[\begin{array}{ccc}{\hat{x}}_1& & {\hat{y}}_1\\ {\hat{x}}_2& & {\hat{y}}_2\\ & .& \\ & .& \\ & .& \\ {\hat{x}}_c& & {\hat{y}}_c\end{array}\right],A=\left[\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ & .& \\ & .& \\ & .& \\ x_c& y_c& 1\end{array}\right],m=\left[\begin{array}{c}\theta \\ u\\ v\end{array}\right];$子步骤5c、求解超定线性方程B＝Am，运动参数矩阵m的最小二乘解为m＝(A^TA)^‑1AB，从而得到运动参数；步骤6：运动滤波步骤；子步骤6a、令状态矢量S(k)＝[u(k),v(k),du(k),dv(k)]^T，观测矢量Z(k)＝[u(k),v(k)]^T，其中，u(k)为k时刻的像素垂直平移量，v(k)为k时刻的像素水平平移量，du(k)为k时刻像素垂直平移量对应的瞬时速度，dv(k)为k时刻像素水平平移量对应的瞬时速度；子步骤6b、建立线性离散系统模型，得到状态方程和观测方程：状态方程为S(k)＝F·S(k‑1)+δ，观测方程为Z(k)＝H·S(k)+η；其中，$F=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$是状态转移矩阵，$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$是观测矩阵，δ、η为相互独立的白噪声，δ～N(0,Φ)，η～N(0,Γ)，Φ为过程噪声的方差阵，Γ为观测噪声的方差阵；子步骤6c、建立系统状态预测方程，并对其协方差矩阵进行预测及更新，完成运动滤波：系统状态预测方程为：S(k|k‑1)＝F·S(k‑1|k‑1)；对S(k|k‑1)的协方差矩阵P(k|k‑1)进行预测：P(k|k‑1)＝F·P(k‑1)F^T+Φ(k‑1)，Φ为过程噪声的方差阵；系统状态更新方程为：S(k|k)＝S(k|k‑1)+K_g(k)·ε(K)；更新k时刻状态下S(k|k)的滤波方差矩阵：P(k|k)＝(Ψ‑K_g(k)·H)·P(k|k‑1)；其中，K_g(k)＝P(k|k‑1)·H^T(H·P(k|k‑1)·H^T+Γ(k))^‑1为Kalman增益，ε(k)＝Z(k)‑H·S(k|k‑1)为新息序列，Γ为观测噪声的方差阵，Ψ为同阶的单位阵；步骤7、快速运动补偿步骤；子步骤7a、将滤波前、后平移运动分量之差u_jitter＝u‑u_filter，v_jitter＝v‑v_filter结合图像旋转角度θ，作为补偿参数其中，u为像素垂直平移量，v为像素水平平移量，u_jitter为滤波后的像素垂直平移量，v_jitter为滤波后的像素水平平移量；子步骤7b、利用运动参数模型计算当前帧f_k(x,y)首行首列像素[x,y]的旋转结果：$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}1& -\theta \\ \theta & 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{u}_{jitter}\\ v_{jitter}\end{array}\right];$子步骤7c、根据图像坐标线性结构进行加减运算，计算出当前帧f_k(x,y)其余行列的像素，获得当前帧像素的新坐标[x′,y′]，实现当前帧的补偿；步骤8、重建未定义的边界信息，获得全景图像步骤；以参考帧f_k‑1(x,y)作为初始全景图，利用图像拼接技术，对参考帧和当前帧进行融合，根据图像融和策略确定融合后图像的每个像素点(x′,y′)的灰度值，得到补偿图像f(x′,y′)，实现全景图像输出：$f(x^{\prime },y^{\prime })=\left\{\begin{array}{cc}{f}_{k-1}(x^{\prime },y^{\prime })& (x^{\prime },y^{\prime })\in f_{k-1}\\ {\mathrm{\tau f}}_{k-1}(x^{\prime },y^{\prime })+{\mathrm{\xi f}}_k(x^{\prime },y^{\prime })& (x^{\prime },y^{\prime })\in \left(f_{k-1}\cap f_k\right)\\ f_k(x^{\prime },y^{\prime })& (x^{\prime },y^{\prime })\in f_k\end{array}\right.$上式中的τ、ξ表示权重值，代表该像素点相对位置与重叠区域宽度的比例，即该像素点与边界点位置之差，且τ+ξ＝1,0＜τ,ξ＜1，在重叠区域中，τ由1渐变至0，ξ由0渐变至1；所述子步骤1f中对参考帧运动子块MO_k‑1(m,n)进行空域相似性检测的具体步骤为：统计参考帧运动子块MO_k‑1(m,n)周围8相邻的运动子块的数量，如运动子块数量小于3，说明该运动子块为背景中差异较大的孤立子块，不属于运动前景，予以删除，否则说明该子块和领域块相似，都属于前景运动区域：${\mathrm{MO}}_{k-1}(m,n)=\{\begin{array}{cc}1,& \begin{array}{cc}if& \underset{l=0}{\overset{1}{\Sigma }}{\mathrm{MO}}_{k-1}(m\pm l,n\pm l)\ge 3\end{array}\\ 0,& else\end{array},$l是取值为0、1的变量；所述子步骤1g中对参考帧运动子块MO_k‑1(m,n)进行时域相似性检测的具体步骤为：在当前帧运动子块MO_k(m,n)周围8相邻的运动子块中判断是否有运动子块，若有则说明目标在时间上连续，是真实的运动前景，否则，视为偶尔出现的误检，需要删除，最终保留的运动子块为运动前景区域：${\mathrm{MO}}_{k-1}(m,n)=\{\begin{array}{cc}1,& \begin{array}{cc}if& \underset{l=0}{\overset{1}{\Sigma }}{\mathrm{MO}}_k(m\pm l,n\pm l)\ge 1\end{array}\\ 0,& else\end{array},$l是取值为0、1的变量；所述步骤6还包括协方差矩阵的修正步骤，在完成子步骤6c后继续执行以下步骤：子步骤6d、利用新息序列ε(k)的性质来判断滤波是否发散：ε(k)^T·ε(k)≤γ·Trace[H·P(k|k‑1)·H^T+Γ(k)]；其中，γ为可调系数且γ＞1；子步骤6e、当子步骤6d中式子成立时，说明滤波器处于正常工作状态，直接得到当前状态的最优估计值；当式子不成立时，表明实际误差将超过理论估计值的γ倍，滤波将发散，此时通过加权系数C(k)对子步骤6c中的协方差矩阵P(k|k‑1)进行修正，修正完毕后完成运动参数的自适应滤波，修正公式如下：P(k|k‑1)＝C(k)·F·P(k‑1)·F^T+Φ(k)，$C\left(k\right)=\frac{ϵ{\left(k\right)}^T·ϵ\left(k\right)-Trace[H·\Phi \left(k\right)·H^T+\Gamma \left(k\right)]}{Trace[H·F·P\left(k\right)·F^T·H^T]}.$