一种基于视觉特征的无人机

摘要

本发明公开了一种基于视觉特征的无人机，包括无人机和安装在无人机上的监控装置，监控装置具体包括预处理模块、检测跟踪模块、识别输出模块，其中预处理模块包含图像转化、图像滤波、图像增强三个子模块，检测跟踪模块包含构建、丢失判别、更新三个子模块。本无人机将视频图像技术运用在无人机上，能有效监控记录恶意破坏行为，具有实时性好、定位准确、自适应能力强、图像细节保留完整和鲁棒性强等优点。

主权项

一种基于视觉特征的无人机，包括无人机和安装在无人机上的监测装置，监测装置用于对无人机附近的活动进行视频图像监测，其特征是，监测装置包括预处理模块、检测跟踪模块、识别输出模块；(1)预处理模块,用于对接收到的图像进行预处理，具体包括图像转化子模块、图像滤波子模块和图像增强子模块：图像转化子模块,用于将彩色图像转化为灰度图像:$\begin{array}{c}H(x,y)=\frac{\max \left(R\right(x,y),G(x,y),B(x,y))+\min \left(R\right(x,y),G(x,y),B(x,y))}{2}+2\left(\max \right(R(x,y),G(x,y),B(x,y))-\\ min\left(R\right(x,y),G(x,y),B(x,y)\left)\right)\end{array}$其中，R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值，H(x,y)代表坐标(x,y)处的像素灰度值；图像大小为m×n；图像滤波子模块，用于对灰度图像进行滤波：采用维纳滤波来进行一级滤除后，定义svlm图像，记为M_svlm(x，y)，具体定义公式为：M_svlm(x，y)＝a₁J₁(x，y)+a₂J₂(x，y)+a₃J₃(x，y)+a₄J₄(x，y)，其中a₁、a₂、a₃、a₄为可变权值，i＝1，2，3，4；J(x，y)为经滤波后的图像；图像增强子模块：当$|128-m|>\sqrt[3]{|\omega -50|}$时，$L(x,y)=255\times {\left(\frac{H(x,y)}{255}\right)}^{\psi (x,y)},$其中，L(x,y)为增强后的灰度值；ψ(x，y)是包含有局部信息的伽马校正系数，此时α是范围为0到1的可变参数，ω为模板尺度大小参量，尺度越大则模板中包含的邻域像素信息就越多，输入图像经过不同尺度ω_i的模板，得到的图像J_i将会包含不同范围的邻域信息；当$|128-m|\le \sqrt[3]{|\omega -50|}$且ω＞50时，$L(x,y)=255\times {\left(\frac{H(x,y)}{255}\right)}^{\psi (x,y)\times (1-\frac{\omega -50}{{\omega }^2})},$其中ψ(x，y)＝ψ_α(M_svlm(x，y))，m_H是图像中灰度值高于128的所有像素的均值，m_L是灰度值低于128的所有像素的均值，且此时m＝min(m_H，m_L)，在α值已知的情况下，计算出256个ψ校正系数作为查找表，记为其中i为索引值，利用M_svlm(x，y)的灰度值作为索引，根据ψ(x，y)＝ψ_α(M_svlm(x，y))快速获得图像中每个像素的伽马校正系数为模板修正系数；(2)检测跟踪模块，具体包括构建子模块、丢失判别子模块和更新子模块：构建子模块，用于视觉字典的构建：在初始帧获取跟踪目标的位置和尺度，在其周围选取正负样本训练跟踪器，将跟踪结果作为训练集X＝{x₁，x₂，......x_N}^T；并对训练集中的每幅目标图像提取128维的SIFT特征其中S_t表示训练集中第t幅目标图像中SIFT特征的个数；跟踪N帧以后，通过聚类算法将这些特征划分为K个簇，每个簇的中心构成特征单词，记为能够提取到的特征总量其中K＜＜F_N，且视觉字典构建好以后，每幅训练图像表示为特征包的形式，用于表示视觉字典中特征单词出现的频率，用直方图h(x_t)表示，h(x_t)通过以下方式获取：将一幅训练图像X_t中的每一个特征f_s^(t)向视觉字典投影，用投影距离最短的特征单词表示该特征，对所有特征投影完毕后，统计每个特征单词的出现频率，并归一化得到训练图像X_t的特征直方图h(x_t)；丢失判别子模块，用于判别目标的丢失与否：当新一帧图像到来时，从K个直方图柱中随机选取Z<K个直方图柱，且Z＝4，形成新的大小为Z的子直方图h^(z)(x_t)，子直方图的个数最多为个；计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Ф_{t_z}，其中t＝1，2，...，N，z＝1，2，...，N_s，然后计算总体相似性Ф_t＝1‑Π_z(1‑Ф_{t_z})；候选目标区域与目标的相似性用Ф＝max{Ф_t，t}表示，则目标丢失判断式为：$u=sign\left(\Phi \right)=\left\{\begin{array}{cc}1& \Phi \ge gs\\ 0& \Phi <gs\end{array}\right.,$其中gs为人为设定的判失阀值；当u＝1时目标被稳定跟踪，当u＝0时，目标丢失；当目标丢失时，定义仿射变换模型：$\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=\left(\begin{array}{cc}s.cos({\mu }_1\times \theta )& s.sin({\mu }_1\times \theta )\\ -s.sin({\mu }_1\times \theta )& s.cos({\mu }_1\times \theta )\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+{\mu }_2\left(\begin{array}{c}e\\ f\end{array}\right),$其中(x_t，y_t)和(x_t‑1，y_t‑1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标，两者均为已知量；s为尺度系数，θ为旋转系数，e和f代表了平移系数，${\mu }_1=\left\{\begin{array}{cc}1-\frac{|T-T_0|}{1000T_0}& T\ge T_0\\ 1+\frac{|T-T_0|}{1000T_0}& T<T_0\end{array}\right.$为温度旋转修正系数，${\mu }_2=\left\{\begin{array}{cc}\sqrt{1-\frac{|T-T_0|}{1000T_0}}& T\ge T_0\\ \sqrt{1+\frac{|T-T_0|}{1000T_0}}& T<T_0\end{array}\right.$为温度平移修正系数，μ₁和μ₂用于修正因为环境温度偏差造成的图像旋转和平移误差，T₀为人为设定的标准温度，设为20度，T为由温度传感器实时监测得到的温度值；采用Ransac估计算法求取仿射变换模型的参数，最后在新的尺度s和旋转系数θ下采集正负样本，更新分类器；更新子模块，用于视觉字典的更新：在每帧图像获得目标位置以后，根据仿射变换参数的计算结果，收集所有满足结果参数的SIFT特征点经过F＝3帧以后，获得新的特征点集其中S_t‑F代表了从F帧图像中得到的总特征点数；利用下式对新旧特征点重新进行K聚类：其中表示新的视觉字典，视觉字典的大小保持不变；是遗忘因子，表明了旧字典所占的比重，越小，新特征对目标丢失的判断贡献越多，取(3)识别输出模块，用于图像的识别和输出：在待识别的图像序列中利用跟踪算法获取目标区域，将目标区域映射到已知训练数据形成的子空间，计算子空间中目标区域与训练数据之间的距离，获得相似性度量，判定目标类别，并输出识别结果。