一种基于机器视觉的空中受油引导控制方法

摘要

本发明属于飞行控制技术领域，具体涉及到一种基于机器视觉引导的空中受油引导控制方法。本发明是针对为拓宽作战范围为提高成功回收的几率，具有加受油功能的飞机。其特征在于，实现空中加油的关键在于准确测量加油锥管和受油机之间的相对位置，以及对受油机实施有效的引导和控制。对于视觉引导系统来说，可以分为视觉导航与引导控制两个主要组成部分。假定加油机进行定高匀速直线平飞，在加油机的加油锥管上安装辅助光学标记，受油机上安装摄像机，采用视觉测量技术实时测量加油锥管的位置和姿态，设计适当的飞行控制率对受油机进行引导，完成加油对接。本发明适应受油任务特点、降低受油任务过程中飞行员操纵负担，大大提高受油任务成功率。

主权项

一种基于机器视觉的空中受油引导控制方法，其特征在于，包括如下步骤：第一，定义加油机、受油机、加油锥、摄像头所在的坐标系，通过各个坐标系之间的变换来描述几何位姿关系，求解加油锥坐标系的中心到加油探头的距离；第二，对摄像头采集图像进行彩色空间到色相、饱和度和明度化处理，H、S、V三个通道的图像，彩色空间简称RGB，色相、饱和度和明度简称HSV，选取其中的H、S通道图像进行给定阈值分割，此时，得到二值化的图像；二值化图像存在噪声，用腐蚀、膨胀形态处理，将噪声去掉，对两个通道的二值图像进行融合，然后检测到LED光点，并为最后加油锥与摄像机相对位姿测量做准备；由于检测对象是加油锥上的红色LED点，通过RGB彩色空间到HSV空间的变换，得到三个通道H、S、V的值，然后对H、S通道的图像进行阈值分割，可以检测到目标点；第三，进行对应点匹配，即匹配标记连续帧图像对应特征点的位置；通过摄像机采集到加油锥特征点P_j在图像上的投影点坐标，假定投影点集为从摄像机采集图像提取特征点得到的观测点集为{p₁,p₂,…p_n}，其中p_j＝(u_j,v_j)是图像坐标，而对应的投影点集为其中是利用针孔投影成像模型计算得到的图像坐标；对于点集p_j,计算两者之间的欧式距离矩阵Err，矩阵大小为m×n：$Err=\left[\begin{array}{cccc}d({\hat{p}}_1,p_1)& d({\hat{p}}_1,p_2)& \mathrm{...}& d({\hat{p}}_1,p_n)\\ d({\hat{p}}_2,p_1)& d({\hat{p}}_2,p_2)& \mathrm{...}& d({\hat{p}}_2,p_n)\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ d({\hat{p}}_m,p_1)& d({\hat{p}}_m,p_2)& \mathrm{...}& d({\hat{p}}_m,p_n)\end{array}\right]$点集对应数学模型如下：假设有两个点集A,B,s_ik表示集合A中的点i与集合B中的点k之间的欧式距离，要建立A、B两个点集之间的一一对应的关系，即转化为如下公式：$\left\{\begin{array}{c}min{\Sigma }_{i=1}^N{\Sigma }_{k=1}^M{s}_{ik}{x}_{ik}\\ \begin{array}{cc}{\Sigma }_{i=1}^N{x}_{ik}=1& k=1...M\\ {\Sigma }_{k=1}^M{x}_{ik}=1& i=1...N\end{array}\\ s_{ik}>0\\ x_{ik}\in \{0,1\}\end{array}\right.$其中S＝{s_ik|s_ik＝dist(a_i,b_k),a_i∈A,b_k∈B,i＝1...N,k＝1...M}；测量得到LED点在图像上的位置信息，然后与加油锥上的标记点对应起来，对应点标记可转化为数学指派问题来描述；P表示LED点在加油锥上的位置:P＝{p₁,…,p_N}A表示点集P通过旋转、缩放矩阵R和转移向量t以及摄像机投影变换到图像坐标系的点集:A＝{a₁,...,a_N}B表示图像检测得到的特征点集:B＝{b₁,...,b_M}C表示点集A与点集B对应点匹配，定义如下:C＝{(a_i,b_j)|a_i∈A,b_j∈B}第四，在特征点匹配后，进行位姿计算，加油锥图像特征点2D到3D的转化，通过旋转、缩放矩阵R和平移向量T的几何变化，获得加油锥到摄像机坐标系的相对距离信息，然后转化得到相对于受油机坐标系的位置信息[x_drogue y_drogue z_drogue]；已知受油机加油管在受油机坐标系的位置信息[x_probe y_probe z_probe]，那么空中加油的控制输入为：$\left[\begin{array}{c}{e}_x\\ e_y\\ e_z\end{array}\right]=\left[\begin{array}{c}{x}_{drogue}-x_{probe}\\ y_{drogue}-y_{probe}\\ z_{drogue}-z_{probe}\end{array}\right]$有GLSDC和LHM两种算法来估计摄像机坐标系下加油锥的位置和Euler姿态角在机器视觉测量系统获取加油机上加油锥的姿态和位置信息后传给受油机的控制系统；控制系统根据受油机自身的姿态、位置信息与从机器视觉测量系统获取的加油锥的信息进行结算，得到受油机与加油锥之间的相对距离矢量r_d；r_d与期望相对距离r相减得到误差信号e；e通过控制器模块产生控制指令u以控制受油机。