基于多模态自然交互的单操作员多无人机混合主动控制方法

摘要

本发明提供一种基于多模态自然交互的单操作员多无人机混合主动控制方法，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。

主权项

一种基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制；所述语音控制模态用于控制无人机执行特定的任务，包括目标打击、区域探测以及区域的搜索任务，属于任务层控制；所述眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制；所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制；所述操纵杆控制模态用于操纵无人机执行底层控制任务，包括控制无人机的飞行状态或飞行轨迹；所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距，通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为；操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。