基于脑控移动眼的残疾人辅助系统及其控制方法

摘要

本发明揭示了一种基于脑控移动眼的残疾人辅助系统及其控制方法，所述系统包括视觉诱发设备、信号采集设备、信号处理模块、外围控制设备；视觉诱发设备用以提供整个系统的用户交互界面，使用者全程利用该界面进行控制；信号采集设备用以采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，传输到信号处理模块；信号处理模块用以实时分析采集到的数据，同时用来控制实验流程；外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；外围控制设备能根据信号处理模块发送的控制指令做相应的动作。本发明基于脑控移动眼的残疾人辅助系统及其控制方法，可增加轮椅控制的安全性。

主权项

一种基于脑控移动眼的残疾人辅助系统，其特征在于，所述系统包括：视觉诱发界面、信号采集设备、信号处理模块、外围控制设备；所述视觉诱发界面为整个系统的用户交互界面，使用者全程利用该界面进行控制；视觉诱发界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；视觉诱发界面的中部为视频实时反馈框，显示摄像头传输回的视频路况信息；顶部为控制命令显示栏，第一行目标target位置显示控制目标，框中反馈feedback部分显示系统输出的文字反馈；视频实时反馈框的周围有若干图标，该图标是带有指令图片的人脸刺激源，在智能车控制和轮椅控制模式下有不同的控制指令，在智能车控制模式下，控制智能车运动，在轮椅控制模式下控制轮椅运动；系统运行中，人脸刺激源将按照上位机的控制，以设定规律来进行诱发刺激；诱发刺激方式为：指令图片左侧为刺激产生位置，当图标不进行诱发刺激时，方框保持蓝色；刺激开始时，蓝色区域出现一张著名人物的人脸，随后立刻消失；每个图标配有闪烁编码，这些编码增加系统中对同一个目标的闪烁间隔，以求增加所诱发信号的质量；同时，增加多余的闪烁组，以减少错误指令被输出的可能；最后为部分重要的按钮指令选择独特的闪烁组，避免保该按钮被错误选择；所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理模块；所述信号处理模块用以实时分析采集到的数据；脑电波数据从信号采集设备输入到信号处理模块，电脑将对数据进行巴特沃兹带通滤波，特征提取，最后利用贝叶斯线性分类器进行分类；在实施分类前利用离线数据建模。信号处理模块同时作为上位机，控制整个实验流程，对视觉诱发设备、外围控制设备发出指令；该指令为如下命令中的一种或多种：控制轮椅、智能车移动，摄像头云台移动，诱发界面切换，同时发送文字反馈给视觉诱发界面，控制界面闪烁；所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；能根据信号处理模块发送的控制指令做相应的动作；在系统开始工作前，所述信号处理模块将按如下规则计算闪烁刺激出现的次序；(1)同一个位置不能连续出现闪烁刺激2次；(2)所有12组刺激必须出现，而且仅出现一次，完成一轮trial；之后下一轮trial开始；需要闪烁刺激时，数据处理模块按照固定时间间隔，挨个发送刺激序列中的每一个刺激组别，视觉诱发模块接收命令后，在相应图标产生刺激；使用者第一次使用系统前，需要为训练分类器采集离线数据，离线数据的采集包括如下步骤：(1)使用者根据提示注视指令按钮，默数该按钮左侧人脸出现的次数；(2)所有按钮会根据刺激序列重复出现多次，随后使用者根据提示注视下一个目标；(3)完成一定数量的目标后，结束离线采集；所述信号处理模块建模包括如下步骤：(1)对每一个刺激后，采集800ms脑电数据，滤波，特征提取；(2)对每一个刺激的脑电数据进行标注：目标或者非目标；(3)训练分类器产生模型；所述信号处理模块的P300信号处理流程为：步骤A1、每一个闪烁刺激命令发送后，数据处理程序将接收到的数据存放在缓存中；步骤A2、当紧接着某个刺激的800ms的数据被记录下后，程序开始处理数据；步骤A3、预处理，包括1‑30Hz巴特沃兹带通滤波和4点的下采样；步骤A4、预处理后的特征通过贝叶斯线性分类器进行计算，得出对应score；步骤A5、当一个trial结束后，其中12个刺激对应的脑电数据都被处理，得出12个评分score，选出最大的2个score代表的闪烁组别，对应表2，得到相应命令；步骤A6、如果得到的命令存在，被记录，不然被抛弃；步骤A7、如果连续的两个trial得出的命令都存在，且相同，该命令作为控制信号输出，同时暂停闪烁刺激命令发送；如果信号不稳定则设置为多轮trial相同才输出；或者如果信号不稳定则设置为多轮trial相同、同时轮trial需达到一定的数量才输出。