一种基于多信息融合的三模态串行脑-机接口方法

摘要

本发明公开了一种基于多信息融合的三模态串行脑‑机接口方法，包括以下步骤：采用两种视觉刺激范式对被试者进行刺激；提取被试者的脑电数据；设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果；将最终模式识别结果转换为控制指令，通过执行控制指令完成特定的任务。该混合范式脑‑机接口引入了除脑电信号之外的电生理控制信号，在某种程度上拓展了脑‑机接口的适用环境和对象。其具有稳定性较高、多选择项以及适用范围广等优点，为脑‑机接口尽快步入大范围时间应用阶段奠定基础。该项发明可以用于电子娱乐、工业控制等领域，并可以得到完善的脑‑机接口系统，有望获得可观的社会效益和经济效益。

主权项

一种基于多信息融合的三模态串行脑‑机接口方法，其特征在于，所述方法包括以下步骤：(1)采用两种视觉刺激范式对被试者进行刺激；(2)提取被试者的脑电数据；(3)设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果；(4)将最终模式识别结果转换为控制指令，通过执行控制指令完成特定的任务；所述设置相关参数，读取脑电数据，对脑电数据进行预处理、特征提取和模式识别，获取最终模式识别结果的步骤具体为：1)首先调用参数；2)读取实时的脑电数据，从第二秒开始正式进入到数据处理阶段；3)处理数据时，依照顺序首先进入光标移动状态的判断，截取当前时刻前2s的脑电数据，进行典型相关分析，得到最大的典型相关系数，并与前1s数据得到的最大典型相关系数做累加，累加3次后，将累加结果与设定好的阈值相比较，若大于阈值则统计3次的结果并做出模式识别后将模式识别结果发出；4)如果没有大于阈值，进行咬合操作的判断，处理分析所截取2s数据的后1s数据进行咬合操作的时域分析，提取时域特征并进行判断，若判断为长时程咬合操作，则代表进入鼠标单击状态，并发送模式识别结果；若为短时程咬合操作，则进入字符拼写状态的预开启模式；若判断为无咬合操作，则代表处于空闲状态；所述长时程咬合操作为咬合持续时间大于600ms；所述短时程咬合操作为咬合持续时间小于600ms；5)一轮结果输出后，继续下一轮状态的判断和结果输出；其中，所述光标移动状态为检测并判断用户正注视SSVEP闪灯范式，进而将最终模式识别结果转化为光标移动的控制指令；所述字符拼写状态为检测并判断用户开启P300模式，并注视Oddball范式中的目标字符，进而将最终模式识别结果转化为键盘输入的控制指令；所述鼠标单击状态为检测并判断用户执行了长时程的咬合动作，进而将最终模式识别结果转化为单击鼠标左键的控制指令；所述空闲状态是从用户的数据中没有检测出任何信息特征时，判定用户处于空闲状态，空闲状态时，不输出任何结果且不执行任何操作。