一种多模态信号的脑机接口方法

摘要

本发明公开了一种多模态信号的脑机接口方法，包括校准阶段和识别阶段。在校准阶段，将同步采集的脑电和近红外光学脑信号分别进行预处理得到三种模态的信号。对三种模态的信号分别提取特征，并用特征向量分别训练分类器1、分类器2和分类器3。然后用训练好的三个分类器的输出信号来训练分类器4。在识别阶段，将同步采集的脑电和近红外光学脑信号预处理和提取特征，再将三种模态信号的特征向量分别输入到分类器1、分类器2和分类器3中，然后将三个分类器的分类结果输入到分类器4，最后的多模态信号的脑机接口的输出结果。本发明的优点在于能提高单一模态信号的脑机接口的精度，有效克服单一模态信号的脑机接口文盲现象。

主权项

一种多模态信号的脑机接口方法，其特征在于，包括校准阶段和识别阶段，具体步骤如下：步骤一、校准阶段：步骤1.1：使用者根据提示完成左侧或右侧身体部位的运动想象任务；多通道脑电采集系统和近红外光学脑信号采集系统同时实时采集使用者在脑机接口校准阶段任务执行过程中的多通道脑电和近红外光学脑信号；步骤1.2：对多通道脑电信号和近红外光学脑信号分别进行预处理；步骤1.3：用t秒长度的时间窗分别对步骤1.2所得脑电信号、Δ[HbO₂]和Δ[Hb]进行分段，并进行特征提取，t的取值可以根据需要从1秒取到单个任务持续的总时间长度；具体如下：(1)在左侧或右侧身体部位想象条件下的数据片段分别用矩阵X_i(i＝1，2)来表示，X_i的行数为采样通道数，列数为采样点数；计算X_i空间协方差矩阵：其中X_i'表示X_i的转置矩阵，trance(X_iX_i')表示X_iX_i'的迹，即对角线元素的和；(2)计算上述两类条件下所有训练数据片段的平均空间协方差矩阵和以及混合空间协方差矩阵(3)C_C分解为C_C＝U_Cλ_CU_C'，其中U_C是C_C的特征向量矩阵，λ_C是由特征值组成的对角矩阵；(4)进行白化处理：即处理后，PC_CP'所有的特征值都为1；如果将和进行如下变换：则S₁和S₂有相同的特征向量；如果S₁＝Bλ₁B'，则有S₂＝Bλ₂B'，且λ₁+λ₂＝I，其中λ₁和λ₂分别为S₁和S₂的特征值组成的对角矩阵，B为S₁和S₂的特征向量矩阵；(5)计算空间滤波矩阵W＝(B'P)'；(6)对X_i进行变换，将其从时域空间变换到特征空间：Z_i＝WX_i；Z_i的第一行分别作为左手和右手想象数据片段的特征向量，用来训练分类器；步骤1.4：将步骤1.3所得的三种模态信号的特征向量分别来训练分类器1、分类器2和分类器3；步骤1.5：将分类器1、分类器2和分类器3的输出作为分类器4的训练数据，训练分类器4；步骤二、识别阶段：步骤2.1：使用者完成左侧或右侧身体部位的运动想象任务；多通道脑电信号采集系统和近红外光学脑信号采集系统分别实时采集使用者在脑机接口任务识别阶段的多通道近红外光学脑信号；步骤2.2：按照所述步骤1.2和1.3的方法对多通道脑电和近红外光学脑信号进行预处理和特征提取，得到三种模态的待识别数据的特征向量；步骤2.3：对待识别数据特征向量进行分类；先将三种模态的待识别数据特征向量分别输入到分类器1、分类器2和分类器3中，然后将三个分类器的分类结果输入到分类器4中，最后输出为使用者进行脑机接口任务的类别。