[0068] 以下结合附图对本发明作进一步说明。
[0069] 基于时间编码的外骨骼混合脑机接口控制方法的工作流程如图1所示,具体如下:
[0070] 1.EEG信号采集
[0071] 使用者可选择性的注视稳态诱发电位视觉刺激器与运动想象视频以产生不同的生理特征信号,系统通过脑电采集设备以对EEG原始信号进行采集。脑电采集设备的电极分布为国际10‑20导联标准,共C3,C4,A1,A2,O1,O2,Fp1,Fp2,F7,F3,Fz,F4,F8,T3,T4,T5,P3,P4,T6,Cz,Pz 21个电极,采样率为300Hz。
[0072] 2.EEG数据预处理
[0073] 本发明设置4‑40Hz带通滤波,滤波类型为巴特沃斯滤波,电极阻抗<1.0MOhm。对各段原始脑电信号均进行数据预处理,目的是减少伪迹的干扰,提高信噪比,从而提高特征提取的有效性。
[0074] 3.稳态诱发视觉电位的外骨骼运动模式控制
[0075] 本发明共置两个稳态诱发视觉电位的视觉刺激器,分别放置在左右两侧。本发明识别使用者EEG信号中单个时间窗的稳发诱发视觉电位并进行时间窗编码,以对使用者的直立、下楼梯、上楼梯、自动行走、坐5种运动模式的运动意图进行决策并控制。具体是:
[0076] 3.1通过CCA(Canonical Correlation Analysis,典型相关分析)算法识别不同刺激频率的稳发诱发视觉电位:
[0077] 从不同通道采集到的步骤2处理后EEG信号集合X∈RC×P,其中C为通道的数量,设定为21,P为采样点数,设定为600,为单个时间窗的长度。
[0078] 设定参考信号集合Y∈R2H×T,其可被描述为式(1):
[0079]
[0080] 其中,fm表示稳态诱发电位视觉刺激器的频率,共有7.75Hz与9.75Hz两种频率,m表示刺激频率的种类,m=1,2,B表示谐波数量,H=4,F表示采样率,F=300。
[0081] 将上述EEG信号集合X与参考信号集合Y采用CCA方法分别找寻一对向量Wx∈RC和Wy2H C×P H×T T T
∈R ,以使得X∈R 与Y∈R2 在其上的投影x=X Wx和y=YWy这两者之间的相关性系数p最大,其中T表示转置。
[0082] 最大相关性系数如下式(2):
[0083]
[0084] 其中E[.]表示数学期望;
[0085] 通过上述最大相关系数pm,根据公式(3)得到决策结果
[0086]
[0087] 3.2单次时间窗所检测出的最大相关系数pm与预先设定阈值λ进行比较,若pm<λ,则表示当前为空闲状态,否则输出决策结果,λ=0.4。
[0088] 3.3对单次时间窗的EEG信号重复步骤3.1‑3.2获得单次决策结果,综合连续时间窗口的多次决策结果,若满足一种运动模式的时间窗编码,则输出对应的具体运动模式。
[0089] 在综合决策中,若系统识别到空闲状态,并不会对最终的决策结果产生任何影响。这样的综合决策不但提高了系统的识别率与假阳性,也将复杂的多分类决策分类转变为有效的时间窗编码决策分类。
[0090] 4.运动想象的外骨骼运动状态控制
[0091] 本发明分别提取使用者的三种运动想象EEG特征:左手运动想象、右手运动想象、空闲状态,并进行分类决策,以提供三种运动状态:单次左腿行走状态、单次右腿行走状态、空闲运动状态。
[0092] 4.1使用左右手运动视频对使用者进行刺激,让使用者根据视频中的运动进行意念中的运动想象。分别采集使用者在左手运动想象、右手运动想象、空闲状态的三部分的C×TEEG信号数据,作为训练集数据;获取步骤二预处理后的左手运动想象X1∈R 、右手运动想C×T
象X2∈R ,构建二分类CSP(Common Spatial Pattern,共空间模式)空域滤波器与投影矩阵。
[0093] 分别计算两者自身的协方差矩阵:
[0094]
[0095] 分别计算得到的多个协方差矩阵r1和r2的平均值,记为 和 构造混合协方差矩阵r,并对r做主分量分解,得到:
[0096]
[0097] 定义白化矩阵P为:
[0098] P=A‑1/2QT 式(6)
[0099] 用白化矩阵P对矩阵 和 进行白化变换,得到S1以及S2:
[0100]
[0101] 然后用相同的方式对S1和S2做特征值分解:
[0102]
[0103] 其中,Q1=Q2=V,且特征值矩阵Λ1和Λ2的和为单位矩阵,即
[0104] Λ1+Λ2=I 式(9)
[0105] 则,当矩阵S1与S2其中某一个矩阵在某一方向上的特征值达到最大时,对应的另一个矩阵在这一方向上的特征值将会最小。因此,取V中的前行m和后m行组成最佳空域滤波器SF,并得到投影矩阵I:
[0106] I=SFTP 式(10)
[0107] 将左手运动想象EEG信号X1∈RC×T,右手运动想象EEG信号X2∈RC×T分别通过投影矩阵进行投影分别得到两个类别的新信号:
[0108] Z1=IX1 式(11)
[0109] Z2=IX2
[0110] 对两种类别新信号各维度上的方差进行取对数处理,作为两种新的特征向量:
[0111]
[0112] 其中g1为训练集中左手运动想象的新特征,g2为训练集中右手运动想象的新特征,var表示方差函数;
[0113] 4.2为了在两类运动想象分类中引入空闲状态检测,使用一对一的方法将二类CSP算法,拓展到三类。本发明假设将左手运动想象、右手运动想象、空闲状态分别设为A类、B类、C类。对于这三类思维任务,分别从中步骤4.1所采集的三种类别数据中选出二类重复步骤4.1,最终构建三种CSP投影矩阵Ii,(i=1,2,3)与6种新的特征向量,即:A类和B类的投影矩阵I1、B类和C类的投影矩阵I2、C类与A类的投影矩阵I3,以及A类和B类的新特征g1A与g1B、B类和C类的新特征g2B与g2C、C类与A类的投影矩阵g3C与g3A。
[0114] 4.3在决策中,对采集到使用者单次时间窗的EEG信号Xv∈RC×T,利用三种投影矩阵Ii,(i=1,2,3)代入到公式(11)、(12),得到对应投影矩阵下的gv1,gv2,gv3三种特征向量。将gv1与g1A和g1B、gv2与g2B和g2C、gv3与g3C和g3A,分别三次投入kNN分类器中进行判别,第一次可以识别出放入的数据为A类还是B类,第二次投放可以识别出放入的数据为B类还是C类,第三次投放的可以识别出放入的数据为C类还是A类,分析分类器的分类结果,投票决定EEG信号的类别,投票的方式为:取识别结果为2的类别作为结果,若识别结果三种类别各一票,则本次识别作废。
[0115] kNN分类器为最邻近法的拓展,最邻近法的规则是:给定一个N类模式,其中每一类由Mi(i=1,2,...,N)个样本组成,未知类别样本为X,那么第i类的判别函数为:
[0116]
[0117] 则最邻近法的决策规则为:
[0118] f=minigi(X),i=1,2,...,N 式(14)
[0119] kNN在其规则上进行拓展:其取k个最临近的f,判断其中包含最多的类别,即为决策的类别,在本发明中,k=3,N=3。
[0120] 4.4根据时间窗对每一个输入运动想象算法的EEG信号重复步骤4.3,,达到3次单次分类就进行一次综合决策,即如果3次分类中有2次或2次以上为同一种运动状态,那么就进行综合的决策输出,作为一次运动想象事时间窗的综合决策结果。这种决策方式在提高了分类的准确率的同时,达到了运动想象脑机接口下运动状态的平滑切换。
[0121] 5.基于时间编码混合脑机接口的外骨骼融合控制
[0122] 本发明使用异步混合BCI的方式对使用者与外骨骼之间进行交互,共包含SSVEP与MI两个算法处理模块,通过时间编码方式在不同的运动模式与运动状态之间进行切换。
[0123] 一个时间编码的时间窗为2s的EEG信号,在每次成功识别后系统进行提示与切换并进入2s时间窗的空闲时间,即不识别任何EEG信号,防止误判。
[0124] SSVEP算法模块可结合时间编码识别直立、下楼梯、上楼梯、自动行走、坐五种运动模式,并根据一定的时间编码进行切换,MI算法模块可结合时间编码识别单次左腿行走、单次右腿行走、空闲状态的运动状态。
[0125] SSVEP算法模块,如图2时间窗编码的有限状态机转换图所示,共包含两个频率的视觉刺激器,左边的视觉刺激器用L表示,右边的视觉刺激器同R表示。当使用者注视不同的视觉刺激器时,SSVEP算法模块分别识别时间窗编码中的SSVEP刺激频率所对应的 做出判断并进行运动模式切换,当使用者处于空闲状态时,保持当前运动状态。需要特别注意的是,异步混合BCI的切换场景:当使用者处于自动行走运动状态时,SSVEP算法的下一时间窗检测到L刺激频率所对应的 时,切换到MI算法模块。
[0126] MI算法模块共进行三种运动状态的识别:单次左腿行走意图,单次右腿行走意图,空闲状态意图。当使用者分别进行左手运动想象、右手运动想象,空闲状态时,MI算法识别出使用者的运动意图,并将运动意图分别映射为外骨骼的左腿运动、右腿运动、以及保持当前状态。即提供一种运动状态切换,以使用者的主动意图映射为外骨骼带动人体进行对应的下肢单次移动。当使用者处于空闲状态超过5个时间窗即10秒时,运动状态将切换到SSVEP运动模式下的自动行走模式。
[0127] 时间窗编码的输出指令图如图3所示。图中分别表示6种从ssvep运动模式的直立模式出发到输出指令再回到ssvep运动模式的直立模式的时间窗编码。直立‑下楼梯‑直立:L‑L‑R。直立‑上楼梯‑直立:L‑R‑R。直立‑坐‑直立:R‑R‑R。自动行走:R‑L‑R。直立‑手动模式下左腿前进‑直立:R‑L‑L‑左手运动想象‑运动想象空闲状态‑R。直立‑手动模式下右腿前进‑直立:R‑L‑L‑右运动想象‑运动想象空闲状态‑R。