[0061] 以下结合附图对本发明作进一步说明。
[0062] 本发明解决在情感识别中脑电信号的重要性特征挖掘这一重要问题基于如下的出发点:我们认为在情感识别中,脑电信号中某些频段和某些导联对情感识别起的作用更大,也就是说在情感识别中,这些频段和导联所对应的脑电信号完全可以取缔原来的全部特征,并且消去了一些噪声频段和导联以取得更好的识别精度。因此,我们可以减少情感识别中脑电信号采集的频段和导联数量,这对情感识别具有重要意义。
[0063] 如图1所示,一种特征权重自适应学习的脑电情绪识别方法,具体步骤如下:
[0064] 步骤1、根据情绪素材(本实施例中使用包含明显情感诱导的图片、音频或视频)采集受试者的诱发情感脑电数据。
[0065] 对N个受试者均在M个不同的环境或时间下进行脑电数据采集,得到N·M组脑电数据,每一组数据的数据量均为d*n,其中,d是每组数据的维度,n是单次采集获得的与时间有关的脑电数据样本个数。一组数据包括一次采集中获得的多个时刻的脑电数据。统一受试者在测试任务中对应的被测任务类别,每个受试者均完成所有的被测任务类别的测试。在本发明的实施中,被测任务类别为被测试者的情绪类别,包括高兴、悲伤、中性、恐惧四种情绪类别。此外,例如疲劳状态监测等也能够作为被测任务类别。
[0066] “不同的环境或时间”表示同意受试者采集M组脑电数据时,时间段可能分布在不同的日期;这些不同批次的实验所做的内容是相同的,但是他们在不同日期所处的状态可能是不同的;这反应了脑电的本质特征不会随着时间的或实验场景的改变而出现较大改变。这些时间的不同,或者实验时的场景的不同即为差异化部分。
[0067] 步骤2、对步骤1所得的所有脑电数据进行预处理和特征提取。因为本发明涉及到情绪关键频段与导联的判定,因此在后续的说明中基于62导联、5频段(Delta(1‑4Hz),Theta(4‑8Hz),Alpha(8‑14Hz),Beta(14‑31Hz)和Gamma(31‑50Hz)),并提取微分熵特征来进行。在实际应用中,导联数目取决于数据采集时候受试者佩戴的脑电帽;频段的划分也遵循具有生理学意义的5频段划分;脑电信号最常用的特征为功率谱密度和微分熵。人的脑电信号是非常微弱的,这就意味着脑电信号易受干扰,采集的结果很难直接做实验,这就对脑电信号预处理提出了要求:
[0068] 预处理的过程如下:
[0069] 2‑1.将脑电数据下采样至200Hz后并对其进行带通滤波至1‑50Hz范围。根据5频段法,将其划分为Delta、Theta、Alpha、Beta和Gamma五个频段
[0070] 2‑2.针对这5个频段的脑电数据分别进行时间窗口为4秒且不重叠的短时傅立叶变换,提取微分熵特征。微分熵特征h(X)定义为:
[0071] h(X)=‑∫xf(x)ln(f(x))dx (1)
[0072] 式(1)中,X为输入的样本矩阵(即某一个频段的脑电数据),x为输入的样本矩阵中的元素;f(x)为概率密度函数。对于遵循高斯分布的脑电时间序列X,其微分熵特征h(X)可以计算为式(2)所示:
[0073]
[0074] 式(2)中,σ为概率密度函数的标准差;μ为概率密度函数的期望。
[0075] 可以看出,本质上微分熵特征为功率谱密度特征的对数形式,即脑电信号的预处理旨在提高信噪比,从而提高数据的预处理效果,减少干扰。
[0076] 步骤3、建立机器学习模型以实现特征权重自适应学习的脑电情绪识别。在该发明中, 表示样本矩阵;其中,d为脑电样本特征维度,n为训练样本个数;属于对角矩阵的特征权重因子矩阵 表示特征权重因子并约束对角线元素具有非负与归一化特T性,其第i个对角线元素θii用以刻画第i维特征的重要性。那么,用X Θ代替X并将其嵌入最小二乘学习模型中,便得到如式(3)所示的特征权重自适应学习的脑电情绪识别模型。
[0077] 3‑1.将特征权重因子矩阵Θ嵌入到最小二乘模型中,得到“特征自适应学习情绪识别方法”的目标函数如式(3)所示:
[0078]
[0079] 式(3)中,θ=diag(Θ)为特征权重因子向量,是由Θ对角线元素组成的向量,diag(·)为矩阵取对角线函数,W和b分别为最小二乘学习模型中的特征权重、偏差,Y是样本矩阵X的标记,是定义在特征权重因子向量θ和特征权重W上定义的正则项函数。 表示F范数的平方计算。
[0080] 3‑2.基于“局部不变性”假设,即相似的样本在变换后的空间里表示也应该是相似的,本发明建立如下的正则项函数 的具体形式:
[0081]
[0082] 式(4)中, 为二元图相似性矩阵,它描述了脑电样本对之间的联系。从欧氏距离的角度,如果xi和xj互为k近邻且具有相同的情感状态,则它们之间的权重sij为1;否则,sij为0。
[0083] 步骤4、对如式(3)所示的目标函数进行优化,即推导出模型涉及的三个变量W、θ、b的更新规则。总体上,可以在交替更新的框架下进行,即固定其他变量,优化其中一个变量。
[0084] 接下来,我们可以通过固定其他变量仅保留一个变量的方法来得到所有变量的更新规则,进一步求得特征权重因子Θ。
[0085] 4‑1.通过固定W和θ来更新b,这时,式(3)可以被写成如式(5)所示。
[0086]
[0087] 对式(5)中的b求导并且令导数为0,我们可以得到b的更新规则为式(6):
[0088]
[0089] 4‑2.通过固定b和θ来更新W,这时,式(3)可以被写成如式(7)所示。
[0090] ΘX(XTΘw+1bT‑Y)+αW+βΘXLXTΘW=0 (7)
[0091] 式(7)中,α、β分别为两个调节参数;L为图拉普拉斯矩阵。
[0092] 同样通过求导的方式可以得到W的更新规则为式(8):
[0093] W=(ΘX(I+βL)XTΘ+αI)‑1(ΘX(1bT‑Y)) (8)
[0094] 式(8)中,I为单位矩阵。
[0095] 4‑3.通过固定W和b来更新θ,式(3)可以被写成如式(9)所示。
[0096]
[0097] 等价于:
[0098]
[0099] 其中,Tr(·)为矩阵的迹运算;
[0100] 这里Θ为对角矩阵且含有约束,不可以直接通过求导来求解。为此,本发明引入定理:如果S是一个对角矩阵,则有 成立,这里的s是由S的对角元素组成的列向量,表示矩阵点乘。由此,令
可以将(10)式改写成:
[0101]
[0102] 令 c=diag(R),则式(11)是一个标准的单纯形约束下的二次优化问题;该类可以通过凸优化包来进行求解。由此求解出Θ、W和b。 表示“定义为”。
[0103] 特征权重因子矩阵Θ反映各导联、各频段数据的重要程度;嵌入到最小二乘模型后,即可依据不同数据的重要程度,自动进行运算,预测样本矩阵对应的情绪类型。
[0104] 步骤5、对被试者进行脑电数据采集;使用有步骤4学习得到的变量Θ、W和b对测得被试者脑电数据进行情绪类别预测;因为预测过程中利用Θ区别了各维度特征的重要性,因此可以有效地提交情绪识别精度。
[0105] 步骤6、基于各维度特征与相应频段(导联)的对应关系,通过模型学习获得的θ来进行情感识别关键脑电频段(导联)的判定。
[0106] 6‑1.根据如下公式可以定量地计算第i个频段的重要性指标ω(i)
[0107] ω(i)=θ(i‑1)*k+1+θ(i‑1)*k+2+…+θ(i‑1)*k+k (12)
[0108] 其中,i=1,2,3,4,5分别代表Delta,Theta,Alpha,Beta和Gamma的五个频段,k表示导联数量。θ(i‑1)*k+k为特征权重因子向量θ的第(i‑1)*k+k个元素。
[0109] 6‑2.根据如下公式可以定量地计算第j个导联的重要性指标
[0110] ψ(j)=θj+θj+k+θj+2*k+θj+3*k+θj+4*k (13)
[0111] 其中,j=1,2,…,k分别代表导联1至导联k的k个脑电通道。θj+i*k为特征权重因子向量θ的第j+i*k个元素。
[0112] 根据各频段的重要性ω(i)和各导联的重要性指标ψ(j),筛选情绪识别时需要提取的导联和频段,从而降低采样的成本和数据处理的速度。
[0113] 通过以上方法我们获得了自适应权重因子Θ。根据所得的Θ我们也得到了在人的情感识别中各个频段和导联的重要性情况。同时,根据Θ进行情感识别,我们得到了更高的精度。我们将本发明中提出的模型与现有技术(a:1NN、b:LSR、c:SVM、d:FIL、e:GFIL)进行对比,其中的GFIL即为本发明中提出的模型,对比结果如下图3,其中横坐标轴为样本实际情绪类型,纵轴表示被预测的情绪类型,对角线元素为情绪识别的正确率,其他部分为识别错误率。结果显示,本发明中提出的模型在人的情绪识别精度上有明显优势。