引 en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。

半监督低秩表示的脑电情感识别方法

  • 王雨彤

    机 构：

    常州大学 计算机与人工智能学院,常州, 213164

    ×
  • ，顾晓清

    机 构：

    常州大学 计算机与人工智能学院,常州, 213164

    ×

常州大学 计算机与人工智能学院,常州, 213164；

Semi-supervised low-rank representation for EEG emotion recognition

  • WANG Yutong

    Affiliation：

    School of Computer Science and Artificial Intelligence,Changzhou University,Changzhou 213164 ,China

    ×
  • ，GU Xiaoqing

    Affiliation：

    School of Computer Science and Artificial Intelligence,Changzhou University,Changzhou 213164 ,China

    ×

School of Computer Science and Artificial Intelligence,Changzhou University,Changzhou 213164 ,China；

作者简介:

王雨彤,女,硕士生,研究方向为机器学习.S22150812050@smail.cczu.edu.cn

通讯作者:

顾晓清,女,博士,副教授,研究方向为机器学习.guxq@cczu.edu.cn

中图分类号:TP181

文献标识码:A

DOI:10.13878/j.cnki.jnuist.20231102002

参考文献 1
Houssein E H,Hammad A,Ali A A.Human emotion recognition from EEG-based brain-computer interface using machine learning:a comprehensive review[J].Neural Computing and Applications,2022,34(15):12527-12557
查找原文
参考文献 2
王慧,邱义波,骆永乐.基于脑电信号评价情绪状态及听觉激励对改善情绪的研究[J].南京信息工程大学学报(自然科学版),2019,11(2):158-164.WANG Hui,QIU Yibo,LUO Yongle.Evaluation of emotional state based on EEG signals and improving emotions by auditory stimulation[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2019,11(2):158-164
查找原文
参考文献 3
袁凯烽,侯璐,黄永锋.基于多源域领域适应字典学习和稀疏表示的脑电情感识别方法[J].南京信息工程大学学报(自然科学版),2023,15(4):412-418.YUAN Kaifeng,HOU Lu,HUANG Yongfeng.Multi-source domain adaptive dictionary learning and sparse representation approach for electroencephalogram-based emotion recognition[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(4):412-418
查找原文
参考文献 4
Keyvanpour M R,Imani M B.Semi-supervised text categorization:exploiting unlabeled data using ensemble learning algorithms[J].Intelligent Data Analysis,2013,17(3):367-385
查找原文
参考文献 5
Sousa C A R D.An overview on the Gaussian fields and harmonic functions method for semi-supervised learning[C]//2015 International Joint Conference on Neural Networks(IJCNN).July 12-17,2015,Killarney,Ireland.IEEE,2015:1-8
查找原文
参考文献 6
Wu H C.The construction of fuzzy least squares estimators in fuzzy linear regression models[J].Expert Systems with Applications,2011,38(11):13632-13640
查找原文
参考文献 7
Zhao M B,Chow T W S,Wu Z,et al.Learning from normalized local and global discriminative information for semi-supervised regression and dimensionality reduction[J].Information Sciences,2015,324:286-309
查找原文
参考文献 8
Tang T S,Li H,Zhou G H,et al.Discriminant subspace low-rank representation algorithm for electroencephalography-based Alzheimer's disease recognition[J].Frontiers in Aging Neuroscience,2022,14:943436
查找原文
参考文献 9
Liu G C,Yan S C.Latent Low-rank representation for subspace segmentation and feature extraction[C]//Proceedings of the 2011 International Conference on Computer Vision.ACM,2011:1615-1622
查找原文
参考文献 10
Cai X,Ding C,Nie F P,et al.On the equivalent of low-rank linear regressions and linear discriminant analysis based regressions[C]//Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.August 11-14,2013,Chicago,Il,USA.ACM,2013:1124-1132
查找原文
参考文献 11
Lu Y W,Lai Z H,Xu Y,et al.Low-rank preserving projections[J].IEEE Transactions on Cybernetics,2016,46(8):1900-1913
查找原文
参考文献 12
Lu Y W,Wong W K,Lai Z H,et al.Robust flexible preserving embedding[J].IEEE Transactions on Cybernetics,2020,50(10):4495-4507
查找原文
参考文献 13
Tao H,Hou C P,Yi D Y,et al.Joint embedding learning and low-rank approximation:a framework for incomplete multiview learning[J].IEEE Transactions on Cybernetics,2021,51(3):1690-1703
查找原文
参考文献 14
Fang X Z,Xu Y,Li X L,et al.Regularized label relaxation linear regression[J].IEEE Transactions on Neural Networks and Learning Systems,2018,29(4):1006-1018
查找原文
参考文献 15
Xiang S M,Nie F P,Meng G F,et al.Discriminative least squares regression for multiclass classification and feature selection[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(11):1738-1754
查找原文
参考文献 16
Boyd S,Parikh N,Chu E,et al.Distributed optimization and statistical learning via the alternating direction method of multipliers[J].Foundations and Trends® in Machine Learning,2011,3(1):1-122
查找原文
参考文献 17
Gao Y,Ma J Y,Yuille A L.Semi-supervised sparse representation based classification for face recognition with insufficient labeled samples[J].IEEE Transactions on Image Processing,2017,26(5):2545-2560
查找原文
参考文献 18
Gu X W.A self-training hierarchical prototype-based approach for semi-supervised classification[J].Information Sciences,2020,535:204-224
查找原文
参考文献 19
Gu X W.A dual-model semi-supervised self-organizing fuzzy inference system for data stream classification[J].Applied Soft Computing,2023,136:110053
查找原文
参考文献 20
Huang G,Song S J,Gupta J N D,et al.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):2405-2417
查找原文
参考文献 21
Peng Y,Jin F Z,Kong W Z,et al.OGSSL:a semi-supervised classification model coupled with optimal graph learning for EEG emotion recognition[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2022,30:1288-1297
查找原文
目录contents

    摘要

    脑电图能客观反映人的情绪状态,但由于脑电信号具有复杂性和非平稳性等特点,使得采集大量标记脑电样本较困难,因此在一定程度上限制了脑电情感识别方法的效果和泛化性能．针对以上问题,提出一种半监督低秩表示的脑电情感识别方法(Semi-Supervised Low-Rank Representation,SSLRR)．利用少量标记脑电样本的估计标签设计一个回归形式的目标函数,以此来有效估计未标记样本的标签．使用ε-拖拽技术确保标签与标签之间的分离性,并对松弛标签施加低秩约束,以提高其类内紧密度和相似度．对提出的方法融入一个类邻接图,以此捕获所有脑电样本数据的局部邻域信息．在SEED-Ⅳ和SEED-Ⅴ两个公开数据集上进行对比实验,结果表明,相比现有半监督算法，所提出的方法在脑电情感识别问题上具有更好的性能．

    Abstract

    EEG,as a direct response to brain activity,can objectively reflect a person's emotional state.However,the non-smoothness and complexity of EEG signals make it difficult to collect a large number of labelled EEG samples,thus limiting the effectiveness and generalization performance of EEG emotion recognition methods.Here,a Semi-Supervised Low-Rank Representation (SSLRR) approach for EEG emotion recognition is proposed to address the above issues.First,an objective function in regression form is designed using the estimated labels of a small number of labelled EEG samples to effectively estimate the labels of unlabelled samples.Second,an ε-drag-and-drop technique is used to ensure label-to-label separability,and in addition,low-rank constraints are imposed on the slack labels to improve their intra-class tightness and similarity.Then,a class neighborhood graph is incorporated into the proposed approach to capture the local neighborhood information of all EEG sample data.Comparative experiments are conducted on two public datasets of SEED-Ⅳ and SEED-Ⅴ,and the results show that the proposed approach performs well in EEG emotion recognition.

  • 0 引言

  • 情感识别在情感脑机接口（Brain-Computer Interface，BCI）中具有重要意义．目前已知的情绪识别方法可以分为两种:一种是利用情绪行为的特征，如面部表情、言语和肢体动作来识别特定的情绪; 另一种是使用信号来识别情绪．前一种方法更容易实现情绪识别，但也存在一些固有的缺陷，例如，人们可能有意识或无意识地隐藏自己的情绪，通过改变面部表情、语音语调等方式来掩饰情绪，从而导致真实的情感状态难以被识别[1]．脑电图（Electroencephalogram，EEG）信号[2]作为一种生物信号在情感识别中起着重要的作用．情感状态变化会产生相应的生理信号，相比周围的神经生理信号，EEG对情感状态变化的敏感性更高，可以作为情感状态客观识别的可靠指标．同时，EEG具有高时间分辨率、安全性和易用性等特点，更适合信号采集．由于EEG信号具有非线性和非平稳性的固有特性[3]，特征提取和识别成为脑机接口系统的重要组成部分．本文将重点关注脑电信号识别阶段．

  • 在EEG情感识别研究中，获取未标注脑电数据相对较容易，并在实际应用中表现出较高的可获得性．然而，收集带标签脑电样本则面临较大难度，因为带标记的脑电样本的获取需要大量的人力投入和成本[4]．相比监督学习，半监督学习可以同时利用标记和未标记的脑电样本，以此来解决采集大量标记脑电样本较困难的问题．虽然监督学习方法的性能普遍优于无监督方法，但半监督学习作为一种自适应过程，能够提高BCI的自适应能力．近年来，基于半监督学习的情感识别方法研究已成为模式识别和机器学习领域的重要研究方向，吸引越来越多的学者进行研究和探索．目前常用的半监督方法包括高斯场和谐波函数[5]、模糊线性回归模型[6]、学习局部和全局判别信息[7]等，以上算法均利用少量标记数据和大量未标记数据进行实验，取得了很好的效果．

  • 低秩表示（Low Rank Representation，LRR）是子空间学习的重要理论基础，可以有效地分离脑电信号中的噪声，恢复干净的数据，获得准确的数据子空间分割[8]．Liu等[9]提出的关于特征提取的潜在低秩表示（Latent Low-Rank Representation，LatLRR）可以看作是LRR的增强版，它考虑样本矩阵的两个视图来进行数据重建和显著特征的提取，即将子空间分割和特征提取无缝地集成到一个统一的框架中，使之得到更准确的分割结果．但在LatLRR中，数据重建和特征提取这两个阶段是分开学习的，因此在学习过程中很难实现相互优化．为此，Cai等[10]引入核范数约束来获得投影矩阵的低秩结构，该方法保留了低秩约束，并添加混合l2，1范数正则化项，旨在诱导类内期望的低秩结构，同时在特征维度上增强了结构的稀疏性．为了在学习投影矩阵的同时保留数据的内在结构，Lu等[11]提出了低秩保留投影，通过将数据投影到低维子空间来学习低秩权重矩阵，在降维过程中保持了数据的全局结构，学习到的低秩权重矩阵还可以减少数据中噪声的干扰．Lu等[12]编码了灵活的正则化，以保留投影倾斜中数据的属性，同时应用低秩表示来避免数据中的噪声和异常值．此外，Tao等[13]提出一种低秩近似框架，用低秩表示来实现不完整的多视图聚类任务中丢失样本的近似子空间结构，即通过一组低秩矩阵逼近不完整数据，并通过线性变换学习完整的公共嵌入，此方法提高了处理不完整多视图数据的效率，弥补了与完整多视图学习之间的差距．

  • 尽管目前许多基于LRR的分类回归方法在性能上表现出色，但它们通常将样本数据直接投影到传统的二值标签矩阵上，在投影学习过程中没有考虑到数据的相关性和潜在的数据结构，从而不能真实反映分类学习的能力．又由于原始脑电数据具有振幅弱、背景噪声强、随机性等特点，因此在脑电数据矩阵和标签矩阵之间建立直接联系，会使投影矩阵不能高效地捕捉脑电数据的特征，从而可能会丢失一些有用的结构信息，导致过拟合．Fang等[14]提出一种正则化标签松弛（Regularized Label Relaxation，RLR）算法，该算法构造基于流形学习的类邻接图以减少过拟合问题，但流形学习需要许多样本来获取正确的数据流形，且RLR方法是一种监督学习方法，只使用标记样本而忽略了许多易于获取的未标记样本．因此，监督学习算法在识别任务上存在一定的局限性．

  • 本文提出一种基于半监督低秩表示的脑电情感识别方法（Semi-Supervised Low-Rank Representation，SSLRR）．SSLRR算法由三个主要部分组成:一是带标签脑电信号数据样本的估计标签项，基于所有样本，利用标记样本的估计标签训练目标式中的分类函数，以此有效估计未标记数据的标签用于回归学习; 二是标签松弛项和低秩约束项，主要用于学习具有较大类间距的松弛回归标签和类似的类内回归标签; 三是类邻接图项和正则化项，类邻接图能够确保在投影学习后具有相同类别标签的样本依然保持紧密联系，而正则化项也可以有效地避免过拟合问题．

  • 本研究的主要创新如下:

  • 1）利用ε-拖拽技术，来确保不同类标签之间的分离性，让学习到的投影更具判别性;

  • 2）为防止ε-拖拽技术可能使同一类别的标签之间的距离越来越大，利用低秩特征的优点，将学习到的松弛标签施加低秩约束，以此增强每个类标签的紧凑性和相似性;

  • 3）加入类邻接图，使之更好地捕获所有样本的局部邻域信息，减少过拟合问题，且将标签估计项、标签松弛项、低秩类内标签项和捕获局部邻域信息项等合理集合到整体框架中，进一步扩展了现有的框架．

  • 1 相关工作

  • 将最小二乘回归（Least Squares Regression，LSR）作为分类任务的基本工具，目标是通过学习从原始特征子空间到类空间的线性投影来获得更好的分类效果．假设有一组n个训练样本X=[x1，x2，···，xn]∈Rd×n，这n个训练样本共c类，其中，xi∈Rd为样本向量，H=[h1，h2，···，hn]∈Rc×n表示X的二进制标签矩阵，H的hi列即hi=[0，···，0，1，0，···，0]T∈Rc，对应于样本xi．如果样本xi属于第p类，则hi的第p个元素为1，其余元素为0．标准LSR算法定义为

  • minQ ‖QX-H‖F2+λ‖Q‖F2.
    (1)

  • 其中:‖·‖2F表示矩阵的Frobenius范数; λ＞0是正则化参数; Q∈Rc×d为求出的投影矩阵．目标函数第一项是标签拟合项，第二项主要用来避免过拟合．显然，式（1）中的问题有如下的封闭解:

  • Q^=HXTXXT+λI-1.
    (2)

  • LSR算法中训练样本可以精确地转换为严格的二进制标签矩阵，但该矩阵过于严格，自由度太小，因此无法充分拟合标签．Xiang等[15]提出用判别最小二乘回归方法去学习一种松弛估计标签，通过引入ε-拖拽技术，迫使不同类的样本沿相反方向移动，从而扩大不同类别之间的距离．

  • 为了帮助理解，分别从第二类、第三类和第一类中选取三个样本，它们的二值标签矩阵可以表示为

  		•
    (3)

  • 显然，不同类别标签之间的距离都固定为2，这不能很好地反映样本与样本之间的相似性，所以这种严格的二进制标签需要松弛为灵活的约束，即可以通过ε-拖拽技术实现．设εij为一个非负松弛变量，在相反的方向上拖动这些二进制标签，由此转换为松弛标签:

  • H'=-ε111+ε12-ε13-ε21-ε221+ε231+ε31-ε32-ε33, s.t. εij⩾0.
    (4)

  • 以式（4）中的第二和第三个样本为例，其类别之间的距离为

  • -ε21-1-ε312+-ε22+ε322+1+ε23+ε332⩾(0-1)2+(1-0)2+(0-0)2=2
    (5)

  • 由式（5）可以看出，松弛标签矩阵中不同类别之间的距离大于等于传统标签矩阵中不同类别标签之间的距离．因此，通过拖拽技术可以使不同类别的标签彼此远离．由此可知，松弛标签矩阵可以更好地表达不同数据之间的相关性，有利于学习判别变换矩阵进行识别．设M∈Rc×n为非负松弛矩阵，以此来表示拖动的距离，其定义为

  • M=ε11⋯ε1c⋮⋮εn1⋯εncc×n⩾0.
    (6)

  • 设B∈Rc×n是一个常数矩阵，以此来诱导标签的移动方向，其定义为

  • Bij=+1, Hij=1,-1, Hij=0.
    (7)

  • 式（7）中的+1和-1分别表示标签移动的正反方向．具体来说，与原来的LSR算法相比，将不再简单地使用二进制标签矩阵H，而是将其扩展为松弛标签矩阵:

  		•
    (8)

  • 其中:⊙表示哈达玛积运算符．由于εij是非负的，通过引入ε-拖拽技术，有助于扩大样本数据映射在不同类别之间的距离，使严格的二值标签松弛为宽松但有区别的二进制标签．

  • 虽然Xiang等[15]提出的判别最小二乘可以学习到估计标签并保持投影的封闭形式，但过度关注边缘也会导致过拟合的问题．从分类的角度来看，类别标签的类内相似性和类间分离性都应得到提升．由于估计标签的松弛矩阵在优化过程中是动态更新的，因此，使用ε-拖拽技术可能会导致类内标签更加离散，进一步影响投影矩阵的判别能力．

  • 2 SSLRR模型

  • 假设X=[Xl，Xu]=[x1，x2，···，xl，xl+1，···，xl+u]∈Rd×（l+u）是c类的样本集，式中Xl表示由l个标记样本点{xi}li=1 组成的标记数据集，剩余u个未标记样本点{xi}l+ui=l+1用Xu表示，其中，d是样本的维度，n=l+u为样本的个数．列向量yi表示与标记样本对应的标签矩阵Y=[y1，y2，···，yl]∈Rc×l中xi（i=1，2，···，l）的原始类标签，当样本数据xi属于第j类时，标签向量yi中的j被赋予1，其他全部被赋予0．H=[Hl，Hu]=[h1，h2，···，hl，hl+1，···，hl+u]∈Rc×（l+u），Hl和Hu分别为带标签和未标记数据的估计标签．

  • 将G=（V，E）视为无向加权图，其中，顶点V对应于X中的EEG样本，E是图G的边集，对应于样本对之间的连接权值，即顶点i和顶点j之间的任何边都对应于权重矩阵W中的权重系数Wij，以此表示两个顶点之间的相似性，且Wij与两个顶点之间的距离成反比．如果原始样本的局部结构可以很好地由拉普拉斯矩阵L来近似，那么L可以定义为L=D-W，其中D是对角矩阵，其对角线元素为Dii=Σj=1l+uWij．

  • 2.1 半监督低秩表示的脑电情感识别算法

  • 本文提出如下基于半监督学习低秩表示的脑电情感识别算法:

  • minQ,T,M,H Σi=1lhi-yi2+α2‖QX-T‖F2+α2‖T-(H+B⊙M)F2+β2trQXLXTQT+δΣi=1cTi‖*+γ2‖T‖F2+λ2‖Q‖F2, s.t. M⩾0.
    (9)

  • 其中:α，β，γ，δ和λ是正则化参数; ‖·‖*表示核范数（奇异值的和）; yi（i=1，2，···，l）是已知的，即带标签的l个样本的原始标签; hi为对应的估计标签，由于最小化第一项，估计标签能够很好地拟合真实标签; Q和T分别表示投影矩阵和松弛标签矩阵; ‖T-（H+B⊙M）‖2F用于学习具有较大类间距的松弛回归标签; tr（QXLXTQT）是构造的类邻接图，用于减少过拟合问题; Σi=1cTi*用于学习类似的类内回归标签; ‖T‖2F是为了避免松弛标签矩阵T的过拟合问题; ‖Q‖2F是为了避免投影矩阵Q的过拟合问题．

  • 为了避免松弛标签过拟合问题，本文提出了基于流形学习的类邻接图，其核心思想是共享相同标签的样本在变换后的空间中仍保持紧密联系．在类邻接图中，同一类别中两个不同样本对应的两个节点通过无向边相互连接．

  • 以下给出类邻接图对应的权值矩阵:

  • Wij=1, 若 xi 和 xj 有相同的标签； e-xi-xj2/σ1,, 若 xi 被标记, xj 未被标记 且 xj∈Nkxi 或若 xi 未被标记， xj 被标记且 xi∈Nkxj;e-xi-xj2/σ2,, 若 xi 和 xj 都被标记,且 xj∈Nkxi 或 xi∈Nkxj;0, 其他.
    (10)

  • 其中:σ1和σ2为热核参数; Nk（x）表示样本X的k 个最近邻样本．

  • 权重矩阵W的作用为更好地捕获所有样本的局部邻域信息．直观上，若xi和xj相似，则它们更可能具有相同的情感状态，因此Wij较大，否则，Wij应该很小，以表示xi和xj之间的不相关性．

  • 根据式（9）可以看出，与传统回归算法使用严格的二进制类标签矩阵不同，SSLRR是在宽松的类标签矩阵上进行的．当使用ε-拖拽技术时，SSLRR能够使不同类别标签之间的距离进一步扩大，得到具有更强判别能力的投影矩阵．由于将第一项进行了最小化，估计的标签与初始标签非常吻合．因此，从整体上来看，所有训练样本都回归到式（9）中的全局标签矩阵，SSLRR可以利用低秩特征的优点学习到更具判别性的投影矩阵Q，以此更好地捕获全局判别信息，使模型分类性能进一步提升．此外，SSLRR通过对动态回归标签的能量进行最小化，有效地避免过拟合问题，提升模型整体的泛化能力．

  • 2.2 SSLRR模型的优化

  • SSLRR模型目标函数（9）中有H，T，Q，M四个变量，因为它们是相关的，所以不能直接求解式（9）中的优化问题，因此利用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）[16]依次更新每个变量．

  • 首先将式（9）进行几何变换:

  • minQ,T,M,H tr(H-Y)U(H-Y)T+α2‖QX-T‖F2+α2‖T-(H+B⊙M)‖F2+β2trQXLXTQT+δΣi=1cTi*+γ2‖T‖F2+λ2‖Q‖F2; s.t. M⩾0.
    (11)

  • 其中：U∈R（l+u）×（l+u），是只包含0和1矩阵的矩阵，前l行l列都是1，其余部分均为0．

  • 为了使式（11）可分离，利用ADMM，引入一个辅助变量P，得到:

  • minQ,T,M,H,P tr(H-Y)U(H-Y)T+α2‖QX-T‖F2+α2‖T-(H+B⊙M)‖F2+β2trQXLXTQT+δΣi=1cPi*+γ2‖T‖F2+λ2‖Q‖F2; s.t. T=P,M⩾0.
    (12)

  • 由式（12）得到增广拉格朗日函数式:

  • L(T,P,Q,M,H)=minQ,T,M,P tr((H-Y)U(H-Y)T+α2‖QX-T‖F2+α2‖T-(H+B⊙M)‖F2+β2trQXLXTQT+δΣi=1cPi*+γ2‖T‖F2+λ2‖Q‖F2+μ2T-P+ZμF2.
    (13)

  • 其中:Z是拉格朗日乘子; μ＞0是惩罚参数．

  • 1）更新H．当其他变量固定时，通过最小化得到:

  • L(H)=minH tr(H-Y)U(H-Y)T+α2‖T-(H+B⊙M)‖F2.
    (14)

  • 令S=T-B⊙M，得到:

  • L(H)=minH tr(H-Y)U(H-Y)T+α2‖H-S‖F2.
    (15)

  • 显然，H有一个封闭解:

  • H=(2YU+αS)(2U+αI)-1.
    (16)

  • 2）更新T．通过固定P，Q，M，T，H，最小化得到:

  • L(T)=minT α2‖QX-T‖F2+α2‖T-(H+B⊙M)F2+γ2TF2+μ2T-P+Zμ‖F2
    (17)

  • 显然，T有封闭解:

  • T=(2α+γ+μ)-1I(αQX+α(H+B⊙M)+μP-Z).
    (18)

  • 3）更新P．通过固定P，Q，M，T，H，进行类智能更新:

  • LPi=minPi δΣi=1cPi*+μ2Ti-Pi+ZiμF2.
    (19)

  • 使用奇异值阈值算法进行分类优化式（19），得到Pi的最优解是:

  • Pi=IβμTi+Ziμ.
    (20)

  • 4）更新Q．通过固定P，Q，M，T，H，最小化得到:

  • L(Q)=minQ α2‖QX-T‖F2+β2trQXLXTQT+λ2‖Q‖F2.
    (21)

  • 令L（Q）对Q的导数为零，得到如下封闭解:

  • Q=αTXTαXXT+λI+βXLXT-1.
    (22)

  • 5）更新M．优化H，T，P，Q后，可以更新非负松弛矩阵M，最小化得到:

  • L(M)=minM ‖T-(H+B⊙M)‖F2; s.t. M⩾0.
    (23)

  • 令V=T-H得到最优解:

  • M=max(B⊙V,0).
    (24)

  • 算法1是通过ADMM进行优化的，该方法融合了增广拉格朗日乘数法的易收敛特性，将本文提出的优化问题分解成若干个小的子问题，然后对每个子问题进行求解，最后将子问题的解结合得到优化问题的解．

  • 本文将最大迭代次数设置为100，tol=10-6．当‖T-P‖∞＞tol时，算法不满足收敛条件，进一步更新优化变量H，T，H，Q，M，Z，再判断是否满足收敛条件; 当‖T-P‖∞≤tol时，算法满足收敛条件，可以得到最优投影矩阵Q．利用Q将训练样本数据集和测试样本数据集投影到对应的标签空间中，采用最近邻分类器来完成分类任务．

  • 3 实验和分析

  • 为了公平起见，将使用本文列举出的对比方法的公开代码，并对各方法中正则化参数进行微调，其实验结果与本文方法进行比较和分析，所列举的对比方法详见3.1．对于数据集，从每个类中随机选择几个样本作为训练集，剩余的样本作为测试集．将所有实验重复10次，并记录平均精度，所有算法均使用最近邻分类方法．实验平台为Windows 10下的MATLAB R2020B，PC机配备AMD Ryzen 5 3500U 2.10 GHz CPU和12 GB内存．

  • 3.1 数据集和实验设置

  • 本文使用两个公开数据集SEED-Ⅳ和SEED-Ⅴ进行实验验证，两个数据集都是由上海交通大学BCMI实验室提供的SEED数据集的变体．

  • SEED-Ⅳ数据集主要分为快乐、悲伤、恐惧和中性4种情绪状态．15名健康的受试者参与EEG数据采集和收集实验，每个受试者参与3个数据收集实验，分别对应3个环节，每个实验播放24个视频片段，其中6个片段对应1种情绪状态．在SEED-Ⅴ数据集中，相应的电影片段诱发了快乐、悲伤、恐惧、中性和厌恶5种不同的情绪状态，该实验收集了20名受试者的数据，其中包括10名男性和10名女性，同样地，每个受试者参加3次数据收集实验，在每次实验中，受试者观看15个视频片段，其中3个片段对应1种情绪状态．

  • 在对原始脑电信号进行预处理时，首先对其进行下采样至200 Hz，之后SEED-Ⅳ数据集从Delta（1~＜4 Hz）、Theta（4~＜8 Hz）、Alpha（8~＜14 Hz）、Beta（14~＜31 Hz）和Gamma（31~50 Hz）5个频带中提取每个片段的微分熵（Differential Entropy，DE）特征．SEED-Ⅴ数据集从Delta（1~＜4 Hz）、Theta（4~＜8 Hz）、Alpha（8~＜14 Hz）、Beta（14~＜31 Hz）和Gamma（31~50 Hz）5个频段提取DE特征．DE定义如下:

  • h(X)=-∫x f(x)ln⁡f(x)dx.
    (25)

  • 其中:X为随机变量，其概率密度函数为f（x）．假设脑电数据服从高斯分布，即f（x）=Ν（x; μ，σ2），计算其DE为

  • h(X)=-∫-∞∞ f(x)ln⁡12πσ2e(x-μ)22σ2dx=12ln⁡2πσ2+var(X)2σ2=12ln⁡2πeσ2.
    (26)

  • 将5个频带62通道上提取到的DE特征串联，得到每个样本向量的维数为310．由于每次数据收集实验中的视频剪辑长度略有不同，因此各个数据集的3次数据收集实验所产生的EEG样本数也不同．根据实验所需，本文只选用受试者参加1次实验的样本数据，因此分别得到SEED-Ⅳ数据集851个样本，SEED-Ⅴ数据集681个样本．SEED-Ⅳ和SEED-Ⅴ数据集的基础信息如表1所示．

  • 表1 SEED-Ⅳ和SEED-Ⅴ数据集基础信息

  • Table1 Basic information of SEED-Ⅳ and SEED-Ⅴ datasets

  • 由于SSLRR是一种基于半监督学习的低秩表示回归模型，在实验部分，将其与半监督算法S3RC[17]、 STHP[18]、DMS3OF[19]、SSELM[20]和OGSSL[21]作比较．每种对比算法的正则化参数取值范围为{10-4，10-3，···，103，104}．

  • 在实验中，对于每个类，随机选择14、15、16（标记样本数+未标记样本数）个样本作为训练集来训练模型，并将剩余的所有样本作为测试集．表2描述了两个数据集的实验训练样本（标记+未标记）和测试样本的数量．

  • 表2 实验装置

  • Table2 Experimental setup

  • 3.2 实验结果分析

  • SSLRR算法和对比算法在SEED-Ⅳ数据集和SEED-Ⅴ数据集上的实验结果分别如表3和表4所示，其中粗体数字用于突出最佳平均精度及对应方差．

  • 从实验结果数据角度来看，在SEED-Ⅳ数据集中，SSLRR算法在不同标记样本个数实验中最好的平均识别率分别为96.47%、97.20%和98.03%，与第二优算法SSELM相比，SSLRR算法的平均识别精度分别对应提高10.12、8.28和5.54个百分点．同样，在SEED-Ⅴ数据集中，SSLRR算法的平均识别精度分别为96.86%、97.01%和98.50%，与第二优算法SSELM相比，SSLRR算法的平均识别精度分别对应提高5.35、3.92和3.52个百分点．由此可知，SSLRR算法识别性能要优于其他对比算法，因此证明了SSLRR算法对于半监督目标识别任务的有效性．

  • 与传统回归算法不同，SSLRR算法是一种基于半监督低秩表示的脑电情感识别方法，它对类内松弛回归标签施加了低秩约束，使来自同一类的样本和来自标签传播的具有相同标签的样本在变换空间中具有类似的结构，且通过拖拽技术使得回归分类更加有效，以此来增强其类内相似性和类间分离性，因此在SSLRR中得到的投影矩阵更具判别性．此外，SSLRR算法中的类邻接图可以捕获局部邻域信息，且在松弛回归目标中引入正则化项，可以缓解或避免过拟合问题．结果表明，SSLRR算法具有最佳的识别性能．

  • 为了更直观地观察SSLRR算法分类的有效性，本文通过混淆矩阵的方式，展示SSLRR算法及其对比算法对每种情绪状态的平均识别精度，以及每种情绪状态被错误地归类为其他情绪状态的错误分类率，结果如图1所示．

  • 表3 不同方法在SEED-Ⅳ数据集上的识别精度（平均值±方差）

  • Table3 Recognition accuracy of different methods on SEED-Ⅳ dataset (mean ± std)

  • 表4 不同方法在SEED-Ⅴ数据集上的分类精度（平均值±方差）

  • Table4 Recognition accuracy of different methods on SEED-Ⅴ dataset (mean ± std)

  • 图1 SSLRR算法和SSELM算法在不同数据集上的混淆矩阵

  • Fig.1 Confusion matrix of the proposed SSLRR and SSELM on different datasets

  • 3.3 参数敏感性分析

  • 在SSLRR算法中，存在5个参数，分别是α，β，γ，λ和δ．其中，α用来平衡松弛标签学习项的权重，β是正则化参数，用来防止类邻接图中局部邻域信息过拟合，δ是用来平衡分类低秩标签学习项的权重，γ和λ分别用来避免学习到的标签T和投影矩阵Q 的过拟合问题．

  • 下面将两个数据集上分别验证α，β，γ，λ和δ对SSLRR算法性能的影响．定义一个候选集{10-4，10-3，···，10-1，100}，随机选择一组训练集和测试集，然后使用该候选集的组合来实现网格搜索．SSLRR算法的识别率和5个参数的关系如图2所示．从图2可以观察到，随着参数数值的改变，SSLRR算法识别精度变化相对平缓，且在不同的数据集上得到的最优参数是不同的．因此，本文算法对给定范围内的参数不是很敏感，由此证明了紧凑和相似的类内标签对判别投影学习至关重要，且识别性能并不完全取决于参数的选择．

  • 图2 SSLRR算法参数敏感性分析

  • Fig.2 Parameter sensitivity analysis of SSLRR

  • 3.4 收敛性验证

  • 本节将通过实验验证ADMM优化算法的收敛性．如图3所示，在SEED-Ⅳ和SEED-Ⅴ这两种不同的数据集中，本文提出的优化方法对SSLRR目标函数具有良好的收敛性，随着迭代次数的增加，目标函数值逐渐减小．

  • 图3 两种不同数据集在SSLRR算法上的收敛曲线

  • Fig.3 Convergence curves of two datasets on the proposed SSLRR approach

  • 3.5 消融实验

  • 针对式（9）中用于捕获更多局部邻域信息的第四项类邻接图tr（QXLXTQT）和用于学习类似的类内回归标签的第5项Σi=1cTi*进行消融实验验证．即在其他参数保持最优值不变的情况下，在SEED-Ⅳ和SEED-Ⅴ数据集上分别对β=0和δ=0进行验证实验，实验结果分别如表5和表6所示．

  • 表5 SSLRR算法在SEED-Ⅳ数据集上的消融实验结果（平均值±方差）

  • Table5 Ablation experiment results of SSLRR approach on SEED-Ⅳ dataset (mean ± std)

  • 表6 SSLRR算法在SEED-Ⅴ数据集上的消融实验结果（平均值±方差）

  • Table6 Ablation experiment results of SSLRR approach on SEED-Ⅴ dataset (mean ± std)

  • 由表5和表6可知，在SEED-Ⅳ和SEED-Ⅴ数据集中，SSLRR算法在不添加类邻接图部分（即β=0）或不添加用于学习类似的类内回归标签部分（即δ=0），算法的识别精度都低于SSLRR算法的识别精度．结果表明，本文提出的方法对于提升脑电情绪识别性能具有显著效果．

  • 4 结论

  • 本文提出一种标记样本较少情况下的半监督低秩表示的方法用于脑电信号情感识别（SSLRR）．利用ε-拖拽技术，来确保不同类标签之间的分离性，让学习到的投影更具判别性．使用低秩约束项，提高回归标签的类内相似性，使学习到的标签是宽松的、有判别性的，这不仅可以使类间距变大，还可以减少类内部的距离，从而有更有效的投射．在算法中引入一个正则化项，通过限制学习到的回归标签的能量来避免过拟合问题; 类邻接图在算法中也可用于解决过拟合问题，其权重矩阵能够有效地捕获所有样本的局部邻域信息．在SEED-Ⅳ数据集和SEED-Ⅴ数据集上的实验结果验证了本文方法的有效性．本文的收敛性分析仅说明其连续下降的特性，要实现全局域最小存在困难．因此，在未来的研究中如何获得一个更好的局部最优解以提高情感识别率是一项颇具挑战性的工作．

  • 参考文献

    • [1] Houssein E H,Hammad A,Ali A A.Human emotion recognition from EEG-based brain-computer interface using machine learning:a comprehensive review[J].Neural Computing and Applications,2022,34(15):12527-12557

    • [2] 王慧,邱义波,骆永乐.基于脑电信号评价情绪状态及听觉激励对改善情绪的研究[J].南京信息工程大学学报(自然科学版),2019,11(2):158-164.WANG Hui,QIU Yibo,LUO Yongle.Evaluation of emotional state based on EEG signals and improving emotions by auditory stimulation[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2019,11(2):158-164

    • [3] 袁凯烽,侯璐,黄永锋.基于多源域领域适应字典学习和稀疏表示的脑电情感识别方法[J].南京信息工程大学学报(自然科学版),2023,15(4):412-418.YUAN Kaifeng,HOU Lu,HUANG Yongfeng.Multi-source domain adaptive dictionary learning and sparse representation approach for electroencephalogram-based emotion recognition[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(4):412-418

    • [4] Keyvanpour M R,Imani M B.Semi-supervised text categorization:exploiting unlabeled data using ensemble learning algorithms[J].Intelligent Data Analysis,2013,17(3):367-385

    • [5] Sousa C A R D.An overview on the Gaussian fields and harmonic functions method for semi-supervised learning[C]//2015 International Joint Conference on Neural Networks(IJCNN).July 12-17,2015,Killarney,Ireland.IEEE,2015:1-8

    • [6] Wu H C.The construction of fuzzy least squares estimators in fuzzy linear regression models[J].Expert Systems with Applications,2011,38(11):13632-13640

    • [7] Zhao M B,Chow T W S,Wu Z,et al.Learning from normalized local and global discriminative information for semi-supervised regression and dimensionality reduction[J].Information Sciences,2015,324:286-309

    • [8] Tang T S,Li H,Zhou G H,et al.Discriminant subspace low-rank representation algorithm for electroencephalography-based Alzheimer's disease recognition[J].Frontiers in Aging Neuroscience,2022,14:943436

    • [9] Liu G C,Yan S C.Latent Low-rank representation for subspace segmentation and feature extraction[C]//Proceedings of the 2011 International Conference on Computer Vision.ACM,2011:1615-1622

    • [10] Cai X,Ding C,Nie F P,et al.On the equivalent of low-rank linear regressions and linear discriminant analysis based regressions[C]//Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.August 11-14,2013,Chicago,Il,USA.ACM,2013:1124-1132

    • [11] Lu Y W,Lai Z H,Xu Y,et al.Low-rank preserving projections[J].IEEE Transactions on Cybernetics,2016,46(8):1900-1913

    • [12] Lu Y W,Wong W K,Lai Z H,et al.Robust flexible preserving embedding[J].IEEE Transactions on Cybernetics,2020,50(10):4495-4507

    • [13] Tao H,Hou C P,Yi D Y,et al.Joint embedding learning and low-rank approximation:a framework for incomplete multiview learning[J].IEEE Transactions on Cybernetics,2021,51(3):1690-1703

    • [14] Fang X Z,Xu Y,Li X L,et al.Regularized label relaxation linear regression[J].IEEE Transactions on Neural Networks and Learning Systems,2018,29(4):1006-1018

    • [15] Xiang S M,Nie F P,Meng G F,et al.Discriminative least squares regression for multiclass classification and feature selection[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(11):1738-1754

    • [16] Boyd S,Parikh N,Chu E,et al.Distributed optimization and statistical learning via the alternating direction method of multipliers[J].Foundations and Trends® in Machine Learning,2011,3(1):1-122

    • [17] Gao Y,Ma J Y,Yuille A L.Semi-supervised sparse representation based classification for face recognition with insufficient labeled samples[J].IEEE Transactions on Image Processing,2017,26(5):2545-2560

    • [18] Gu X W.A self-training hierarchical prototype-based approach for semi-supervised classification[J].Information Sciences,2020,535:204-224

    • [19] Gu X W.A dual-model semi-supervised self-organizing fuzzy inference system for data stream classification[J].Applied Soft Computing,2023,136:110053

    • [20] Huang G,Song S J,Gupta J N D,et al.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):2405-2417

    • [21] Peng Y,Jin F Z,Kong W Z,et al.OGSSL:a semi-supervised classification model coupled with optimal graph learning for EEG emotion recognition[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2022,30:1288-1297

  • 基本信息

    中图分类号: TP181
    文献标识码: A
    DOI: 10.13878/j.cnki.jnuist.20231102002

    基金信息

    江苏省自然科学基金(BK20211333)；
    未来网络科学研究基金项目(FNSRFP-2021-YB-36)；
    江苏省媒体设计与软件技术重点实验室开放项目(2023年)；

    引用信息

    稿件历史

    收稿日期: 2023-11-02

  • 参考文献

    • [1] Houssein E H,Hammad A,Ali A A.Human emotion recognition from EEG-based brain-computer interface using machine learning:a comprehensive review[J].Neural Computing and Applications,2022,34(15):12527-12557

    • [2] 王慧,邱义波,骆永乐.基于脑电信号评价情绪状态及听觉激励对改善情绪的研究[J].南京信息工程大学学报(自然科学版),2019,11(2):158-164.WANG Hui,QIU Yibo,LUO Yongle.Evaluation of emotional state based on EEG signals and improving emotions by auditory stimulation[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2019,11(2):158-164

    • [3] 袁凯烽,侯璐,黄永锋.基于多源域领域适应字典学习和稀疏表示的脑电情感识别方法[J].南京信息工程大学学报(自然科学版),2023,15(4):412-418.YUAN Kaifeng,HOU Lu,HUANG Yongfeng.Multi-source domain adaptive dictionary learning and sparse representation approach for electroencephalogram-based emotion recognition[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(4):412-418

    • [4] Keyvanpour M R,Imani M B.Semi-supervised text categorization:exploiting unlabeled data using ensemble learning algorithms[J].Intelligent Data Analysis,2013,17(3):367-385

    • [5] Sousa C A R D.An overview on the Gaussian fields and harmonic functions method for semi-supervised learning[C]//2015 International Joint Conference on Neural Networks(IJCNN).July 12-17,2015,Killarney,Ireland.IEEE,2015:1-8

    • [6] Wu H C.The construction of fuzzy least squares estimators in fuzzy linear regression models[J].Expert Systems with Applications,2011,38(11):13632-13640

    • [7] Zhao M B,Chow T W S,Wu Z,et al.Learning from normalized local and global discriminative information for semi-supervised regression and dimensionality reduction[J].Information Sciences,2015,324:286-309

    • [8] Tang T S,Li H,Zhou G H,et al.Discriminant subspace low-rank representation algorithm for electroencephalography-based Alzheimer's disease recognition[J].Frontiers in Aging Neuroscience,2022,14:943436

    • [9] Liu G C,Yan S C.Latent Low-rank representation for subspace segmentation and feature extraction[C]//Proceedings of the 2011 International Conference on Computer Vision.ACM,2011:1615-1622

    • [10] Cai X,Ding C,Nie F P,et al.On the equivalent of low-rank linear regressions and linear discriminant analysis based regressions[C]//Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.August 11-14,2013,Chicago,Il,USA.ACM,2013:1124-1132

    • [11] Lu Y W,Lai Z H,Xu Y,et al.Low-rank preserving projections[J].IEEE Transactions on Cybernetics,2016,46(8):1900-1913

    • [12] Lu Y W,Wong W K,Lai Z H,et al.Robust flexible preserving embedding[J].IEEE Transactions on Cybernetics,2020,50(10):4495-4507

    • [13] Tao H,Hou C P,Yi D Y,et al.Joint embedding learning and low-rank approximation:a framework for incomplete multiview learning[J].IEEE Transactions on Cybernetics,2021,51(3):1690-1703

    • [14] Fang X Z,Xu Y,Li X L,et al.Regularized label relaxation linear regression[J].IEEE Transactions on Neural Networks and Learning Systems,2018,29(4):1006-1018

    • [15] Xiang S M,Nie F P,Meng G F,et al.Discriminative least squares regression for multiclass classification and feature selection[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(11):1738-1754

    • [16] Boyd S,Parikh N,Chu E,et al.Distributed optimization and statistical learning via the alternating direction method of multipliers[J].Foundations and Trends® in Machine Learning,2011,3(1):1-122

    • [17] Gao Y,Ma J Y,Yuille A L.Semi-supervised sparse representation based classification for face recognition with insufficient labeled samples[J].IEEE Transactions on Image Processing,2017,26(5):2545-2560

    • [18] Gu X W.A self-training hierarchical prototype-based approach for semi-supervised classification[J].Information Sciences,2020,535:204-224

    • [19] Gu X W.A dual-model semi-supervised self-organizing fuzzy inference system for data stream classification[J].Applied Soft Computing,2023,136:110053

    • [20] Huang G,Song S J,Gupta J N D,et al.Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics,2014,44(12):2405-2417

    • [21] Peng Y,Jin F Z,Kong W Z,et al.OGSSL:a semi-supervised classification model coupled with optimal graph learning for EEG emotion recognition[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2022,30:1288-1297

    • Address：No. 219, Ningliu Road, Nanjing, Jiangsu Province

    Postcode：210044

    Phone：025-58731025