基于迁移学习的手部自然动作脑电识别

薛沐辉，徐宝国，李浪，宋爱国; XUE Muhui; XU Baoguo; LI Lang; SONG Aiguo

2025年5月29日 20:14 星期四

基于迁移学习的手部自然动作脑电识别

doi: 10.13878/j.cnki.jnuist.20240512002

薛沐辉，徐宝国，李浪，宋爱国

东南大学仪器科学与工程学院,南京, 210096

基金项目: 国家重点研发计划 (202022YFC240 5602) ；江苏省前沿引领技术基础研究专项(BK20192004A) ；江苏省自然科学基金 (BK20221464)

详细信息

作者简介

薛沐辉，男，硕士生，主要从事脑机接口和迁移学习研究.xuemh99@163.com

通讯作者

徐宝国，男，博士，教授，研究方向为脑机接口、自然人机交互和康复机器人.xubaoguo@seu.edu.cn

中图分类号: TP181;TN911.7;R318

文献标识码: A

EEG recognition of natural hand movements based on transfer learning

XUE Muhui ， XU Baoguo ， LI Lang ， SONG Aiguo

School of Instrument Science and Engineering,Southeast University,Nanjing 210096 ,China

摘要

在脑机接口(BCI)领域，手部自然动作脑电识别对实现自然而精确的人机交互具有重要意义.然而，在针对手部自然动作范式的研究中，利用迁移学习提高模型在不同被试之间泛化能力的尝试仍然较少.本文选择掌握、指捏和旋拧三种手部自然动作开展脑电实验，并在实验数据集上验证了CA-MDM(协方差中心对齐-黎曼均值最小距离)和CA-JDA(协方差中心对齐-联合分布适应)这两种迁移学习算法的有效性.实验结果显示，CA-JDA在二分类和四分类任务中的平均准确率分别为60.51%±5.78%和34.89%±4.42%，而CA-MDM在相同分类任务中的表现分别为63.88%±4.59%和35.71%±4.84%.该结果凸显了基于黎曼空间的分类器在处理协方差特征时的优势.本文的研究不仅证实了迁移学习在手部自然动作范式中的可行性，也可为缩短BCI系统的校准时间，实现自然人机交互策略提供帮助.

关键词

脑机接口 / 手部自然动作 / 迁移学习 / 黎曼几何

Abstract

In the field of Brain-Computer Interface (BCI),the recognition of natural hand movements through electroencephalography (EEG) is crucial for achieving natural and precise human-machine interaction.However,attempts to enhance model generalization ability across different subjects using transfer learning are still rare in studies focusing on natural hand movement paradigms.Here,we investigate three natural hand movement paradigms of grasping,pinching and twisting through EEG experiments,and validate the effectiveness of two transfer learning algorithms,namely CA-MDM( Covariance matrix centroid Alignment-Minimum Distance to Riemannian Mean ) and CA-JDA(Covariance matrix centroid Alignment-Joint Distribution Adaptation),on our experimental dataset.The results show that CA-JDA achieves average accuracies of 60.51%±5.78% and 34.89%±4.42% in binary and quadruple classification tasks,respectively,while CA-MDM performs at 63.88%±4.59% and 35.71%±4.84% in the same tasks,highlighting the advantages of Riemannian space-based classifiers in handling covariance features.This study not only confirms the feasibility of transfer learning in natural hand movement paradigms but also aids in reducing calibration time for BCI systems and implementing natural human-machine interaction strategies.

Keywords

brain-computer interface (BCI) / natural hand movements / transfer learning / Riemannian geometry

0 引言 1 迁移学习算法 1.1 黎曼几何基础 1.2 协方差中心对齐 1.3 联合分布适应 2 实验 2.1 手部自然动作脑电实验 2.2 数据采集与预处理 2.3 迁移学习实验设计 3 实验结果 3.1 运动行为分析 3.2 运动相关皮层电位 3.3 CA-MDM算法 3.4 CA-JDA算法 3.5 算法效果对比 4 结论

0 引言

脑机接口（Brain-Computer Interface，BCI）是一种直接连接大脑和外部设备的技术，它通过解码大脑活动的信号并发出相应的指令实现人与外部环境的交互.对于患者来说，BCI可以提供一种新的通信和控制方式，允许患者在不依赖于大脑外周神经和肌肉的前提下直接利用大脑信号控制如康复机器人^[1]、轮椅^[2]和神经假肢^[3]等外部设备，从而让患者重新获得一定程度上的自主性和独立性，改善他们的生活质量.

长期以来，BCI系统中的控制策略主要通过基于脑电图（EEG）的运动想象（Motor Imagery，MI）实验范式来实现，例如想象左手、右手、双脚和舌头的运动^[4].然而，由于此类控制策略存在着控制方式不自然、能够提供的控制指令较少等问题，所以，通过解码手部动作实现精细控制的策略引起了研究人员的关注.在执行不同类型的手部运动时，大脑皮层会在运动的准备和执行阶段产生运动相关皮层电位（Movement-Related Cortical Potential，MRCPs）^[5].多项研究表明，从MRCPs中提取的信息能够对手部动作、上肢运动以及运动的参数进行解码^[6-8].2018年，Schwarz等^[9]展示了使用健康受试者的MRCPs来分类掌中、侧面和钳形抓握.2020年，他们还成功地分类了单手和双手的动作^[10].Wang等^[11]的研究利用EEG的低频带电位和功率作为解码特征，成功解码了单手和双手运动方向.Chen等^[12]利用深度学习模型解码双手运动的轨迹，包括位置和速度.

尽管针对手部自然动作脑电的研究取得了一定进展，但在实际应用中常常面临缺少训练机器学习模型所需的数据样本的问题.与此同时，由于不同被试对相同刺激有着不同的神经反应，在校准BCI系统时，为新的用户重新采集并标注数据是非常耗时且昂贵的.

迁移学习可以利用数据、任务或模型之间的相似性，将在旧的领域学习过的知识应用于新的领域^[13]，因而在BCI领域受到了广泛关注^[14-16].Gao等^[17]提出的多源域嵌入分布对齐（Multi-Manifold embedded Distributed Alignment，MMDA）在三个MI的竞赛数据集上展现了良好的性能.Zhang等^[18]提出的流形嵌入知识迁移方法（Manifold Embedded Knowledge Transfer，MEKT）及She等^[19]使用的多源流形特征迁移学习（Multi-source Manifold Feature Transfer Learning，MMFT）在快速系列视觉呈现（Rapid Serial Visual Presentation，RSVP）和错误相关负波（Error-Related Negativity，ERN）两种脑电范式中都表现出明显的效果.Zanini等^[20]提出的黎曼对齐（Riemannian Alignment，RA）框架在P300数据集上实现了跨被试和跨时段的数据分布匹配.

虽然学者们在基于运动想象和事件相关电位等范式的迁移学习研究中取得了许多成果，但是鲜有学者专注于手部自然动作范式的研究.与此同时，现有研究对于迁移学习在多分类任务上的表现也少有分析.

针对上述问题，本文选择日常生活中常用的掌握、指捏和旋拧三种手部自然动作开展脑电实验，并在实验数据集上研究了CA-JDA（Covariance matrix centroid Alignment-Joint Distribution Adaptation，协方差中心对齐-联合分布适应）和CA-MDM（Covariance matrix centroid Alignment-Minimum Distance to Remannian Mean，协方差中心对齐-黎曼均值最小距离）两种迁移学习算法在跨被试二分类和四分类任务中的表现，以检验迁移学习在手部自然动作脑电范式上的有效性，为提高动作识别模型的泛化能力，缩短模型的校准时间提供帮助.

1 迁移学习算法

1.1 黎曼几何基础

EEG数据的协方差矩阵属于对称正定（Symmetric Positive Definite，SPD）矩阵，坐落于黎曼流形中，而黎曼流形在局部范围内可以近似为欧几里得空间.SPD矩阵流形的性质使得黎曼流形中的主要运算具有显式公式，因此能够利用黎曼几何对EEG的协方差矩阵进行分析和变换，从而实现更加有效的模式分类和迁移学习^[21].

本文采集的多通道EEG数据的数据格式为三维数组（通道数×采样点数×实验次数），分别对应了EEG数据的有效通道数、单一通道中数据点的个数以及同一任务类型下的实验次数.本文将每次实验的数据视为一个样本，通过估算其空间协方差矩阵（Spatial Covariance Matrix）提取协方差特征，作为接下来使用基于黎曼几何的算法对实验数据进行迁移学习和识别分类的基础.假设EEG数据的通道数量为n，采样点数为s，那么对于第i个试次的EEG数据Z_i∈Rⁿ^×^s，可以通过式（1）来估计EEG数据的空间协方差矩阵：

P_{i} = \frac{1}{s - 1} Z_{i} Z_{i}^{T} .

(1)

黎曼几何研究了光滑弯曲空间的局部和线性近似，这种弯曲空间被称为流形，它在每一点上的线性近似被称为切空间.在黎曼流形中，切空间具有平滑的点到点变化的内积（度量），从而引出了流形上任意两点之间的非欧几里得距离的概念.在黎曼流形中连接两个点的最短距离曲线被称为测地线.

两个SPD矩阵P₁和P₂之间的黎曼距离（亦称为测地线）^[22]被定义为

\begin{matrix} δ (P_{1}, P_{2}) = {‖\log (P_{1}^{- 1 / 2} P_{2} P_{1}^{- 1 / 2})‖}_{F} = \\ {(\sum_{i = 1}^{n} {l o g}^{2} λ_{i})}^{1 / 2} . \end{matrix}

(2)

其中：||·||_F是斐波那契范数; λ_i是

P_{1}^{- 1 / 2} P_{2} P_{1}^{- 1 / 2}

的第i个实特征值.

相关研究表明，对于EEG特征直接使用欧式距离和相关平均数可能会由于忽视其在特定度量空间下的矩阵的几何结构，从而无法准确地对样本进行分类.黎曼几何分类器将数据映射至对称正定空间中，利用黎曼距离进行分类.在对称正定空间中，各协方差矩阵之间的黎曼距离反映了电极间的关联性，数据所在空间的内在几何特性能够被有效地综合考虑.

在利用黎曼均值最小距离（Minimum Distance to Riemannian Mean，MDM）进行分类时，首先计算映射至对称正定空间的各协方差矩阵的黎曼均值，通过黎曼测地线距离可以计算黎曼流形中任意SPD矩阵

{\{P_{i}\}}_{i = 1}^{n}

的黎曼均值^[23]：

M_{r} = a r g \underset{P}{m i n} \sum_{i = 1}^{n} δ^{2} (P, P_{i}) .

(3)

其中：δ（·）为黎曼测地距离.该平均值也被称为几何平均值，常常被用来代表一个给定类别.以二分类为例，MDM分类原理如图1所示，两种样本类别的黎曼均值分别为P¹与P²，针对未知样本P^x分别计算该样本到各样本均值之间的距离δ_R（P¹，P^x）与δ_R（P²，P^x）.如果δ_R（P¹，P^x）大于δ_R（P²，P^x），则该样本被划分为P²所在的类别，即未知样本被划分为距离最近的黎曼均值点所代表的类别.

需要特别注意的是，式（3）中P为具有非正截面曲率的流形，其局部最小值是存在且唯一的，但没有闭式表达式求解，需要引入迭代方法进行计算.迭代方法的基本原理是在每次迭代中将样本点映射到当前黎曼均值点的切空间，并在该空间内使用欧氏距离来计算样本的算术平均，从而确定切空间的中心点，再将此中心点映射回流形来确定新的黎曼中心点.重复以上过程至两次迭代之间的黎曼均值点偏差达到停止条件即可停止迭代，得到最终的黎曼均值.本文中采用的初始迭代点为样本点的欧式算数平均值.

图1黎曼均值最小距离分类原理

Fig.1Principle of MDM

1.2 协方差中心对齐

协方差中心对齐（Covariance matrix centroid Alignment，CA）方法是一种统一来自不同条件或不同数据源数据集的统计特性的方法.这种方法通过调整数据集，使得它们的协方差矩阵的“中心”或平均协方差矩阵相匹配，从而减少数据集之间的统计分布差异.

假设来自源域的第i个协方差矩阵为

P_{S ， i} = X_{S ， i} X_{S ， i}^{T}

，并根据不同的均值M，如欧式均值和黎曼均值，假设中间矩阵M_ref=M^-1/2，则可以通过如下公式对齐协方差矩阵：

P_{S, i}^{'} = M_{r e f} P_{S, i} M_{r e f} .

(4)

同样地，针对目标域协方差矩阵P_T，_i，经过类似处理得到对齐矩阵P′_T，_i.

同余变换和同余不变性是黎曼空间中的两个重要性质：

M (F P_{1} F, F P_{2} F) = F \cdot M (P_{1} P_{2}) \cdot F,

(5)

δ (G^{T} P_{1} G, G^{T} P_{2} G) = δ (P_{1}, P_{2}) .

(6)

其中：

M

（·）为欧式或黎曼平均值计算; F为非奇异方阵; G∈R^c^×^c为可逆对称矩阵.由式（6）可以看出，若对称正定矩阵左右同乘一个可逆对称矩阵，则它们之间的黎曼距离不变.

经过CA对齐后的协方差矩阵有两个重要的性质：边缘概率分布位移最小化与EEG数据白化.根据同余变换和同余不变性，可以得到：

\begin{matrix} M (M_{r e f}^{T} P_{1} M_{r e f}, \dots, M_{r e f}^{T} P_{n_{S}} M_{r e f}) = \\ M_{r e f}^{T} M (P_{1}, \dots, P_{n_{S}}) M_{r e f} = M_{r e f}^{T} M M_{r e f} = I . \end{matrix}

(7)

其中：

M

（·）为欧式或黎曼平均值计算; n_S为源域个数.式（7）表明，若选择M为黎曼均值或者欧式平均，则各域的几何或算数中心都等于单位矩阵，此时源域和目标域的边缘分布在流形上更加接近，从而使得边缘概率分布位移最小化.

若将中间矩阵分解为

M_{r e f} = [w_{1} ， \dots ， w_{c}]

，则P′_S，_i的第m行n列元素表示如下：

P_{S, i}^{'} (m, n) = w_{m}^{T} P_{S, i}^{'} w_{n} .

(8)

根据式（7）可以得到：

w_{m}^{T} M (P_{1}, \dots, P_{n_{S}}) w_{n} = \{\begin{matrix} 1, m = n; \\ 0, m \neq n . \end{matrix}

(9)

对于使用欧式平均的CA，P′_S，_i的第m个对角元素的平均值为

\frac{1}{n_{S}} \sum_{i = 1}^{n_{S}} P_{S, i}^{'} (m, m) = w_{m}^{T} M (P_{1}, \dots, P_{n_{S}}) w_{m} = 1 .

(10)

同时，对于每个对角线元素，都有：

P_{S, i}^{'} (m, m) = {‖X_{S, i}^{T} w_{m}‖}_{2}^{2} > 0 .

(11)

因此，P′_S，_i的对角线元素约为1，非对角元素约为0，P′_S，_i被近似为单位矩阵，即对齐后的EEG数据被近似白化.

由于本文选择EEG数据的协方差矩阵作为模式分类的特征，在运用协方差中心对齐算法进行迁移学习时，使用黎曼均值作为参考矩阵，以确保在迁移学习和分类时对涉及的距离和均值均使用黎曼度量.

1.3 联合分布适应

联合分布适应（Joint Distribution Adaptation，JDA）是一种在迁移学习领域中常用的方法，其目的是减小源领域和目标领域数据的分布差异.JDA方法假设源域与目标域的边缘分布和条件分布均不相同，由此对两个分布同时进行域适配，即适配联合概率.因此，对于源域D_S包含数据X_S与标签y_S，目标域D_T包含数据X_T与标签y_T，JDA方法的目标为寻找变换A使得P（A^ΤX_S）与P（A^ΤX_T）的距离最小，同时使P（y_S|A^ΤX_S）与P（y_T|A^ΤX_T）的距离也最小.

JDA算法首先匹配目标域与源域的边缘分布，此步骤的目标与迁移成分分析^[24]相同，即使用最大平均差异（Maximum Mean Discrepancy，MMD）距离来最小化源域和目标域的最大均值差异，并引入核方法：

\begin{matrix} D i s t (D_{S}, D_{T}) = {‖\frac{1}{n_{S}} \sum_{i = 1}^{n_{S}} A^{T} X_{i} - \frac{1}{n_{T}} \sum_{j = n_{S} + 1}^{n_{S} + n_{T}} A^{T} X_{j}‖}^{2} = \\ t r (A^{T} X M_{0} X^{T} A) . \end{matrix}

(12)

其中：X为源域数据X_S与目标域数据X_T的融合矩阵; n_S与n_T分别为源域与目标域的个数.M₀为MMD矩阵

{(M_{0})}_{i j} = \{\begin{matrix} \frac{1}{n_{S} n_{S}}, X_{i}, X_{j} \in D_{S}; \\ \frac{1}{n_{T} n_{T}}, X_{i}, X_{j} \in D_{T}; \\ \frac{- 1}{n_{S} n_{T}}, 其 他 . \end{matrix}

(13)

在匹配源域与目标域的条件概率分布时，目标域标签y_S是未知的，根据充分统计量原理，JDA首先使用源域数据X_S与标签y_S训练一个简单分类器（如k最近邻算法、逻辑回归等），对X_T预测出一些伪标签

{\hat{y}}_{T}

，并进一步根据伪标签进行条件概率的计算.由此，得到类别间MMD距离，并使用核方法简化计算：

\begin{matrix} {D i s t}_{c} (D_{S}, D_{T}) = \\ {‖\frac{1}{n_{S}^{(c)}} \sum_{X_{i} \in D_{S}^{(c)}} A^{T} X_{i} - \frac{1}{n_{T}^{(c)}} \sum_{X_{j} \in D_{T}^{(c)}} A^{T} X_{j}‖}^{2} = \\ t r (A^{T} X M_{c} X^{T} A) . \end{matrix}

(14)

其中：

D_{S}^{（ c ）}

表示源域某种类别的数据与标签的集合，个数为

n_{S}^{（ c ）}

; 同理，

D_{T}^{（ c ）}

表示目标域通过伪标签判断的某种类别数据与伪标签的集合，个数为

n_{T}^{（ c ）}

.M_c为类别MMD矩阵：

{(M_{c})}_{i j} = \{\begin{matrix} \frac{1}{n_{S}^{(c)} n_{S}^{(c)}}, X_{i}, X_{j} \in D_{S}^{(c)}; \\ \frac{1}{n_{T}^{(c)} n_{T}^{(c)}}, X_{i}, X_{j} \in D_{T}^{(c)}; \\ \frac{- 1}{n_{S}^{(c)} n_{T}^{(c)}}, \{\begin{matrix} X_{i} \in D_{S}^{(c)}, X_{j} \in D_{T}^{(c)}, \\ X_{j} \in D_{S}^{(c)}, X_{i} \in D_{T}^{(c)}; \end{matrix} \\ 0, 其 他 . \end{matrix}

(15)

将两种距离结合，并加以在变化前后数据方差维持不变的限制条件，即得到总的优化目标：

\underset{A^{T} X H X^{T} A = I}{m i n} \sum_{c = 0}^{C} t r (A^{T} X M_{c} X^{T} A) + λ ‖ A ‖_{F}^{2} .

(16)

其中：H为中心矩阵且

H = I - \frac{1}{n} 1_{n_{T}}; 1_{n_{T}} \in R^{n_{T} \times n_{T}}

为全1矩阵; C为总类别数减1; λ为正则化参数.引入拉格朗日乘子Φ后，构造拉格朗日优化函数：

\begin{matrix} L = t r (A^{T} (X \sum_{c = 0}^{C} M_{c} X^{T} + λ I) A) + \\ t r ((I - A^{T} X H X^{T} A) Φ) . \end{matrix}

(17)

令

\frac{\partial L}{\partial A} = 0

，得到广义特征分解：

(X \sum_{c = 0}^{C} M_{c} X^{T} + λ I) A = X H X^{T} A Φ .

(18)

经由式（18）计算得到变换矩阵A，并通过迭代方法不断提高伪标签

{\hat{y}}_{T}

的精度，即可最终求解出目标域的分类结果.

由于JDA方法依赖于传统的欧几里得空间度量，为了与JDA方法相匹配，本文在使用JDA算法之前会先将协方差特征映射为切空间中的向量，再利用JDA算法在欧氏空间中进行迁移学习.与此同时，本文选择k最近邻算法（k-Nearest-Neighbors，k-NN）^[25]作为JDA中训练的分类器.

2 实验

2.1 手部自然动作脑电实验

本研究共招募了11名志愿者（S1~S11，包含6名男性，5名女性，年龄均在22~25岁之间），他（她）们都身心健康且无任何已知的肌肉骨骼疾病或神经生理学异常.实验方案经过东南大学伦理委员会批准（2020-SR-362）.在实验前每位受试者都对本次研究内容完全知情，并签署了知情同意书.

实验在一个安静且封闭的室内进行，如图2a所示，桌面上放置了以扇形固定的三个抓握装置，每个装置包括一个手柄和一个微型力传感器，被试利用相应的手柄执行手部动作.与此同时，在扇形区域的中心位置放置有一个压力按钮，用以协助记录动作开始和完成的时刻，同时保证每次实施自然动作时手部伸出的距离是相同的.被试在处于休息和静止状态时需要将手按压在按钮上.实验所用电极如图2b所示（以绿色和蓝色标记）.

在实验过程中，被试被要求坐在桌前，平视前方并注意聆听上位机发出的指令提示.在每一轮实验开始前会有提示音提示被试即将进入实验环节，此时被试需要将手自然放在压力按钮上，该阶段将持续10 s.进入实验环节后，被试将根据语音提示执行相应的动作任务.图3为3种手部自然动作示意.

实验时序如图4所示，每个试次都分为准备、执行和休息3个阶段，每个阶段会有相应提示音来引导被试.实验开始时，上位机随机发出“掌握”、“指捏”、“旋拧”和“静止”4种指令之一，被试需要集中注意力，尽量避免眨眼和吞咽，准备执行相对应的动作; 第2秒，上位机发出蜂鸣声，被试按照先前的指令在5 s内完成伸手、执行手部动作和把手放回压力按钮的过程（静止则保持不动）; 在动作执行环节结束后，被试会获得5 s的休息时间，休息结束后自动进入下一个实验试次.

一次完整的实验包括10个轮次，每个轮次又包含40个试次.在每轮的40个试次中，掌握、指捏、旋拧和静止不动各有10个试次，并且其出现的顺序是完全随机的.因此，在一次完整实验中，这4种任务类别各有100个试次.为了缓解被试的疲劳，在2个实验组之间，允许被试休息5~10 min.在正式实验之前，被试会进行1~2组实验来熟悉实验任务和实验时序过程.在每组实验结束后，抓握装置的位置会被随机调换，以确保实验的公平性.

图2实验环境与电极选择

Fig.2Experimental setup and electrode selection

图3三种自然手部动作（从左到右为：掌握、指捏、旋拧）

Fig.3Three types of natural hand movements, from left to right: grasping, pinching, and twisting

2.2 数据采集与预处理

脑电数据通过德国Brain Products公司生产的64通道有源电极系统记录，采样频率为1 kHz.脑电放大器和电极帽分别采用actiCHamp系列与acticap系列，按照国际10-20电极标准，使用如图2b所示的40通道采集EEG信号.其中，FPz通道作为接地电极，FP1和FP2用来测量眼电信号，FCz为实验时的参考电极.在脑电数据采集过程中还采用0.01~100 Hz的4阶巴特沃斯带通滤波器衰减高频分量，使用50 Hz的陷波滤波器减少工频干扰.电极阻抗在实验过程中始终保持在10 kΩ以下.

在实验过程中，数据采集卡记录压力按钮以及3个力传感器的输出，用以分析被试执行手部自然动作的运动行为.数据采集卡的采样频率为2 kHz.实验开始后，上位机向脑电采集软件发送标签，同时保存采集卡获取的数据，以实现脑电数据、传感器和压力按钮输出的同步.

MRCPs作为一种低频EEG信号，具有低信噪比的特征，因而必须对原始EEG数据进行预处理.首先，利用耳后乳突TP9和TP10两个通道的平均值对原始数据进行重参考，再使用4阶零相位巴特沃斯滤波器进行0.01~40 Hz低通滤波，并进行50 Hz陷波.为避免眼电干扰，本文选取通道FP1和FP2作为参考，利用独立成分分析方法去除眼电伪迹.然后，选取剩下的34个通道的EEG信号使用4阶零相位巴特沃斯滤波器进行0.3~3 Hz低通滤波获取MRCPs成分.最后，将数据降采样到100 Hz以提高运算性能.对于每个试次，本文截取运动开始前的2 s到运动开始后的3 s用于分析.

图4基于声音提示的实验时序

Fig.4Experiment timeline based on auditory cues

2.3 迁移学习实验设计

在获取实验数据后，为研究迁移学习在手部自然动作脑电识别中的有效性，分析各算法的性能表现，本文设计了跨被试的二分类和多分类迁移学习实验.在实验中，所有被试的数据集会依次作为目标域，在该被试作为目标被试时，其他被试会轮流作为源被试进行一对一的跨被试迁移学习.在一对一的迁移学习过程中，只有源域样本对应的标签会被用于训练机器学习模型，目标域样本的标签被认为是未知的，即源域样本用作模型的训练集，目标域样本用作模型的测试集.因此，假设共有n名被试参与了迁移学习的实验，那么将会有n×（n-1）次一对一的跨被试迁移学习实验.

与此同时，为了充分研究迁移学习算法在不同分类任务中的性能表现，本文将4种手部自然动作实验任务类型（掌握、指捏、旋拧、静止）进行两两组合，组成6种二分类手部动作识别任务，并同时进行四分类任务的分析.因此，在每个跨被试的迁移学习实验中，共包含6个二分类任务和1个四分类任务.在一般的二分类实验中，理论上的概率机会水平为50%，对应的四分类机会水平在25%.由于实验数据集中的样本数量不足够多，本研究在对分类结果的实际分析中将机会水平进行了调整^[26].结果表明，二分类迁移学习任务的机会水平为50.95%（a=0.05），四分类迁移学习任务的机会水平为27.87%（a=0.05）.

在本文的研究中，迁移学习算法在分类任务中的性能表现通过平均分类准确率来表征.以二分类任务为例，假设使用特定的迁移学习方法在被试1作为目标域的数据集上进行二分类任务，首先计算被试2作为源域数据时分别在6种二分类实验下的分类准确率，并求得平均分类准确率，之后依次计算被试3至被试n作为源域数据时的平均分类准确率，最后再将这n-1名被试的平均分类准确率求平均，得到该迁移学习方法在被试1作为目标域时的平均分类准确率.

在上述实验条件下，本文分析了以下3种迁移学习和分类器的组合方法在手部自然动作数据集上的表现：

1）RAW-MDM：未使用任何迁移学习算法，直接将源域数据作为训练集，将目标域数据作为测试集，使用MDM分类器进行分类.该方法主要作为其他迁移学习方法的对照.实验结果表明，该方法的二分类任务平均分类准确率为53.32%，四分类任务平均分类准确率为29.73%.

2）CA-JDA：首先使用协方差中心对齐将源域和目标域初步匹配，之后再运用JDA算法进一步减小源域和目标域之间的分布差异.与此同时，选择k-NN作为JDA中的分类器.

3）CA-MDM：先使用协方差中心对齐算法，再利用MDM分类器进行分类.

3 实验结果

3.1 运动行为分析

本文借助压力按钮和力传感器的输出对被试在实验过程中的运动行为进行分析.本文将被试伸手离开压力按钮的时刻定义为运动开始时刻，被试收手返回压力按钮的时刻定义为运动结束时刻.

图5将上位机发出指令提示被试执行动作的时刻作为零时刻，展示了参与试验的各个被试的运动开始时刻和运动结束时刻的平均值.经过单因素方差分析发现，同一被试在执行不同手部自然动作的反应时间无显著差异.因此，同一被试执行3种手部自然动作的运动开始时刻能够统一进行分析.从图5中可以看出，不同被试的反应时间并不相同，所有被试运动开始时刻的平均值为0.5 s，所有被试运动结束时刻的平均值为4.1 s，并且所有被试都能够按照要求在5 s内完成执行手部自然动作的整个过程.

图5被试的运动开始和运动结束时刻

Fig.5Moments of movement onset and termination for the subjects

为确保实验数据的质量，本文从原有的11名被试中选出实验完成度好、有效样本多的9名被试进行下一步的分析和研究.图6展示了这9名被试在执行3种手部自然动作过程中的行为分析结果.由图6可以看出：不同被试执行同一手部动作的运动时间是不同的，而同一被试执行不同手部动作的运动时间大致相似; 同一被试处在伸手阶段和收手阶段的时间几乎相同，这表明被试在执行动作时手部的运动基本是匀速的.

通过图6也可以看出，不同被试最初的反应时间相差不多，而运动结束的最终时刻却有着明显区别.这一发现也与图5中各被试运动开始时刻的标准差小于100 ms，而运动结束时刻的标准差达到420 ms相对应.通过分析各被试伸手、施力和收手的时间可以得知，不同被试的行为习惯和运动的速度不同，这些差异在运动过程中逐渐积累，使得不同被试的运动结束时刻具有较大的标准差.

3.2 运动相关皮层电位

脑电的生理学研究已经证实了手部动作类型与大脑皮层MRCPs幅值的变化具有对应关系.图7展示了C1、C2和Cz三个通道参考于运动开始时刻（记为0时刻）的MRCPs大平均（所有被试的平均）.本文选取运动开始前的2 s至运动开始之后的3 s这一时段进行分析，同时采用运动开始前2 s的EEG数据进行基线校正.对于单个通道，3种手部自然动作被绘制在一起，如图7所示.对于所有动作条件，可以观察到MRCPs的波形在动作开始前约250~350 ms产生明显负偏移.对于每一个动作，临近动作开始时，MRCPs的负偏移达到大约-4 μV的峰值.运动开始约200 ms后，在3个通道的所有手部动作中都可以观察到一个明显的正反弹，随后是第二个正反弹.对于中央运动皮层上的所有电极，可以观察到其在运动后3 s内存在显著差异，其中，在Cz和C1处观察到的差异最为明显.这些差异是基于MRCPs对手部自然动作进行解码识别的生理基础.

与Schwarz等^[9]的研究结果类似，在本文的研究中，MRCPs的幅值最早在运动开始前2~1.5 s开始表现出负偏移，并在动作开始时（0时刻）达到最大.此外，MRCPs的幅值在动作开始前0~0.5 s还出现了一个正向电位反弹.

3.3 CA-MDM算法

表1展示了CA-MDM方法在不同源域和目标域上的二分类平均准确率，其中，每一行表示不同的目标域，每一列表示不同的源域.从表1中可以看出，CA-MDM方法在9名被试分别作为目标域的跨被试二分类迁移学习中均取得超过55.90%的平均分类准确率，高于50.95%（a=0.05）的机会概率水平，以及未经过迁移的RAW-MDM方法（平均分类准确率为53.32%）.与此同时，CA-MDM在所有被试上的二分类平均准确率为63.88%±4.59%，其中，在被试S2、S7和S8的测试集上取得了高于67%的分类准确率.

图6被试分别执行三种手部动作的行为分析

Fig.6Behavioral analysis of the subjects performing three types of hand movements

图73种手部自然动作在C1、C2和Cz通道上的MRCPs大平均

Fig.7Grand averages of MRCPs for three types of natural hand movements on channels C1, C2 and Cz

表1CA-MDM在不同源域和目标域上的二分类平均准确率和标准差

Table1Average accuracy and standard deviation of CA-MDM in binary classification across different source and target domains

本文还针对掌握、指捏、旋拧和静止4种任务类型进行了四分类的一对一迁移学习实验.表2展示了CA-MDM在不同源域和目标域上的四分类平均准确率和标准差，其中，每一行表示不同的目标域，每一列表示不同的源域.从表2中可以得出，CA-MDM方法在所有被试的跨被试四分类迁移学习任务中获得了35.71%±4.84%的总平均分类准确率，高于27.87%（a=0.05）的机会概率水平，优于直接对原始数据进行分类的RAW-MDM方法（平均分类准确率为29.73%）.值得关注的是，被试S1与S5在四分类中的平均准确率都仅高于机会水平，低于作为对比的RAW-MDM方法.这一表现可能意味着这2名被试在原始的数据分布上就与其他被试有着较大的差异，从而影响了迁移学习的效果.

经过二分类迁移学习实验和多分类迁移学习实验的分析可以得知，在运动想象和事件相关电位实验范式中被广泛运用的CA-MDM方法在手部自然动作脑电数据集上依然取得明显的效果.

3.4 CA-JDA算法

图8展示了CA-JDA算法在二分类和四分类实验任务中的表现，图中所指的准确率均为相应的被试作为目标域时的分类准确率.如图8所示，CA-JDA在二分类和四分类实验中的平均准确率分别为60.51%±5.78%和36.01%±4.42%，高于机会概率水平和RAW-MDM方法.与此同时，从被试的角度分析，CA-JDA在被试S4、S5和S6中的表现低于所有被试的平均水平，各被试在二分类和四分类任务中相较于其他被试的表现基本一致，说明该方法鲁棒性较好，可以在各个被试之间均取得较为稳定的结果.

表2CA-MDM在不同源域和目标域上的四分类平均准确率和标准差

Table2Average accuracy and standard deviation of CA-MDM in quadruple classification across different source and target domains

图8CA-JDA在二分类和四分类实验任务中的表现

Fig.8Performance of CA-JDA in binary and quadruple classification tasks

从实验任务的角度对比，四分类实验任务中的标准差明显大于二分类实验任务.与此同时，被试S7在四分类实验任务中表现出过大的标准差，表明算法在该被试中的结果并不稳定.

CA-JDA算法的表现证明了其在手部自然动作数据集上的有效性，该方法也为基于BCI的迁移学习方法提供了通过伪标签对未标注的目标域数据进行分类的新思路.

3.5 算法效果对比

本文对比了RAW-MDM、CA-JDA和CA-MDM这3种方法分别在9名被试数据集上的二分类任务准确率和四分类任务准确率.表3展示了各迁移学习方法在跨被试二分类任务中的平均准确率和标准差.通过分析可以发现，在被试S1、S3和S9中CA-JDA算法的表现最好，而CA-MDM算法在其他的6个被试中都取得了最好的表现，同时也获得了最高的所有被试平均分类准确率.

表4展示了跨被试四分类任务的平均准确率和标准差.在四分类实验任务中，被试S1、S2和S5中CA-JDA算法的表现最好，而CA-MDM算法在其他6个被试中都到达了最好的分类性能，同时也获得了最佳的整体表现.

综合分析表3和4的结果可知，本文所使用的迁移学习算法准确率均超过了机会水平以及不经迁移学习直接分类的准确率.与此同时，CA-MDM算法的综合表现优于CA-JDA算法，体现出了黎曼方法在处理协方差特征时的优越性.

表33种方法分别在9个被试数据集上的二分类准确率的平均值和标准差

Table3Average accuracy and standard deviation of three methods in binary classification across nine subjects' datasets

表43种方法分别在9个被试数据集上的四分类准确率的平均值和标准差

Table4Average accuracy and standard deviation of three methods in quadruple classification across nine subjects' datasets

4 结论

本文将迁移学习算法首次应用在手部自然动作的EEG数据集上，验证了迁移学习在手部自然动作脑电范式中的有效性，拓展了迁移学习在BCI研究中的应用范围.与此同时，本文在跨被试的二分类和多分类任务中分析了不同算法的性能，证明了CA-MDM算法在该数据集上具有更好的表现，可以为减少模型校准时间、提高模型跨被试分类的泛化性能提供新的思路和参考.

图1黎曼均值最小距离分类原理

Fig.1Principle of MDM

下载: 全尺寸图片

图2实验环境与电极选择

Fig.2Experimental setup and electrode selection

下载: 全尺寸图片

图3三种自然手部动作（从左到右为：掌握、指捏、旋拧）

Fig.3Three types of natural hand movements, from left to right: grasping, pinching, and twisting

下载: 全尺寸图片

图4基于声音提示的实验时序

Fig.4Experiment timeline based on auditory cues

下载: 全尺寸图片

图5被试的运动开始和运动结束时刻

Fig.5Moments of movement onset and termination for the subjects

下载: 全尺寸图片

图6被试分别执行三种手部动作的行为分析

Fig.6Behavioral analysis of the subjects performing three types of hand movements

下载: 全尺寸图片

图73种手部自然动作在C1、C2和Cz通道上的MRCPs大平均

Fig.7Grand averages of MRCPs for three types of natural hand movements on channels C1, C2 and Cz

下载: 全尺寸图片

图8CA-JDA在二分类和四分类实验任务中的表现

Fig.8Performance of CA-JDA in binary and quadruple classification tasks

下载: 全尺寸图片

表1CA-MDM在不同源域和目标域上的二分类平均准确率和标准差

Table1Average accuracy and standard deviation of CA-MDM in binary classification across different source and target domains

下载: 全尺寸图片

表2CA-MDM在不同源域和目标域上的四分类平均准确率和标准差

Table2Average accuracy and standard deviation of CA-MDM in quadruple classification across different source and target domains

下载: 全尺寸图片

表33种方法分别在9个被试数据集上的二分类准确率的平均值和标准差

Table3Average accuracy and standard deviation of three methods in binary classification across nine subjects' datasets

下载: 全尺寸图片

表43种方法分别在9个被试数据集上的四分类准确率的平均值和标准差

Table4Average accuracy and standard deviation of three methods in quadruple classification across nine subjects' datasets

下载: 全尺寸图片

图1黎曼均值最小距离分类原理

Fig.1Principle of MDM

图2实验环境与电极选择

Fig.2Experimental setup and electrode selection

图3三种自然手部动作（从左到右为：掌握、指捏、旋拧）

Fig.3Three types of natural hand movements, from left to right: grasping, pinching, and twisting

图4基于声音提示的实验时序

Fig.4Experiment timeline based on auditory cues

图5被试的运动开始和运动结束时刻

Fig.5Moments of movement onset and termination for the subjects

图6被试分别执行三种手部动作的行为分析

Fig.6Behavioral analysis of the subjects performing three types of hand movements

图73种手部自然动作在C1、C2和Cz通道上的MRCPs大平均

Fig.7Grand averages of MRCPs for three types of natural hand movements on channels C1, C2 and Cz

图8CA-JDA在二分类和四分类实验任务中的表现

Fig.8Performance of CA-JDA in binary and quadruple classification tasks

表1CA-MDM在不同源域和目标域上的二分类平均准确率和标准差

Table1Average accuracy and standard deviation of CA-MDM in binary classification across different source and target domains

表2CA-MDM在不同源域和目标域上的四分类平均准确率和标准差

Table2Average accuracy and standard deviation of CA-MDM in quadruple classification across different source and target domains

表33种方法分别在9个被试数据集上的二分类准确率的平均值和标准差

Table3Average accuracy and standard deviation of three methods in binary classification across nine subjects' datasets

表43种方法分别在9个被试数据集上的四分类准确率的平均值和标准差

Table4Average accuracy and standard deviation of three methods in quadruple classification across nine subjects' datasets

图1黎曼均值最小距离分类原理

Fig.1Principle of MDM

图2实验环境与电极选择

Fig.2Experimental setup and electrode selection

图3三种自然手部动作（从左到右为：掌握、指捏、旋拧）

Fig.3Three types of natural hand movements, from left to right: grasping, pinching, and twisting

图4基于声音提示的实验时序

Fig.4Experiment timeline based on auditory cues

图5被试的运动开始和运动结束时刻

Fig.5Moments of movement onset and termination for the subjects

图6被试分别执行三种手部动作的行为分析

Fig.6Behavioral analysis of the subjects performing three types of hand movements

图73种手部自然动作在C1、C2和Cz通道上的MRCPs大平均

Fig.7Grand averages of MRCPs for three types of natural hand movements on channels C1, C2 and Cz

图8CA-JDA在二分类和四分类实验任务中的表现

Fig.8Performance of CA-JDA in binary and quadruple classification tasks

表1CA-MDM在不同源域和目标域上的二分类平均准确率和标准差

Table1Average accuracy and standard deviation of CA-MDM in binary classification across different source and target domains

表2CA-MDM在不同源域和目标域上的四分类平均准确率和标准差

Table2Average accuracy and standard deviation of CA-MDM in quadruple classification across different source and target domains

表33种方法分别在9个被试数据集上的二分类准确率的平均值和标准差

Table3Average accuracy and standard deviation of three methods in binary classification across nine subjects' datasets

表43种方法分别在9个被试数据集上的四分类准确率的平均值和标准差

Table4Average accuracy and standard deviation of three methods in quadruple classification across nine subjects' datasets

He Y T, Eguren D, Azorín J M,et al. Brain-machine interfaces for controlling lower-limb powered robotic systems[J]. Journal of Neural Engineering,2018,15(2):021004

Galán F, Nuttin M, Lew E,et al. A brain-actuated wheelchair:asynchronous and non-invasive brain-computer interfaces for continuous control of robots[J]. Clinical Neurophysiology,2008,119(9):2159-2169

Müller-Putz G R, Scherer R, Pfurtscheller G,et al. Brain-computer interfaces for control of neuroprostheses:from synchronous to asynchronous mode of operation[J]. Biomedizinische Technik Biomedical Engineering,2006,51(2):57-63

Pfurtscheller G, Guger C, Müller G,et al. Brain oscillations control hand orthosis in a tetraplegic[J]. Neuroscience Letters,2000,292(3):211-214

Slobounov S M, Ray W J. Movement-related potentials with reference to isometric force output in discrete and repetitive tasks[J]. Experimental Brain Research,1998,123(4):461-473

Jochumsen M, Rovsing C, Rovsing H,et al. Quantification of movement-related EEG correlates associated with motor training:a study on movement-related cortical potentials and sensorimotor rhythms[J]. Frontiers in Human Neuroscience,2017,11:604

Ahmadian P, Sanei S, Ascari L,et al. Constrained blind source extraction of readiness potentials from EEG[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering:a Publication of the IEEE Engineering in Medicine and Biology Society,2013,21(4):567-575

Jochumsen M, Rovsing C, Rovsing H,et al. Classification of hand grasp kinetics and types using movement-related cortical potentials and EEG rhythms[J]. Computational Intelligence and Neuroscience,2017,2017:7470864

Schwarz A, Ofner P, Pereira J,et al. Decoding natural reach-and-grasp actions from human EEG[J]. Journal of Neural Engineering,2018,15(1):016005

Schwarz A, Pereira J, Kobler R,et al. Unimanual and bimanual reach-and-grasp actions can be decoded from human EEG[J]. IEEE Transactions on Bio-Medical Engineering,2020,67(6):1684-1695

Wang J R, Bi L Z, Fei W J,et al. Decoding single-hand and both-hand movement directions from noninvasive neural signals[J]. IEEE Transactions on Bio-Medical Engineering,2021,68(6):1932-1940

Chen Y F, Fu R Q, Wu J D,et al. Continuous bimanual trajectory decoding of coordinated movement from EEG signals[J]. IEEE Journal of Biomedical and Health Informatics,2022,26(12):6012-6023

Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering,2010,22(10):1345-1359

Jayaram V, Alamgir M, Altun Y,et al. Transfer learning in brain-computer interfaces[J]. IEEE Computational Intelligence Magazine,2016,11(1):20-31

Jin Y M, Mousavi M, Sa V R D. Adaptive CSP with subspace alignment for subject-to-subject transfer in motor imagery brain-computer interfaces[C]//2018 6th International Conference on Brain-Computer Interface(BCI). January 15-17,2018, Gangwon, Korea(South). IEEE,2018:1-4

Wu D R, Lance B J, Parsons T D. Collaborative filtering for brain-computer interaction using transfer learning and active class selection[J]. PLoS One,2013,8(2):e56624

Gao Y Y, Liu Y C, She Q S,et al. Domain adaptive algorithm based on multi-manifold embedded distributed alignment for brain-computer interfaces[J]. IEEE Journal of Biomedical and Health Informatics,2023,27(1):296-307

Zhang W, Wu D R. Manifold embedded knowledge transfer for brain-computer interfaces[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering,2020,28(5):1117-1127

She Q S, Cai Y H, Du S Z,et al. Multi-source manifold feature transfer learning with domain selection for brain-computer interfaces[J]. Neurocomputing,2022,514:313-327

Zanini P, Congedo M, Jutten C,et al. Transfer learning:a Riemannian geometry framework with applications to brain-computer interfaces[J]. IEEE Transactions on Bio-Medical Engineering,2018,65(5):1107-1116

Congedo M, Barachant A, Bhatia R. Riemannian geometry for EEG-based brain-computer interfaces:a primer and a review[J]. Brain-Computer Interfaces,2017,4(3):155-174

Yger F, Berar M, Lotte F. Riemannian approaches in brain-computer interfaces:a review[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering,2017,25(10):1753-1762

Arsigny V, Fillard P, Pennec X,et al. Fast and simple calculus on tensors in the log-Euclidean framework[M]//Lecture Notes in Computer Science. Berlin, Heidelberg: Springer Berlin Heidelberg,2005:115-122

Pan S J, Tsang I W, Kwok J T,et al. Domain adaptation via transfer component analysis[J]. IEEE Transactions on Neural Networks,2011,22(2):199-210

毋雪雁, 王水花, 张煜东. K最近邻算法理论与应用综述[J]. 计算机工程与应用,2017,53(21):1-7. WU Xueyan, WANG Shuihua, ZHANG Yudong. Survey on theory and application of k-nearest-neighbors algorithm[J]. Computer Engineering and Applications,2017,53(21):1-7

Mueller-Putz G R, Scherer R, Brunner C,et al. Better than random:a closer look on BCI results[J]. International Journal of Bioelectromagnetism,2008,10(1):52-55

地址：江苏省南京市宁六路219号邮编：210044

联系电话：025-58731025 E-mail：nxdxb@nuist.edu.cn