SCIENCE ROBOTICS：非侵入式神经成像可增强机器控制的持续神经追踪

通过脑内植入获取信号的侵入式脑机接口技术已经实现了高维机器设备的控制，但植入和操作这些系统要大量的医疗和外科专业知识，这限制了相关技术的应用，令其使用范围仅限于少数临床病例。而非侵入式脑机接口技术在较少的专业医疗知识下也能达到提供高质量设备控制的目的，这对BCIs在临床和家庭环境中的落地大有帮助。

来自卡耐基梅隆大学和明尼苏达大学生物医学工程系的研究人员在SCIENCE ROBOTICS发文，在无创机器人设备控制领域取得了重要突破。研究人员利用无创的脑机接口（BCI）开发出了首个成功通过大脑来控制的机械臂，它具有连续跟踪和跟随计算机光标的能力。

本文提出并检验了一个以脑电技术（EEG）为基础的非侵入性框架，可以通过脑神经控制机器人对随机的目标进行持续追踪。该框架解决并改进了“大脑”与“计算机”两部分，通过持续追踪任务和相关的训练范式以及高空间分辨率的脑成像，来提高被试的参与度。作者提出，这一框架将BCI在传统中心任务中的表现提高了近60%，在更现实的持续追踪任务中的表现提高了超过500%，结合在线非侵入式神经成像技术，将BCI的控制水平提升了近10%。最后，作者将该框架应用于现实任务中，发现从控制不受约束的虚拟光标运动到控制机器人手臂运动，该框架几乎可以做到完美过渡。作者认为将这种高质量的神经解码能力与非侵入式机器手臂控制的实际应用相结合，将对非侵入式BCI神经机器人的开发和实现具有重要的意义。 

前言：

脑机接口技术可以通过检测精神意图和控制外部设备，为肌萎缩侧索硬化和脊髓损伤在内的多种神经疾病的患者提供生活上的便利。患者也可以通过想象身体各部位的运动，更好地配合医生的治疗。虽然侵入式与非侵入式系统各有所长，但两类BCIs都可以实现患者身体功能的补充，包括独立行走、手部功能操作以及语言交流等。临床研究的兴趣也集中在迅速建立系统，帮助患者通过自主神经控制达到与身边环境互动的目的。然而，尽管恢复和增强手臂与手控制的技术对于潜在的患者来说十分重要，但是基于脑电（EEG）的BCIs在这一领域并没有提供足够有效的技术。目前，BCIs典型的临床应用集中在机器人辅助或矫形器辅助的手控制，而精确的定位是这一切的基础，因此改善机器手臂的协调导航性能至关重要。为了满足这一需求，本研究提出了一种基于EEG的非侵入式系统，可以在二维环境中，通过大脑电信号持续控制物理机器手臂。

BCI的学习率受到用户动机以及认知唤起水平等因素的影响，可能存在个体差异。尽管不同人群、时间的内部动机水平不同，通过刺激任务范式吸引和保持注意力可能会降低这些差异。本研究开发的是一个持续追踪任务（continuous pursuit），被试运用运动想象（motor imagination），追踪一个移动的目标。作者发现CP任务训练相比传统DT（discrete trials，非连续试次）任务训练可以产生更强的行为和生理学习效果。

信号质量差会令解码神经事件的能力复杂化，尤其是在使用EEG等非侵入性信号时。空间滤波长期以来被用于非侵入式BCI信号的去噪，现在也被用于检测现实命令，脑电源成像(Electrical source imaging,ESI)就是这样一种方法，它运用头部的电学性质和几何结构，减轻传导过程中产生的影响，进而估算大脑皮层的活动。与传统的传感技术相比，在使用ESI时，离线神经解码得到了显著的增强，但这些方法还有待在线验证。通过开发一个实时ESI平台，能够在传感器和源域中隔离和评估神经解码，而不需要引入通常伴随其他空间过滤技术的在线处理步骤。

总之，本文提出的框架演示了一种通过有针对性地改进BCI的用户学习和机器学习两部分来实现机器人手臂连续控制的系统方法。具体地说，使用CP（持续追踪任务）任务训练范式将传统DT（非连续试次）任务的BCI学习提高了近60%，而在更实际的CP任务中则提高了超过500%，实时ESI的实用功能令CP BCI的控制提升了10%。通过集成这些改进，作者演示了机器手臂的持续控制能力，几乎与虚拟光标控制能力处于相同的水平，这突出了非侵入性BCI应用于实际任务和最终临床应用的潜力。 

材料与方法：

BCI任务：

无反馈的运动想象

在每一阶段开始进行无反馈运动想象脑电数据的收集，包括左手运动的运动想象、右手运动的运动想象、双手运动的运动想象、双手休息的运动想象。每一项测试由10个随机的试验组成，每次试验由3秒的休息和4秒有视觉提示的运动想象组成。

DT任务与CP任务

DT（非连续试次）范式由固定的目标位置和预定的光标轨迹中心组成。DT范式下包含21个随机的试验，每次试验包括3秒休息、2秒准备和6秒的移动光标击中目标任务，试验间有1秒间隔。在基线和评估阶段，光标击中目标即停止；而在训练期间，要求被试在击中目标后还要令目标长时间停留在目标上。也就是说，DT运行在训练期间的时间与CP运行的时间一致，都是固定的120s。

CP（持续追踪任务）刺激范式是对目标的持续追踪，每次试验由2个60秒组成，二者之间有1秒的间隔。使用简单的运动学模型对目标在每一帧中的位置进行更新。随机运动是通过施加一个随机产生的1D或2D外力来获得的。训练实验和源与传感器实验中，允许光标和目标从一边直接绕到对应边；但在机器手臂与虚拟光标实验中，为了使任务更真实，不可以这样。

性能估算

CP范式下的随机性能：收集15个(标准)或70个(物理约束)数据集来评估。

DT范式下的随机性能：由每个控制维度中的目标数量除以100%。

实验设计：

在向明尼苏达大学或卡耐基梅隆大学相关机构审查委员会批准的方案提供书面同意后，共招募68名健康被试参与了本研究的不同阶段。

图1. 基于源信号的CP BCI机器手臂框架。该框架包括用户学习、机器学习以及真实的机器设备控制。

训练

33名初学BCI的个体(平均年龄:24.8±10.6岁，30名右利手，18名男性)参加了为期10次的BCI纵向训练，其中包括1次基线训练、8次训练和1次评估。在基线和评估时间点对参与者进行了所有任务的测试，以评估培训的有效性。在个体间随机分配中，完成一个分组的DT任务和一个分组的CP任务。每个范例由1D LR（左右）、1D UD（上下）和2D control（控制）的两次运行组成。被试被分为三个训练组[DT传感器（DT sensor）、CP传感器（CP sensor）、CP源(CP source)]，熟练的会被排除在训练之外。被试参加了8次训练，每次训练12次。这8个训练阶段被分成2×1D LR、2×1D UD和4×2D控制。评估阶段与基线阶段相同，任务组的顺序也是随机分配的。基线和评估均使用传感器控制完成，以确保各组间的一致性。参与者每周接受两到三次实验，平均间隔时间为3.69±2.99天。

源与传感器

源与传感器控制的CP BCI任务：29个人参与了实验， 16名(平均年龄:22.67±8.1岁，15名右利手，6名男性)，平均有12.8±8.9小时的BCI经验（可以参与3个）；13名(平均年龄:21.8±5.0岁，12名右利手，8名男性)为BCI新手。在每个BCI任务中，参与者完成12次CP BCI(4×1D LR、4×1D UD和4×2D)，解码策略(传感器或源)在人群中随机分配和平衡。

机器手臂与虚拟光标     

虚拟光标和机器手臂控制的对比实验：6名参与者(平均年龄:25.2±6.5岁，5名右利手，3名男性，之前接受过BCI训练8.3±2.9小时)。该阶段的参与者使用基于传感器的1D和2D DT任务进行筛选，19名被招募的参与者中有6人通过了这些标准。所有的机器手臂实验都是在一台43英寸的三星4K电视上进行的，为机器手臂和虚拟光标提供了大而实用的工作空间。每个用户参与5个源CP BCI会话，包含12次运行(60秒);虚拟光标和机器手臂按随机顺序进行3到5次、3×1D LR、3×1D UD和6×2D的控制。机器手臂端点的位置被1:1地映射到屏幕上的光标位置，使用逆向运动学来解决最佳的关节角度和手臂轨迹。机器手臂工作空间为正方形，边长为0.48 m。在所有的BCI任务中，参与者坐在离电脑屏幕约90厘米的软垫椅上。除特别说明外，用户都配备了一个128通道的EEG采集帽及放大器

 MRI采集

使用32通道头线圈在3T MRI机器上获得被试特定的解剖MRI图像。每个被试使用T1加权磁化快速制备的高分辨率解剖图像采集梯度回波序列。

频域ESI

在源与传感器实验中，使用FreeSurfer对每个被试的MRI图像进行分割并导入Brainstorm工具包中。在机器手臂与虚拟光标实验中，将Colin27脑模板运用到每个被试。将皮层降采样至~15000个顶点组成的细分网格，并基于Destrieux atlas分成12个分区。将感觉运动区域设置为感兴趣区，用于特征提取和在线源控制。

源与传感器实验中，在每个BCI session开始的时候，使用FASTRAK digitizer结合Brainstorm对电极进行定位。借助OpenMEEG工具包实现边界单元法，生成了一个电导率比为1:1/20:1的three-shell真实几何头模型。

信号处理与数据分析

所有的在线处理均使用自定义MATLAB脚本执行。设有57个覆盖头皮运动顶叶区域的电极进行在线处理。采样率256 Hz，并在8到13 Hz之间进行带通滤波，然后转换参考。对最近的250ms数据进行分析，并用于每100 ms更新一次光标速度。瞬时控制信号被计算为所选电极的α功率的加权和。

在离线数据分析中，CP数据文件包含光标和目标位置，DT数据文件包含用于计算PVC值的每个试验的目标代码和结果代码。无反馈的MI数据文件包含128通道的EEG和MI任务标签。剔除坏段并对坏电极进行插补，降采样到128Hz并进行5-30Hz的带通滤波，最后全脑平均参考。在每次刺激呈现后0.5 - 4.0 s的时间段内，使用Morlet小波从每个通道提取(8 - 13hz)的功率。每个通道和每个频率的α功率根据任务标签进行回归。对于源域，根据频域ESI部分计算皮质α功率，并根据任务标签进行回归。采用ICA提取眼动数据，为了确定眼动对BCI表现的影响，本文对垂直或水平眼动IC激活序列与相应维度的目标位置进行了回归分析。

使用自定义的R和MATLAB脚本进行统计分析。在整篇文章中，效果大小被报告为点二列相关∣r∣，以强调组内和跨条件的差异。除非另有说明，均采用两因素重复测量方差分析统计时间和训练任务（DT vs. CP）、解码域（source vs. sensor）或控制方法(robotic arm vs. virtual cursor)的差异。所有的行为和电生理指标首先用Shapiro-Wilk检验进行评估，以检验标准方差分析的残差是否正常。如果多重比较的次数小于10，采用Tukey’s post hoc test进行校正；如果次数大于10，采用FDR校正（p<0.05）。

结果：

在讨论以电源成像（ESI）为基础的解码策略是否可以用于机器手臂的持续控制之前，需要先验证CP任务和源信号的方法在训练和控制策略中是否有作用（图1）。33名被试参与了虚拟光标的控制训练，训练时间为10次，分为传感器域CP训练（CP）、传感器域DT训练（DT）和使用实时电源成像的传感器域CP训练（sCP）。对比可以得出哪个训练任务（CP还是DT）以及哪个神经反馈域(源还是传感器控制)可以获得更有效的BCI技能习得。最终获得29人的数据，其中16人有BCI经验（传感器控制的经验），13人对BCI不熟悉。此外，还有另外6人参与了实验，他们都有DT光标控制的经验，作者旨在对比在CP任务下，物理约束的变化分别对虚拟光标控制性能和机器手臂控制性能的影响。 

通过运动想象实现非侵入式持续虚拟目标追踪：

在整个实验过程中，被试被要求通过运动想象任务来控制虚拟光标的轨迹。左手和右手的运动想象对应向左和向右的运动；双手的运动想象和双手的休息对应向上和向下的运动，且水平与垂直的运动相互独立。CP试验各持续60s，要求被试在一个方形工作区内追踪一个随机移动的目标。前人研究中类似任务的实现采用技术人员控制(手动)目标轨迹，这可能会在追踪过程中引入一些偏差，为了避免这种情况，本文采用高斯随机过程来控制当前任务中的目标轨迹。然而，这样的随机过程有可能将目标推向边缘或角落，因此本文最初的CP任务允许光标和目标流畅地从工作空间的一边边缘穿越到对应边的边缘从而实现继续运动(从上边缘到下边缘,从左边缘到右边缘,反之亦然，见图2.A)。

图2. BCI性能和被试参与度。

（A）CP连边wrapping 特征的刻画。

（B）2D CP任务的跟踪轨迹。

（C）DT组和CP组水平光标控制和垂直光标控制的训练特征图。

(D和E)CP组和DT组在基线训练和评估时的表现。

（F）CP和TD任务的学习情况。

（G）上图为基线训练和评估阶段眼动成分的地形图，下图左为基线训练和评估阶段的表现差异，下图右为CP任务和DT任务的表现差异。

BCI技能习得和用户参与：

分别用CP任务和DT任务进行BCI训练，比较二者习得BCI技能的差异。共22人参加，包括1个基线任务（含DT和CP任务）、8个训练任务（都为DT或CP中的一种）和1个测试任务（含DT和CP任务）。采用一维水平下的DT表现作为基线来匹配两组数据。

用于在线控制的电极是在逐次任务的基础上进行优化的，从覆盖感觉运动区域的57个电极点中选取。使用右手运动想象和左手运动想象以及双手运动想象和双手休息数据集分别为水平和垂直控制确定电极。在整个训练过程中，CP组和DT组在包含覆盖手部皮层分布的区域内获得了几乎相同的激活分布特征。这些集群是根据在相应的运动想象任务中产生的基础事件相关同步进行定位和加权的，并且与其他非侵入式光标控制研究中使用的相似，通过数据驱动或手动选择进行识别。

用有效正确百分比（percent valid correct ,PVC）对DT任务表现进行测量（正确数除以总数）；用均方误差(MSE)对CP任务表现进行测量（目标和光标位置在单个运行过程中的平均标准化平方误差）。在22名被试中，双因素重复测量方差分析结果显示，CP MSE (F_1,20 = 7.39, P < 0.05)和DT PVC (F_1,20 = 19.80, P < 0.005) 的时间效应显著。为了检验技术的普适性，作者特别考虑了训练对熟悉和不熟悉任务表现的影响，发现接受CP任务训练的个体在训练后同一任务中有显著提高（P < 0.05），而接受DT任务训练的没有(P = 0.14)。之前的工作已经表明DT任务训练能够产生较强的学习效果，但一些使用者需要近70次培训才能达到，在考虑不熟悉的任务时，DT训练组在训练后的CP任务中仅略有提高(P = 0.96;图2.D)，而CP训练组在DT任务中有显著改善(P < 0.005;图2.E)。

由于这两种任务在控制动力学上的差异很大，除了统计测试外，作者还检查了效应大小，采用一种由样本量建立的测量方法，用于测量基线和评估任务之间每个性能度量的差异大小。发现与DT组相比，CP组两项任务的效果都要好得多，CP任务的学习效果提高了500%，DT任务的学习效果提高了近60%。

为了描述这些训练的潜在生理学差异，作者通过测量眨眼活动来调查被试在两项任务中的参与度。在不同的任务中，眨眼活动的减少与注意力和认知唤起的增强有关，在所有被试中，眨眼活动在基线时受到强烈抑制(P < 0.005;图2.G)，表明BCI的新颖性可能提高了被试的关注度。CP任务与DT任务相比，眨眼活动显著降低(P = 0.066;图2.G)表明，CP任务在主动控制期间提高了用户的参与度，这一特性可能解释了更显著的积极训练效果。 

通过学习调节感觉运动的节律：

虽然BCI反馈在促进感觉运动节律调节方面起着重要的作用，但是没有反馈的运动想象可以提供被试自然能力的测量，用于产生相关的鉴别脑电图的模式。本文分别分析了左手MI、右手MI、双手MI以及休息MI的运行情况。任意两种心理状态之间的调节指数表征为脑电α功率和任务标签之间的回归输出（R²）。从基线到评估，两组任务对的感觉运动调节显著增强(水平：P < 0.05；垂直：P < 0.005;图3.A和C)，这些改进的空间分布对评价BCI训练的有效性有很大的意义。除了DT组的轻度基线调整外，两组在训练前都没有明显的强模式。在水平维度的评估上，CP组产生高度聚焦的双侧调节模式，而DT组观察到了更多的全局调节(图3.B)。在垂直维度上，两个训练组的评估地形更加一致(图3.D)。在水平电极中，CP组的电极数量远远多于DT组(图3.E)。此外，在CP组中，重要的电极更靠近头皮区域，覆盖了近似手部皮层区域的部分。这些局部的变化提供了令人信服的证据，证明在CP训练组观察到的增强的行为改善伴随着感觉运动调节的相应的生理变化。 

源神经反馈不能进一步促进CP BCI学习：

虽然CP任务对本研究针对用户学习和机器手臂的在线控制有帮助，但作者还想解决机器学习方面的问题。为了评估基于实时电源成像（ESI）的解码是否在整个训练过程中提高了性能，作者招募了另外一组无BCI经验的被试(n = 11)，使用源神经反馈(source neurofeedback, sCP)进行CP训练。这个sCP组与之前的CP(和DT)组(传感器控制)进行基线匹配。CP组和sCP组的学习效果非常相似，两组(CP组和sCP组)的最终表现和学习率是一致的，支持两组共享熟悉和不熟悉任务的熟练程度。

图3. 学习效果在电生理上的表现。（

A和B）左/右MI任务分析。（A）CP组和DT组水平控制任务最大感觉运动R²值。(B)水平控制任务中CP组和DT组的基线训练阶段和评估阶段R²地形图。（C和D）双手/休息MI任务分析。基本指标同AB图。（E和F）水平控制任务（E）和垂直控制任务（F）均发现R²值显著增加。

图4.源水平的神经反馈。

(A和B)CP训练组和sCP组在基线阶段和评估阶段CP任务（A）和DT任务（B）的表现。红点线代表机会水平。（C）CP任务和DT任务的学习情况。（D）水平光标控制（上图）和垂直光标控制（下图）的组水平训练特征图。

脑电图源成像增强了在确定的技能状态下的神经控制：

为了深入研究源控制(实时ESI)对CP任务性能的影响(以及未来机器手臂控制的潜在好处)，作者对处于稳定技能状态的用户进行了源和传感器虚拟光标控制的对比。选择CP任务进行进一步的分析，因为CP任务比DT任务更适用于机械手控制。对有丰富BCI经验的16名被试进行1-3次训练；对没有任何BCI经验的13名被试进行1次训练(以避免多次早期学习产生混淆效果)。

对于有经验的被试，源控制改善了传统传感器控制的性能，显著降低了2D均方误差(MSE) (P < 0.01)。在训练(评估)之后，传感器和源MSE值聚集在CP训练组附近，加强了技能状态。CP任务中观察到的改进的空间范围通过平方误差直方图进行了描述(图5.B)，源值向较小的误差移动，传感器值向较大的误差移动。通过将gamma函数与这些直方图进行拟合，本文得到了一个与目标大小无关的定量阈值，用于统计测试性能差异的空间范围。有经验的被试稳定在一个以目标为中心的直径为工作空间宽度16.67%的圆形区域内(图5.E)，源控制期间的时间明显多于传感器控制(P < 0.005;图5.F)。虽然对于2D下的控制来说，这种改进没有表现出显著性(P = 0.11;图5.C)。但性能差异的影响大小与有经验的用户非常相似(图5.A和C)，表明存在相似幅度的改进。与预期一样，无经验被试的传感器和源控制MSE值与CP训练组在训练前的MSE值相似。这种与技能水平无关的一致性突出了源控制对在线性能的积极影响。从图5.G可以观察到,无经验被试与有经验被试间存在控制维度上的明显二分。研究发现这种新手和经验丰富的被试之间的生理差异符合他们表现出的性能差异(MSE)，并进一步支持了两组之间BCI熟练程度的对比，以及基于源控制对用户技能水平的总体影响。

图5. 在线2D CP源与传感器的BCI表现。（A和B）经验用户的表现（n=16）。

（A）sensor和source组水平的MSE。浅灰色和深灰色条块代表CP训练组训练前后的表现。

（B）sensor和source组水平的平方-错误直方图。

（C和D）新手用户的表现（n=13）。

（E）根据被试数据绘制的CP范式工作区的比例图。

（F）经验用户和新手用户的光标停留时间。

（G）经验用户和新手用户水平光标控制和垂直光标控制的组水平特征图。

（H）水平控制和垂直控制源特征和传感器特征的特征分布分析。

对机器手臂的基于源的CP BCI控制：

在受控环境中对本文提出的BCI框架进行了有力验证之后，作者通过将其转换为机器手臂的应用物理源控制来完成其研究。虽然光标和目标换行也可以适用于更复杂的控制策略和场景，但是这样的功能在现实环境中是不存在的。因此，作者在机器人手臂控制范例中进行了CP任务的修改，将边缘覆盖特性替换为边缘排斥特性。6名有经验的被试(8.3±2.9小时的BCI培训)参加了5个源CP BCI任务，包括虚拟光标和机器手臂控制。此外，在组级特征图中还观察到对被试技能水平的生理支持（图6.C），该图显示的特征与参与本研究的其他有经验的被试的特征类似。当被试直接控制机器手臂时，隐藏的虚拟光标的行为也被记录下来，以确保正确映射机器手臂在物理空间中的位置。在虚拟光标和机器手臂控制之间的转换过程中，作者观察到，在三种追踪条件——虚拟光标、隐藏光标和机器手臂——之间存在相似的MSE值，这表明从虚拟对象控制到真实设备控制的平稳过渡。总的来说，虚拟光标控制和机器手臂控制之间显著的相似性突出了将虚拟光标集成到未来临床训练范例中的可能性。如果准备使用机器手臂，可以先用配套的虚拟光标进行训练，而不是直接使用机器手臂训练，解决了器材有限的矛盾。

图6.基于源的CP BCI机器人手臂控制。

（A）机器手臂CP BCI设置。用户用2D持续移动控制7-degree的机器手臂来追踪电脑屏幕上的移动目标。（B）使用边缘排斥特性来适应机器手臂的物理限制。（C）水平控制和垂直控制的组水平特征图。（D）不同控制条件下的组水平2D MSE。（E）2D CP不同控制条件下，水平维度和垂直维度组水平追踪相关平方(r²)的箱型图。

结论：

本文介绍的方法旨在推动非侵入式神经控制机器设备的实现和日常使用。作者已经证明，CP（持续追踪任务）BCI范式不仅可以用来衡量用户的BCI熟练程度，而且可以作为比传统的DT（非连续试次）任务更有效的训练工具。与接受DT任务训练的被试相比，接受CP任务训练的被试在熟悉和不熟悉的任务中都表现出了显著的性能改善，显示出高度灵活的技能获取。作者认为CP任务的目标力学和屏幕包裹的特性可能会干扰目标追踪，需要在光标控制期间提高注意力。这些结论支持将人为因素集成到基于认知的培训工具中以提高用户参与和任务性能的总体概念，并应在未来的BCIs中加以考虑。

侵入性系统已经显示出类似于这种非侵入性系统的控制水平，但尽管这种侵入性的方法可能为少数严重身体功能障碍的患者提供急需的帮助，但由于医疗和经济上的限制，大多数受损者可能没有资格参加。当前迫切需要进一步开发非侵入式BCI技术，使其在未来能够造福于大多数患者甚至普通人群。综上所述，本文所做的工作对于当前基于脑电的BCI范式实现有用的、有效的非侵入式机器设备控制是必要的，其结果对正在进行的和未来的研究具有重要的指导意义。

原文：Noninvasive neuroimaging enhances continuous neural tracking for robotic device control

微信扫码或者长按选择识别关注思影