Nature Communications脑电机器学习研究：组合表征揭示了视觉工作记忆的不同神经编码模式

视觉工作记忆功能的实现是多个脑区协作的结果，大量研究证明前额叶皮层 (prefrontal cortex, PFC) 和后顶叶皮层 (posterior parietal cortex, PPC)与视觉工作记忆功能的实现密切相关。

来自韩国成均馆大学的研究人员在Nature communications发文阐述了PFC与PPC的功能协作与不同的编码模式。该研究主要考察了分布在PFC与PPC区域的视觉工作记忆不同层次的表征是怎样整合的，以期能为工作记忆表征的建构理论提供证据。已有研究发现当被试尝试在视觉工作记忆中存储多个项目时，并不是存储一个个单独的项目，而是根据项目的相似特征进行分层储存，并且这种分层集合的方法会更好地记忆视觉工作记忆中的项目。这种分层集合的研究方法为视觉工作记忆表征的建构理论研究提供了独特的方法。

为了完成本研究的任务，研究者利用倒编码模型（inverted encoding model，IEM) 设计了一系列新的刺激，同时将多元解码算法和EEG技术相结合以研究神经表征的时间动力学变化模型，重点探讨项目的编码方式为稳定编码还是动态编码。研究结果显示：一组相似的项目被以建构的方式储存在大脑的不同脑区里面，具体的，在前额叶发现了简单特征的稳定编码，并且与被试行为指标相关；而在后枕叶发现了记忆表征的动态编码。总之，前额叶皮层存储与行为相关的抽象工作记忆表征，后顶叶存储自上而下任务驱动的视觉表征。 

【方法】

被试：

27名被试参加实验1（12 females; mean age ± SD = 24 ± 4.15 years）；35名被试参加了实验2（20 females; mean age ± SD = 23.03 ± 2.5 years）。但由于实验数据质量等问题实验1中剔除7名被试；实验2中剔除11名被试。 

实验设计与流程：

实验1与实验2皆分为相同方向 (same orientation, SO) 和变化方向 (varied orientation, VO) 两个不同条件。在SO条件中，向被试呈现20个相同方向的项目以训练一种相同方向的方向解码器 (orientation decoder) 并将这个解码器泛化到其余试次中去；在VO条件中，向被试呈现20个变化方向的项目，然后将SO条件中的方向解码器泛化到VO条件中。实验采用block设计。

实验1：新旧判断任务 (old/new judgment task)。被试首先记忆20个方向刺激100 ms，1500 ms之后在屏幕中央随机呈现一个方向刺激，要求被试判断该方向刺激是否在记忆阶段出现过。

实验2：连续预期任务 (continuous estimation task)。被试首先记忆20个方向刺激100 ms，900 ms之后向被试呈现600 ms线索以标记任务相关项目。最后在屏幕中央呈现一个方向刺激并要求被试将该刺激方向调整至与线索标记项目相同。见图1。

    

图1 刺激、实验1与实验2流程图。

a) 刺激一共有8个方向，从中选择一个方向作为平均方向。在SO（相同方向）条件下，20个项目的方向均与平均方向一致；在VO（变化方向）条件下，存在4个方向，每个方向有5个项目。

b) 实验1-新旧判断任务流程。 

c) 实验2-连续预期任务流程。

数据收集与处理：

使用32导电极帽记录EEG数据，在线140 Hz滤波。分别选择一批电极作为实验1与实验2的EEG数据来源。数据离线处理时重参考为双侧乳突连线平均值，运用IIR滤波器对EEG数据进行0.1 Hz滤波。实验1分段为-200-1600ms，实验2分段为-200-1000ms。剔除眼电伪迹后，将数据运用51-point moving-average滤波器进行平滑处理并降频至100 Hz以提高信噪比和运算效率。    

全脑分析时，选取以下电极点：    

Fz，F3，F4，FC1、FC2、FC5、FC6、Cz、C3、C4、CP1、CP2、Pz、P3、P4、P7、P8、O1和O2。   

分析前额叶时，选取如下电极点：     

 Fz、F3、F4、FC1， 9FC2，FC5，FC6，Cz，C3；   

 分析后顶叶时，选取如下电极点：     

CP1、CP2、PZ、P3、P4、P7、P8、O1和O2 

Inverted encoding model（倒编码模型）

用以重建记忆方向的表征，它假设每个电极点的神经信号是一个方向选择调和函数的加权和。

IEM的时间泛化 (Temporal generalizability, TG)：该指标是为了探索通道调谐函数矩阵 (channel tuning function matrix, CTF) 而计算的。具体的，在时间t上从训练试次中选取一个加权矩阵并将该矩阵应用到测试试次的时间t’上。将该过程不断重复，可以得到所有时间点的加权矩阵，并以此来计算所有时间点的CTF（即解码敏感程度），最终形成所有CTF的斜率的二维时间泛化矩阵。

稳定/动态编码指标：

为了量化稳定和动态编码的量级，研究者设计了一个稳定/动态指标。首先测试在特定时间点是否存在显著的动态或稳定编码。对于动态编码，测试矩阵TG_（t1,t2）的非对角线元素是否明显小于矩阵TG_（t1,t1）和TG_（t1,t2）的对角线元素：

对于稳定编码，测试矩阵TG_（t1,t2）的非对角线元素是否显著高于零，同时不显著小于矩阵TG_{（t1，t1）}和TG_{（t2，t2）}的对角线元素：

利用置换检验将测试应用于矩阵的所有非对角线元素。

然后探讨随时间的动态变化。计算以时间点t为中心的310ms矩形窗内显著稳定或动态编码元素的比例，得到了时间点t的稳定或动态编码指标。同时通过将对角线±50ms内的元素排除在分析之外，以控制由100ms移动平均滤波器引起的时间涂抹效应(temporal smearing effect)。稳定或动态指数为1 表示TG完全稳定或完全动态，而0表示TG完全不稳定或动态。

IEM的跨条件泛化：

为了探索集合表征的神经关联，研究者测试了从SO条件向VO条件进行跨条件泛化。具体的，将SO条件看做训练试次而将VO条件视为测试试次。进行100次迭代的三折交叉验证时，将SO条件随机分为三个组，用其中的两个组提取加权矩阵，并将该加权矩阵运用到VO条件的所有试次。重复以上过程直到所有的SO条件试次平等的被用于训练并且运用一个新的随机分组迭代100次。 

置换检验：

为了探究解码敏感程度是否显著超过了机会水平，研究者运用单样本t检验测试了该指标是否比零大。由于解码敏感程度并不是正态分布，因此研究者用了一个置换检验以接近t检验的分布。具体的，首先随机将SO和VO条件所有的试次进行随机排列随后拟合IEM。进行1000次迭代之后得到一个零分布，随后计算t检验统计量的概率。 

Bootstrapping法：

使解码敏感程度和稳定/动态编码指标的标准误可视化的方法。首先通过抽取替换的方法从所有数据中得到10000个bootstraped样本，随后计算其平均值。通过计算这个10000个平均值的标准差得到标准误。 

【结果】 

实验1的SO条件结果表明围绕目标方向的“旧”反应有了显著的调和，与VO条件形成了对比，VO条件显示“旧”反应的为显著调和。这表明在SO条件下被试对表征方向的记忆精度更高。更为重要的是，在VO条件下，当探测刺激方向接近平均方向时，被试更倾向于做出“旧”反应，然而平均方向并不会在记忆阶段出现。这说明被试工作记忆中完成了一个并没有出现的平均方向表征。在实验2中，被试在SO条件下的反应准确率高于VO条件，这说明被试在SO条件下对目标方向的表征更加精准。实验2中VO条件也发现被试的反应倾向于平均方向（因为实验2的任务为被试调整探测刺激方向）。这些结果说明，被试用一种分层的方式储存了一个项目的不同表征，即一个组合表征。见图2。

图2 行为结果图

重建记忆表征

为了在EEG数据中重建记忆表征，研究者们运用了IEM（倒编码模型）。首先，假设每个方向有一个定向调谐函数，随后在SO条件所有的试次中将该函数卷积为方向，使得给定试次的方向对应于函数的峰值相应。给定试次的方向反应以及该试次的EEG数据之后被拟合进权重的预期值中，并将该权重命名为“SO解码器”。该解码器会被用来预测SO条件方向的记忆表征（SO-SO预测）和VO条件方向的记忆表征（SO-VO预测）。

重构的响应被看作特征空间中的一个通道响应的集合。同时，研究者设计了一个统计检验来总结重建的方向反应。首先通过将各平均方向的角度符号转换来完成角度偏移符号的颠倒，随后计算方向反应的斜率以建构一个方向敏感程度的总指标。结果发现，不论实验1 还是实验2，SO-SO预期在刺激呈现之后都有敏感程度的显著上升。这个结果说明SO解码器被成功建立。同时，SO-VO预期也发现了同样的现象，这同样佐证了SO解码器的成功建立，并且SO解码器重建了四个相似的方向。见图3。

图3 IEM原理、流程及结果图。

a) 分别给8个方向建立定向调谐函数。 

b) 将这些定向调谐函数喂入SO条件每个试次的方向反应中。 

c) 利用SO条件的EEG信号和方向反应去训练加权矩阵，并称之为“SO解码器”。

d）将SO解码器与SO/VO条件下的EEG信号相结合，以预测每个试次的方向反应。SO解码器对SO条件下的方向反应预测称为SO-SO预测，对VO条件下的方向反应预测称为SO-VO预测。

e) SO-SO预测和SO-VO预测表明刺激开始后，重构的方向调谐函数被急剧调整。

f) 通过计算曲线的斜率来总结定向调谐曲线。

g-h) 实验1和实验2 SO-SO预测的方向解码结果，刺激呈现后敏感度显著增加。

i-j) 实验1和实验2 SO-VO预测的方向解码结果，显著的调制代表了平均方向的重建。

记忆表征的时间动态变化

运用时间泛化法 (TG) 探索记忆表征的时间动态变化。首先在一个特殊时间点训练以形成SO解码器，随后将其泛化到整个周期的EEG数据中。通过不断的重复该过程直到在所有时间点得到的SO解码器被泛化到所有时间点的EEG数据上，以建立一个方向敏感性的二维TG矩阵。时间泛化的方法可以反映表征是被稳定保持还是动态保持的。如果一个表征是被稳定保持的，那么在一个特殊时间点得到的神经反应模式可以在任意一个不同的时间点被复制；而如果表征是被动态保持的，那么在一个特殊时间点得到的神经反应模式只能当再次到达该特定时间点时被复制。

研究者设计了一个时间分类稳定/动态指标 (time-resolved stable/dynamic index)，具体的，稳定指标是非对角元素显著大于零且不小于相对应对角元素的比例；而动态指标是非对角元素显著小于对应对角元素的比例。研究者建构了所有电极点的SO-SO预期与SO-VO预期TG矩阵以重建SO条件下的方向表征和VO条件的集合平均/四个方向集合表征。这用来确定稳定/动态指标是否有效的反应了TG矩阵中的二维调制模式。在实验1中，刺激呈现之后的0–1000 ms SO-SO时间泛化表现出沿对角线的显著敏感性。具体表现为，刺激呈现后的100–600 ms表现出对表征的动态编码而在500–800 ms表现出对表征的稳定编码。这说明当工作记忆保持一个简单方向时，该信息是被动态静态双重处理的。相反，SO-VO时间泛化在刺激呈现后的300–800 ms表现出非对角线区域的显著敏感性，在200–400 ms后表现出短暂的动态编码。实验2中发现不论是SO-SO还是SO-VO时间泛化都发现了两种编码方式的稳定存在。两个实验结果进行对比发现，稳定编码比动态编码占比更大且远在机会水平之上。见图4。

图4 时间泛化结果图。

首先，选择time为0时的EEG数据去训练SO解码器，并将其泛化到整个周期的EEG数据中。

a) 实验1的SO-SO时间泛化显示了早期的动态编码和晚期的稳定编码。

b) 实验1 的SO-VO时间泛化结果。

c) 实验2 的SO-SO时间泛化结果。d) 实验2的SO-VO时间泛化结果。黑色为差异显著的区域，由单边蒙特卡罗随机化检验确定，p<0.05。

平均方向的试次分类重建

对于上述结果，一个可能的解释是在SO-VO预期中，被试并没有建构一个集合平均表征而是重建了四个相似方向的集合表征。为了解决这个疑惑，研究者进行了一项中位数分裂的试次分类分析(trial-wise median-split analysis)。具体的，实验2运用的实验范式相比新旧判断任务提供了更多的行为测量指标。研究者们从中获得了每个被试介于平均方向与目标方向之间的一个圆形中位数（circular median）。基于该中位数，将被试分反应分为两种不同情况：接近目标方向(“target” response trials) 和接近平均方向 (“mean” response trials)。将SO解码器泛化到两种不同的实验情况中去。如果在接近目标方向实验中敏感性显著大于接近平均方向中的敏感性，那么被试重建的大概率是一个目标方向；而如果相反，那么被试重建的表征大概率是一个组合平均表征。或者，如果被试重建的表征是四个相似方向的集合，那么在接近目标与接近平均方向中差异不显著。结果发现，SO-VO预期重建的是一个组合平均表征。研究发现平均方向只在接近平均反应实验中被重建，而方向特意性反应在接近目标方向实验中基本不存在。这说明在SO-VO预期中，被试大概率重建了一个平均组合表征。见图5。

图5 实验2的中位数分裂分析结果图。

a) 将实验2 VO条件下的反应分布按中位数进行分布，因此一组更接近平均方向，一组更接近目标方向。然后建立SO解码器并分别运用到2组。

b) mean-close反应的重建发现编码稳定。

c) target-close反应的重建发现既不存在稳定编码，也不存在动态编码。黑色为差异显著的区域，由单边蒙特卡罗随机化检验确定，p<0.05。

前额叶中央区和枕顶叶区域的不同编码模式 

为探究视觉工作记忆表征的建构中不同脑区的贡献，将电极点分为前额叶中央区和枕顶叶区域。首先训练SO解码器然后将其泛化到所有两个电极区域的SO条件和VO条件中。对于前额叶中央区域，不论实验1还是实验2，在SO-SO预期和SO-VO预期中都发现了稳定编码的存在，而动态编码几乎没有出现。对于枕顶叶区域，实验1发现SO-SO预期发现了占主导地位的动态编码，而SO-VO预期发现了较小的动态编码但没有稳定编码。与此相反，在实验2中，SO-SO预期发现了早期的动态编码和晚期的稳定编码，而SO-VO预期也发现了早期的动态编码，但静态编码同样发生在早期大约300 ms时间窗口且持续存在。这些结果说明无论刺激条件 (SO vs. VO) 或任务条件如何，前额叶中央区域保持的工作记忆表征是相似的；而在枕顶叶区域储存的视觉工作记忆表征则高度依赖于任务类型，无论其中储存的视觉刺激是简单的还是抽象的。见图6。

图6 不同脑区编码模式图。前额叶保持稳定的编码，枕顶叶同时存在稳定编码和动态编码且依赖于任务类型。a-d) 前额叶的结果。e-h) 枕顶叶的结果。黑色为差异显著的区域，由单边蒙特卡罗随机化检验确定，p<0.05。

具有整体趋势的跨被试相关性

在视觉工作记忆的层次模型中，记忆向集合平均偏移的程度取决于整体趋势，即视觉工作记忆项目的分组程度。研究者运用了个体差异法去定义整体趋势的神经相关性，因为他可以提供除了集合平均外的另一种平均值以研究集合的神经表征。具体说来，如果SO-VO预期同样反应了整体趋势，那么从SO-VO预测中的重建应该与被试反应偏向平均的程度相关。在实验1的新旧判断任务中，如果被试的工作记忆表征是一个集合平均，那么“旧”反应的概率应当刚好围绕在平均方向周围。因此，研究者运用累积的威布尔函数 (cumulative Weibull function) 以定义“旧”反应率并且将达到特定比率的阈限值定义为整体趋势。而在实验2的连续预期任务中，越强的整体趋势应该对应着越强的平均值偏移。因此，研究者将所有目标对平均方向的反应偏差定义为整体趋势。最后，研究者将每个被试200-1000 ms×200-1000 ms时间窗口的敏感性进行平均得到平均方向神经表征。结果发现，不论实验1还是实验2，前额叶中央区都与整体趋势有显著的正相关，而枕顶叶区域没有发现这种效应。该结果说明对整体趋势起主要作用的是前额叶中央区域。见图7。

图7 前额叶存在重建和行为表征的显著相关，枕顶叶不存在显著相关。

a-b) 前额叶SO-VO预测的方向敏感度与行为表征存在相关。通过将累积的Weibull模型拟合到VO条件的结果，得到阈值参数，以计算实验1的行为指标。实验2的行为指标是四个目标方向的平均偏差。

c-d) 枕顶叶SO-VO预测的方向敏感度与行为表征不存在相关。每个点代表一个被试，X轴为行为指标，Y轴为方向敏感度。直线代表回归线，*p < 0.05,**p < 0.01。

【结论】

1. 前额叶中央区域储存与行为相关的抽象、组合平均表征。

2.工作记忆表征不断细化，行为相关的信息沿着后部–前额的轴进行细化储存。

3.PPC(后顶叶皮层)自上而下的视觉储存大概率上受到PFC(前额叶皮层)的指导。

4.稳定编码用以保存任务相关信息，而这些信息通过注意力或者元认知来引导我们的行为。而动态编码的作用目前尚不明确，不过考虑到动态编码既在表征目标时出现又在表征干扰物时出现，且出现在枕顶部区域，因它可能扮演了“感知觉缓冲 (perceptual buffer)”的角色。

微信扫码或者长按选择识别关注思影