我们已经认识到大脑是一个具有预测功能的器官,即大脑可以预测感觉刺激信息的属性来指导对适应性行为的感知和进一步的处理。为了理解在感知过程中调控预期信号(优先选择任务相关事件)的神经基础,研究者们已经从很多方面进行了探索。但是,“时间”(time)在预期研究中仍然是被人们广泛忽略的一个基本方面。在这篇文章中,作者介绍了迅速发展的时间注意(temporal attention)领域的研究,并说明了大脑如何利用环境中各种形式的时间规律来指导适应性行为并影响神经加工。
我们自身所处的环境是动态变化的,充斥着大量的感觉刺激信息与无限的可能性。虽然输入的刺激信息是新的,但并非所有信息都是不可预测的。在不同的时间范围内,事件的属性之间的内在联系具有预测作用,可以指导大脑做出主动的感知和运动准备(例如在脑电研究中运动准备电位的发现就是对这一现象很好的实例性说明)。同样,周期性的时间结构(temporal structure)也可以对预期的相关事件做出主动性和时间选择性的准备。
选择性注意(selective attention)领域已经发现了许多涉及大脑预测和选择相关事件来指导适应性感知和行为的机制,例如,竞争性感知输入过滤理论、增加神经元放电频率及局部神经元活动的同步性。这些机制的核心是调控基于感受域(receptive field, RF)属性的神经元活动及其之间的交流,从而优先感知出现在相关位置或包含相关特征的信息。
因此,我们已经对注意的静止触发或快速启动有了更进一步的理解。但是尚且不清楚大脑是如何利用可预测的时间结构来预测和选择在连续刺激流中出现的相关事件。根据定义,注意是动态的过程,因此我们需要从“时间”(time)层面来充分理解注意,注意领域对时间期望(temporal expectation)的研究最终会获得动力并成为主流。
这篇综述的目的是向读者介绍时间注意领域的研究发现,并强调这个新领域中的新兴原理和有趣发现。第一个重大进展是认识到许多类型的可预测时间结构都可以支持注意,阐述了这些可预测时间结构对行为表现的影响及大脑是如何利用这些可预测时间结构的。时间期望可以在神经处理的不同阶段通过各种机制来提高行为表现,时间期望并非单独作用,而是经常伴随着对预期事件的其他属性的预期,从而显著增强了预期事件的影响。作者强调,时间期望的影响并不局限于典型的实验室注意实验,而且还会影响我们对复杂信息流的感知以及学习、记忆等基本的认知功能。
时间结构的类型
研究者通常通过操纵在给定时间点上发生的相关事件的可能性来研究优先选择该时间点上相关事件的能力,进而关注时间期望在注意中的作用。在注意研究中,对时间期望的研究补充了对知觉和认知功能是如何随着时间而受到限制的研究。本文考虑四种时间结构背景下的时间期望,分别是:关联、风险率(Hazard rates)、节奏和序列(见图1)。
关联
时间关联是指连续刺激之间的预测性时间关系。比如“on your marks, get set…”之后紧接着发出“go”信号;指挥家做出手势后交响乐即开始演奏等等。如图1a所示,符号提示(cue)预测目标最可能出现的时间间隔(较短的间隔,600ms;较长的间隔,1400ms),或者指导被试将注意力集中于仅在特定时间点出现的刺激。
结果显示,有效的预测性提示信息仅能够显著提高对短时间间隔(cue short)内目标的反应,因为一旦经过较短的时间间隔期望即被更新。在另一个改进的时间提示任务(temporal cue task)中,多个光栅相继出现,cue(75%的有效性)指示随后可能被检测的目标物。结果显示,相比于中性提示(neutral cue),有效cue和无效cue分别带来了准确率、反应时的benefit和cost,这说明了提示的时间定向具有时间选择性,从而导致对出现在提示时间与非提示时间点上的物体的知觉表现之间的取舍。情境提示(contextual-cueing)和基于记忆的定向任务证实学习到的空间情景关联会极大地影响表现。有趣的是,情景记忆还携带有关目标何时在学习的情景中发生的时间关联。与长时空间关联相似,时间关联可以极大地促进对发生在学习时间间隔内的目标的检测和辨别(如图2所示)。
风险率(Hazard rates)
即使在连续刺激之间没有提示性的时间关联,事件发生的可能性也会随时间变化。将尚且未出现的事件可能发生的概率称为风险率。例如,在点球大战中,随着时间的流逝,球员发起点球的可能性增加。风险率是高度动态的,而且不需要随着时间的流逝而增加。球员犯规时,裁判员吹哨的概率最初会急剧增加,然后又下降(裁判员可能错过了犯规)。图1b从不同的时间概率分布中绘制不同实验block的目标出现时间。即使被试对分布情况未知,表现的benefit也可以追踪风险率
节奏
一些事件的特征是周期性的时间结构,其中最简单的情况是规则的等时节奏(isochronous rhythm)(图1c)。Jones等人在听觉领域的心理物理实验证明,当刺激恰好出现在预测的节拍处时,对音高和持续时间的辨别是最准确的,并且随着任一方向上时间差异的增加逐渐减小。
根据Jones的“动态关注理论”(dynamic attending theory),事件的持续时间结构会吸引注意力并影响感知。节奏还可以增强视觉感知能力。研究显示,经过一系列有节奏的刺激后,被试对出现在拍打时的掩模视觉目标物的感知辨别力更高。
作者的以往研究也曾比较人类区分嵌入在规则流与不规则流中的刺激的能力,与不规则流(200–600 ms)相比,刺激在规则流(每400 ms)中呈现时,区分短暂视觉光栅的阈值和速度都得到了提高。对行为数据建模显示,有节奏的时间预期会增加视觉处理期间的信噪比增益。在听觉和视觉方面,即使目标更可能出现在节拍之外,拍打节拍时对出现目标的表现也更好。
序列
重复的时间结构可能比简单的节奏更复杂(见图1d)。在时间序列中,下一个预期元素(例如,下一个舞步)的时间取决于在当前列的位置。在典型的序列反应时(serial reaction time,SRT)任务中,将特定的刺激位置与特定的运动反应匹配后(例如,刺激X对应反应A,刺激Y对应反应B),研究显示当刺激在重复的有序序列中出现时,即使控制序列和基线条件之间的低水平差异,被试的反应时也会大大加快。
SRT(序列反应时)任务可以调整为引入时间序列,即目标的出现遵循时间间隔的良好控制序列。即使顺序序列和时间序列彼此独立,在顺序序列之上添加一系列时间间隔也可以显着促进反应时间。行为增强的模式以及大脑活动表明,不仅可以学习时间序列,而且可以主动和动态地利用时间序列来预期目标或动作的时机并优化其表现。相比于较长的目标出现时间,重复的时间序列在较短的目标出现时带来更大的benefit。
并行的时间结构
目前时间期望仍被视为单一的整体结构,并假设各种时间结构都通过通用机制引导注意。事实上,节律可以独立于并行的时间提示而促进表现。此外,虽然符号时间cue受任务指令和任务要求影响,但节律的作用仍然强大且不受任务指令、竞争性需求或其预测效用的影响。在患有脑部病变的个体进行的研究及使用rTMS进行的研究进一步表明,存在遵循不同类型时间结构的时间期望分离机制。时间结构的多个来源可以串联运行。例如,提示和节律会以加和的方式影响表现。在基于危害率的任务中,反应时可以通过当前的危害率和一周前经历的危害率来确定。不同时间结构的影响可能会相互作用。例如,风险率对目标的可预测性可以显著减少时间提示或节奏的影响。
图1 时间结构类型
上图所示为四种能够指导时间注意的时间结构:关联(a)、风险率(b)、节律(c)和序列(d)。左列为任务结构(竖线表示各个刺激在其关联的时间),中间列为期望概况作为时间的函数(示意图),右列为表现概况。在基于风险率的任务中,通常是从目标时间的特定分布中获得激励。表现概况描述了任务中行为表现的典型模式(例如感知判断的速度或准确率)。
神经基础
虽然有研究者认为存在专用时序通路和机制,但是其他研究人员则强调了分布在大多数神经通路中的固有时序属性。在感觉皮层中,基于空间和基于特征的感受域RF属性以有序的方式组织和互连,为自上而下的基于空间和基于特征的偏向加工提供基础。
例如,在不同视觉区域的神经元之间的连接遵循视网膜结构,并使基于空间位置的相关预期刺激的自上而下的偏向得以交流和协调。暂时的RF(感受域)属性没有被等效的组织识别,而越来越多的证据表明,感觉和相关区域内的神经元可以随着学习在时间上调整为刺激特性。为了取得进展,我们必须考虑大脑活动的动力学以及它们如何支持信息处理的前瞻性和时间选择性调制。
本文考虑将时间期望加工表述为三个独立阶段:控制、预期和调制。
控制
Coull等人发现与空间提示相比,时间提示优先涉及左侧下顶叶皮层和腹侧前运动-前额叶皮层,当目标物出现在听觉节奏流的强烈搏动并根据风险率进行时间更新(temporal updating)时观察到左侧下顶叶皮层的激活,这些结果表明了左半球主导的感觉运动网络在控制人类时间注意中的作用。此外,用于肢体和手部控制的感觉运动回路以与参与动眼运动控制的背侧额顶网络支持空间注意类似的方式。但是,需要进一步的研究来阐明左半球主导的感觉运动网络在时间注意控制中的因果作用,以及这些区域是提供时间期望的来源还是在证据积累或运动准备期间受到时间期望的调节。
最近,在啮齿动物上进行的神经导航研究已经确定了在特定时间间隔内响应的海马时间细胞。与位置单元的属性相似,时间单元的属性是可塑性的,并且在不同的环境中会发生变化。海马神经元还可以表征学习过程中暂时分离的刺激之间的时间间隔。主动识别海马空间信号来指导表现的方法已得到越来越多的认可,例如在长期记忆引导注意任务。用于测试基于记忆的时间期望的任务将使人们能够调查是否主动使用海马区的时间以及空间信息以及如何主动使用这些信息来指导适应性表现(见图2)。需要考虑的是:基于血液动力学的方法不适合揭示神经活动的动态变化,同时具有高时间分辨率的方法来突破对如何在大脑中控制和利用时间期望的理解。
预期
关于时间期望如何引起注意的一个中心假设是,它们将相关神经元集合中的最佳敏感性状态与相关事件的预期出现进行前瞻性对齐。研究显示,与可能的发出信号之间的间隔相比,在可能(但未发生)发出信号的特定时刻,在相关手部肌肉上记录的TMS诱发的运动电位明显更大。此外,运动电位在连续的可能发出行进信号的瞬间增加,这与风险率的提高相一致。
在人类中进行的时间预期任务的研究首次提出了预期的神经活动的系统性变化,并推测与“准备就绪”的增加有关。预测性时间线索会极大地放大与预期和运动准备之间的潜在联系,称为伴随性负变化(CNV)。 当在短时间间隔内预期目标时,与在长间隔后预期目标时相比,CNV的发展要陡得多(图2c)。
在非人类灵长类动物(NHP)中使用风险率操纵时间预期发现,外侧顶内区域LIP、V4和初级视觉皮层V1神经元的放电频率与主观风险率有关,在时间提示任务中也观测到V1区域神经元放电频率和伽马功率的变化。对人类和NHP的研究还显示,在暂时预期反应的准备阶段,运动区域神经元同步性会增加。神经元振荡活动调节的证据显示,准备性空间注意力显著而持续的影响是感觉和运动皮层中与预期的刺激和反应相关的α频段(8–12 Hz)和β频段(15–30 Hz)活动的相对衰减,反映出兴奋性的预备性提高。多项研究表明,时间期望可以改变神经振荡的动力学,从而使灵敏度提高的时刻与时间预测的事件保持一致。因此可能存在多种机制,包括神经元放电频率、同步性、振荡活动的幅度和时间,以及皮层网络中神经元活动以固有的方式来编码时间。当第二个刺激的呈现增强了由第一刺激引起的特定网络模式时,可以对特定间隔进行编码,通过这种增强而获知的网络状态将因此带有嵌入的时间预测信息。
同步化
在有节奏的刺激中,对时间的期望可以利用自然发生的振荡动力学的节奏,从而使兴奋性增强的时刻与相关事件的时间保持一致,称之为“同步化”(entrainment),尤其是delta频带(1-4 Hz)。
作者在BOX2给出了一些相关资料。
Box2中的内容主要考虑了这些内源性振荡是否也限制了对非周期性刺激的感知。Lakatos等给NHP呈现两种反相的准节律性刺激流(视觉和听觉)。当猴子关注其中一个刺激流时,初级视觉皮层V1和初级听觉皮层A1的低频delta振荡都被带到了相关的模态,因此最大的兴奋性与关注的刺激流中的预期事件相吻合(见图3),主要集中在颗粒皮质层,这与调节性输入一致,而非驱动性输入。
在人类中进行的脑电图(EEG)和脑磁图(MEG)研究也报道了神经活动对相关事件节律的同步化。通过将心理生理学分析和建模与振动活动的阶段相关联表明,在有节奏的情境中,三角相位对齐的程度与视觉处理和感知性能中的信噪比增益相关。在有节奏的环境中,可能难以将预期的和主动的同步化效应与响应性的和反应性的目标驱动效应区分开。为了支持预期效果,在节律性刺激停止后,神经振荡可以持续几个周期。此外,可以在无任何诱发的神经元活动的情况下观察到神经振荡的同步化。例如,当视觉或听觉皮层与NHPs的表现相关时,它们会同步化视觉或听觉皮层刺激;而对于低于意识知觉阈值且未引起可观察到的诱发MEG响应的人,其潜意识下皮层流会被同步化。
调制
选择性时间期望可以调控神经元响应的强度、时间和同步性,并最终提高相关事件传达的信息的质量和效率,最直接证据来自单细胞记录(single-unite)。Anderson等人的研究结果显示,在时间提示任务中,下颞叶区域神经元对预期时刻的刺激物放电频率增加。在猴子V1和啮齿动物V1和A1中也有类似的发现,因此揭示了调制发生在皮层加工的早期阶段。
在人类被试中记录到视觉、听觉和体感ERP的强度对有效提示增加。在提示和有节奏的任务中还观察到与目标相关的潜伏期的缩短。在刺激之间具有周期性时间关系的任务中,ERP还会发出违反时间期望的信号。准备过程的成功与否取决于在存在干扰物的情况下,提高从相关目标中提取的信息质量的能力。电生理记录的多变量解码提供了一个功能强大的分析工具,用于研究刺激相关信息如何动态调制。
图2 记忆引导的时间期望
该研究测试了给定情境和目标刺激呈现时间之间特定的时间关联是否可以为预期目标的出现时机进行准备并增强行为表现。
a被试学会将场景图像与两个间隔(800或2000 ms)相关联,此后占位符(炸弹示意图)将改变颜色。检测任务要求被试在颜色改变后尽快按键,辨别任务要求被试指出占位符的颜色变化。
b被试对以学习间隔出现的目标的反应明显更快,也更敏感。
c同时记录的电生理标记CNV进一步证实了这种以记忆为导向的注意定向在场景发生后早期得到增强,并且占位符开始用于场景的早期预测而不是后期预测。
图3 对相关刺激方式或特征的选择性同步化。
注释:两个有节奏的输入以反相的形式呈现,分别对应于空间上分离的神经元群:初级听觉皮层A1(蓝色)处理听觉输入(蓝色和红色区域分别处理低音和高音输入),初级视觉皮层V1(红色)处理视觉输入。当注意力集中在任何一个输入上时,两个区域的颗粒上层中的神经元振荡(1-4 Hz,δ频带)都与此对齐,从而使兴奋性增强的时刻与注意力关注的输入相吻合(如左图所示)在负责加工处理注意力关注的输入的神经元群中,这种调制相位对齐会转化为增强的频率响应(由左下图中的蓝色和红色条形表示)。
交互
虽然从概念上讲可以将时间期望隔离开来,但是对即将发生的事件的期望通常会融合“什么”(what),“何处”(where)和“何时”(when)。因此,一个重要的问题是时间预期是否以及如何与基于空间和基于特征的预期结合来影响大脑的活动和行为。也许与直觉相反,基于空间的注意和基于特征的注意似乎在很大程度上独立运作。例如,神经元对包含相关与不相关特征的刺激具有相似的响应,而不管刺激是否呈现在注意关注的位置。相比之下,时间期望的效果似乎与关于目标位置和身份的期望强烈地相互作用。
时间和空间
在人类研究中,使用预测性时空线索研究时空期望在指导感知辨别中的相互作用,结果显示仅当目标物出现在预期位置和预期时间时,时间提示才会增强感知辨别力。在SRT(序列反应时)任务的序列学习过程中,空间和时间期望显示出类似的协同交互作用。
时间序列显著放大了空间序列对减少反应时间的影响,而孤立的时间序列无效。在另外一项研究中,被试秘密地观看了一个光盘,该光盘逐步地在显示器上移动,直到其被短暂“阻塞”,脚步的空间轨迹和时间节奏彼此正交。当光盘又重新出现时,目标引起的P1的幅度会因空间注意而增强,并且这种影响会因时间上的预期而进一步放大。而当空间期望不存在时,时间期望对P1没有影响。在预期期间也观察到时空相互作用。人类时间预期会增强与空间注意的α和β振荡的侧向化相关。同样在NHP中,与空间关注相关的V4和LIP区域的放电频率增加与风险率相关。但是,并非所有的时间期望调制都必须在特定空间上。例如,在NHP中,即使预期目标仅出现在中央凹处,γ波段振荡的时间调制也会在V1的中央凹和周围部位发生。
时间和特征
时间期望也与基于特征的期望相互作用。一项最新研究表明,与针对嵌入目标声音的频谱内容的有效预期结合使用时,基于节奏的听觉时间预期会提高感知灵敏度,但在这些频谱特征预期无效时则不会。
时间预期和基于特征的预期之间的相互作用再次从神经预期和调节的模式中得到证明。例如,当所呈现的具有不同频率的音调竞争注意力时,会发生同步化,使得正在进行的振荡的高兴奋性相位与具有相关音调的音调对齐,而低兴奋度相位与不相关的音调对齐(图3)。时间期望还可以通过以特定于功能的方式调节神经活动来增强神经编码。在啮齿动物A1中观察到,在时间上期望的放电频率的增加在所有神经元中并不均等,而在很大程度上取决于神经元的偏好听觉频率。以类似的方式,对于偏好的光栅方向,对猴子V1中的光栅的gamma频带响应中与时间期望相关的增加最大。对人类大脑活动的研究也支持时间和特征期望之间的相互作用。一项脑电图研究表明,只有在可以预期音调的时机和音调时,才会对预期的但被忽略的听音做出反应。时间和特征期望之间的相互作用也已经在人类功能磁共振研究中对具有可预测变化方向的光栅的视觉响应中得到了证明。
交互的机制
因此,在许多情况下可以通过调制其他基于RF(感受域)属性的时序来表达时间预期的影响。研究表明,根据学习到的时间结构在时间上构建基于RF特性的神经元活动的增益和同步调制,以利于在预期的时间对相关物体进行优先级排序和选择。它们可能是通过具有特定RF的神经元群体内部的可塑性引起的,从而使这些群体的RF特性获得了第四时间维度,或者网络模式承载了时间信息。或者非特异性的时间信号(例如皮质下唤醒信号或非选择性振荡同步化)可能会差异性地影响表现出高水平与低水平活动的神经元群体。此外,还不应排除与其他基于RF(感受域)的偏差无关的时间预期效应的可能性。
未来研究的方向
目前已经证明了时间注意作用的任务大多数都是在简单的感知辨别或快速反应任务中探索心理和神经机制。但是,时间期望在指导适应性行为方面的重要性具有更大的影响力。在诸如语言和音乐之类的复杂刺激的动态流中,时间期望有助于感知。这些影响发生在加工的多个阶段,并且可能影响许多关键操作,包括多感官整合、感觉运动整合、语义分析和意识感知。
时间期望可能在学习中起主要作用。时间偶然性和连续性极大地影响联想学习和强化学习的强度。
在经典条件下,学习的一个重要方面涉及相对于预期的无条件刺激来定时条件响应,尤其是在痕量条件下。在强化学习中,一个经典的观察结果是,当忽略了预期的奖励时,中脑的多巴胺神经元发出信号,表示放电频率暂时下降与预期的奖励时间一致,预期奖励的时间甚至决定初级感觉皮层的放电频率(例如啮齿动物的V1区)。因此,大脑不仅使用事件的顺序,还使用精确的时间期望来评估和表示奖励与其先前的刺激或动作之间的相关性。时间期望的影响开始在人类记忆中得到表征。时间期望可以增强不同时间尺度的记忆信息编码。研究表明,提示时间期望可以提高嵌入噪音中的语音的工作记忆表现,此外当在结构化的时间序列内对物体进行编码时,人类长期识别记忆会得到改善。
时间期望不仅可以增强相关信息在记忆中的编码,而且有助于在正确的时间从记忆中提取信息。例如,被试监测一系列视觉光栅,以检测与记忆中的目标方向模板相匹配的偶然刺激。对MEG和EEG数据的多变量解码分析显示,大脑是根据任务的准有节奏的时间结构,在每个光栅呈现之前即暂时上调了该表征。
在作者最近设计的一个任务中,被试首先编码两个颜色不同的条,在1250ms或2500ms后探测两个条形的方向。被试通过关联了解到在80%的trial中,间隔的长度可预测将探测哪个彩条。当在预期的时间探测彩条时,反应时间和重复方向的准确率更高,因此标记了视觉工作记忆中的物体的时间选择性优先级(见图4)。此外,通过α振荡的横向化跟踪了工作记忆中物体之间的时间更新,这也预示着在trail-wise基础上可以更快地访问工作记忆。
随着我们对时间期望的重要性和普遍影响的认识不断增长,很自然地考虑到时间期望受损可能如何导致各种心理、精神病和神经疾病。我们怀疑在许多疾病中都存在时间预期缺陷,并且它们可能导致症状并提供有用的表型信息,这些信息可以改善个体的分层、诊断、表征和预后。
图4 对工作记忆的时间期望
注释:指示被试记忆两个彩条(橘色和蓝色)的方向,在较短(1250 ms)或较长(2500 ms)延迟后重现其中一个的方向。被试了解到不同颜色的彩条具有不同的延迟时间(橘色对应较短延迟,蓝色对应较长延迟,80%有效),即最有可能探测到它们。在这两个延迟上,当探测到预期的彩条时,反应表现更快、更准确,这表明了由时间预期控制的工作记忆中动态的、特定于项目的优先级。
总结:
正如本文所强调的那样,时间期望沿着神经加工的多个阶段并跨越多个脑区来指导适应性行为。许多神经机制可以基于环境中各种可预测的时间结构来支持时间注意。这些机制可能协同作用,并与其他基于RF的偏向相互作用来扩大影响。随着对时间期望的基本重要性原理的了解,我们需要从静态的注意发展为动态的理论,这些理论涉及环境中可预测的时间结构如何与大脑活动相互作用,从而为感知、行动和记忆确定优先级并选择对象。时间注意领域的经验对大多数认知领域应具有广泛的意义,并且也可能具有重要的临床意义。
微信扫码或者长按选择识别关注思影
如对思影课程感兴趣也可微信号siyingyxf或18983979082咨询。觉得有帮助,给个转发,或许身边的朋友正需要。请直接点击下文文字即可浏览思影科技其他课程及数据处理服务,欢迎报名与咨询,目前全部课程均开放报名,报名后我们会第一时间联系,并保留名额。
更新通知:第十届脑影像机器学习班(已确定)