认知神经科学的分析方法并不总是与丰富的功能磁共振成像数据相匹配。早期的方法侧重于估计单个体素或区域内的神经活动,在trials或blocks上取平均值并在每个被试中分别建模。这种方法大多忽略了神经表征在体素上的分布特性、任务期间神经活动的连续动态、在多个被试上进行联合推断的统计学方面的优势以及使用预测模型约束分析的价值。最近一些探索性的和理论驱动的方法已经开始寻找具备这些特性的方法。这些方法强调了计算技术在功能磁共振影像(fMRI)分析中的重要性,特别是机器学习、算法优化和并行计算等计算技术。采用这些技术将使新一代的实验和分析成为可能,这些实验和分析将改变大家对大脑中一些最复杂、最清晰的人类信号的理解,如:思考、意识和记忆等认知行为。本文发表在Nature neuroscience杂志。
人类大脑成像技术起源于放射学,最初涉及放射性示踪剂(例如,正电子发射断层扫描(PET)),随后发现MRI可以测量与神经活动相关的内在血流动力学信号(功能性MRI或功能性核磁共振成像)。基于放射性示踪剂的数据的初步分析量化了绝对活性,减法方法的应用(测量实验条件与对照条件的相对活性)使分析更加简单。最早的方法是使用t检验统计比较每个位置(体积像素或“体素”(voxels))的测量结果。 这可以估算每个体素活动根据实验操作而发生的变化,并用于构建此类统计数据的“地图”,从而表明大脑中活动的分布。这种简单的方法面临局限性:
首先,它涉及二进制比较,这在识别连续过程时可能不够强大。这部分由参数设计解决,该设计使用回归来识别以预测方式响应的体素。
其次,相对于神经活动,早期的方法受到血液动力学反应的延迟和延长过程的影响。人们通常通过假设跨区域和个体具有连续的函数来开发反卷积(deconvolution)方法来解决这一问题。
第三,大脑成像数据的规模和统计比较的数量存在出现错误发现(I型错误)的高风险;因此,开发出了在校正多重比较时利用有关数据先验的方法(例如,空间连续性)。
这些方法的发展以及对最重要的预处理方法(运动校正,时间层校正,时间和空间平滑以及跨个体的解剖对齐)的共识,共同导致了标准软件工具箱的创建,这些工具箱已被广泛使用了二十年。它们对功能磁共振成像研究产生了积极而深远的影响,实现了该领域的技术标准化并促进了这些方法的传播。 随着整个科学领域中新颖的数学,统计和计算技术的出现,以及技术和计算能力的迅猛增长,这些工具不断发展并出现了新的工具。接下来,本文将讨论其中的一些较新的技术发展,主要关注于日趋重视的新型计算方法。
回顾高级功能磁共振成像分析
在过去十年开发的功能磁共振成像分析方法中,显然可以证明计算在神经科学中的核心作用。这些方法建立在计算机科学和工程学(例如,机器学习,图论,控制理论)以及这些领域的进步(例如,软件和硬件优化以及并行化)的技术和概念的基础之上,这些技术和概念允许这些以及更多的传统方法可以更高效并且更大规模地运行。对神经科学产生了数量和质量上的影响。在这里,本文回顾了三种现代分析方法。
多变量分析 与考察单个体素或区域的单变量方法相反,多体素模式分析(MVPA)考虑所有体素活动的空间模式,以恢复它们共同代表的信息。这些方法是有效的,尽管其原因尚有争议。一方面,MVPA可能对亚体素尺度的信息敏感,因为神经元群体在体素上呈现异质分布。另一方面,信息的空间分布可能反映了由体素采样的大尺度图谱,在这种情况下,MVPA无法提供神经选择性的更精细证据。解决此问题的一种有价值的方法是对神经元活动如何在体素水平上进行建模,包括考察体素大小,认知功能的分布和血管舒张反应如何影响模拟体素活动模式中保留的信息。
MVPA的最常见形式是使用机器学习中的分类器(图1a),通常是线性模型,例如逻辑回归。分类器为每个体素学习一个权重,这些权重一起确定不同认知状态之间的决策边界。在训练期间,将调整权重以最大程度地使决策边界分隔不同的认知状态。为了避免噪声过拟合,通常会约束分类器的复杂度,包括使用正则化,这会惩罚不好的或不太可能的解决方案(例如,较大的权重)。在新数据上进行测试时,权重用于计算体素活动的加权总和,将其与边界进行比较以猜测类别。分类器可以以滑动窗或者感兴趣区域(ROI)的方式应用于整个大脑。
Figure 1 MVPA的类型
(a) 基于分类器的MVPA学习一个边界,该边界可区分与不同认知状态(例如,面部表情与场景表情)相关的fMRI模式。
(b) 基于相似度的MVPA涉及计算fMRI模式之间的成对距离矩阵,以及(可选)将此矩阵与其他相似度矩阵进行比较(例如,根据有关概念相似性的认知理论进行的预测)。
基于分类器的MVPA已被用于内部认知状态的测量,例如被试正在思考或记住的内容。 此类研究通常会跟踪在fMRI中易于区分的状态(例如,面部和场景处理)。但是,一些研究成功解码了更细粒度的状态。这种通用方法的一个挑战是分类器是概率性的并且判别能力存在差异,因此,控制那些与目标变量容易混淆的因素尤其重要,例如任务难度和反应时间。
MVPA的第二种主要类型集中在体素模式的相似性上(图1b)。活动模式被视为高维体素空间中的点,其中点之间的距离表示它们的相似性。与其使用分类器划分空间,倒不如将其视为成对距离的矩阵。矩阵的结构可以通过将其与其他相似性矩阵(例如来自人类判断或计算模型的相似性)进行比较,从而来揭示区域中编码的信息。基于相似度的MVPA也已用于跟踪学习是如何影响神经模式。 这种一般方法与基于分类器的MVPA不同,所有体素的权重均相等,因此存在信息不足或被噪声特征污染的风险。 另一个风险是,模式相似性很容易混淆,包括通过单变量活动和时间邻近性:在这种情况下,对相似性的影响可能被解释为神经模式在表示空间中汇聚或发散,而实际上神经模式的底层结构并没有改变。
实时分析 在正常的工作流程中,fMRI数据收集之后,将从扫描仪传输到服务器上,然后在数周,数月或数年内进行离线分析。通过在数据收集期间而不是在数据收集之后进行分析,可以在几秒钟内获得结果呢?这个问题引起了大家对实时功能磁共振成像的兴趣。作为研究工具,实时功能磁共振成像为训练和/或新颖的实验设计提供了机会。特别是,通过动态分析数据,可以将结果用于调整正在进行的实验(图2)。
Figure 2 实时功能磁共振成像的使用方法。在一个大脑核磁影像获取、预处理并分析之后,在下一次采集完成之前,将分析结果用于更新实验代码。神经反馈结果可以三种通用方法融合。
首先,他们可以使用刺激的大小,量表或刺激本身的一种量化结果显示给被试,其想法是这种神经反馈将使被试能够完善自己的策略并学会控制活跃的脑区或神经表征。
其次,实验者可以使用分析结果来触发试验的开始,以检验关于某个脑区的激活(或抑制)对所关注的认知过程或行为的贡献的假设。
第三,实验者可以使用分析结果来调整实验参数,或者重复进行那些不确定的神经反应的实验。无论采用哪种方法,最终结果都是一个时间步长的大脑活动会影响被试在下一时间步长的反应,进而影响他们的大脑活动,进而影响他们的反应等等。如果将大脑和实验紧密地结合在一起,则该设计可以称为“闭环”。 TR表示重复时间,即下一次采集的开始。
最广泛采用的调整方法包括尝试通过被试的大脑活动(神经反馈)的反馈来影响被试。 受传统上使用脑电图进行生物反馈的启发,通常是通过训练被试增加或减少某些认知过程或障碍所涉及的脑区活动。 fMRI神经反馈已在临床上用于治疗慢性疼痛,抑郁和成瘾,以及探索基本的认知功能。
值得注意的是,从这个领域早期开始就存在实时功能磁共振成像和神经反馈,尽管在此期间取得了一些成功,但这些方法在最近开始复兴起来了。一个可能的原因是,该领域对神经反馈何时起作用有了更好的了解,最近的研究是哪些心理策略有效,哪些大脑区域更可控而不是参与控制。MVPA相关方法的增长可能对此也有所贡献,因为控制特定的心理内容(反应在分布式表征中)可能比控制与多种认知功能相关的区域的平均活动水平更容易。此外,以闭环的方式(例如,通过刺激对比或任务难度)将反馈合并到认知任务中,可能会使被试感到更加自然,并且可以实现比通常使用的量表更大的实时设计范围。 尽管如此,fMRI神经反馈始终受到滞后的血液动力学的限制,因此神经反馈可能能为认知和神经过程提供最为丰富的信息,这些过程缓慢漂移,因此尽管存在延迟,但在反馈时可能处于相似状态。
在神经反馈研究中,被试使用实时结果来更改其策略或行为。实时功能磁共振成像的其他主要类别更加注重实验者对结果的处理方式。在“触发”设计中,实验控制装置监视大脑区域的活动水平,并在活动量较低或较高时启动试验,并预测这两种情况下产生的不同行为。这可能会增强fMRI的因果关系,因为大脑活动是一个独立变量,因此有可能(通过适当的控制区域)了解给定区域是否足以满足行为要求。在“自适应”设计中,实验者不是确定是否进行试验(无论大脑如何活动都定期进行试验),而是确定下一次试验的内容(例如刺激或任务)。这样做的目的是通过调整刺激参数直到区域的响应达到最大来表征视觉系统的调整特性,但也可以用于检查各种系统(例如,涉及注意力或记忆力的系统)。
基于模型的分析 fMRI中计算模型的关键用途是定义感兴趣的假设信号。接近外围的过程(例如视觉感知)通常涉及具体的,可量化的变量,这些变量相对容易概念化、操纵和度量。 例如,与测试更抽象的构造(例如预测误差或置信度)相比,如何设计实验来测试大脑区域参与彩色视觉的过程似乎会更清楚。其优点不仅在于色彩的方式更加直观,而且视觉心理学和神经科学长期以来一直由坚实的计算理论(通过信号检测理论等形式主义)作指导。这些理论最初来自工程学,但如今已根深蒂固于实验设计和分析中,它们指出了感知实验的关键步骤以及如何评估其操作。
Figure 3 基于模型的功能磁共振成像的示意图。计算模型(顶部;错误驱动的奖励学习模型)可用于生成内部变量的候选时间序列(蓝色的值V和红色的预测误差δ)。在通过平滑处理解决血液动力学滞后(中间)之后,这些变量可用作回归器,以寻找大脑中(底部)相关的BOLD活动,从而产生可被视为用于执行或跟踪模型中相应计算过程的候选区域。α,学习率参数。
相比之下,高级的认知过程(例如决策,估值,控制和社会互动)从计算理论中受益较慢,这些计算理论要求能够量化这些认知指标。这些认知过程的计算模型(例如,强化学习,决策理论,贝叶斯推理和博弈论)已越来越多地用作开发有关基础计算的精确假设的工具。例如,强化学习指定了当前选择结果如何影响未来的决策,而博弈论则描述了社会主体如何回应彼此的行为。这些假设又可以用于生成有关神经信号的预测(图3)。具体来说,如果模型正确地模拟了大脑中的计算过程,则可以使用该模型来估计时变信号,以用于其他主观的、隐藏的变量。变量之间的相关性可以在大脑中寻找。
基于模型的功能磁共振成像使研究人员可以在大脑中定位模型变量。一旦知道了它们的位置,就可以在以后的实验中读取这些信号,并使用它们来估计参数,以通过模型比较以及上述各种实时设计来判断被试正在进行哪些计算过程(例如预测对手的行为,计算决策变量)。最近的工作进一步推动了这一领域的发展,特别是通过将模型计算得出的时间序列与其他功能磁共振成像分析方法相结合,包括视觉类别解码和重复抑制。
高级功能磁共振成像分析的方法
经验数据的数量和理论模型的复杂性都处于持续快速增长的阶段。神经科学面临的主要挑战是开发可以随着这种增长而适当扩展的方法。在这里,文章讨论了可解决此问题的可扩展方法,以及有助于促进这些方法的先进的技术。
寻找信号:识别有意义的波动模式的方法。由于数据的复杂性,如果每位被试的观察次数较少,可能会妨碍fMRI分析。如果每个体素都被视为变化的维度,则可以将体素上的活动模式描述为这个高维空间中的点。考虑到该空间的大小随维数(体素)的增加而急剧增加,因此观测值(volume)比体素少,这意味着与这些观测值的活动模式相对应的点将会非常稀疏地填充这个高维空间。这使统计分析变得困难且统计效力不足,例如会导致MVPA中决策边界放置不当,进而影响分类性能。这种“维度灾难”只会因嘈杂的血氧动力学(BOLD)信号而进一步加剧。面对这些挑战,适合功能磁共振成像数据的模型需要约束条件,以帮助他们找到更大的噪声堆中嵌入的信号“针”。这里,本文描述了可以共同提高识别有意义的认知信号的能力的技术。
其中一种技术是共享响应建模(shared response modeling,SRM),它将来自每个被试的fMRI信号响应投影到一个低维空间中,该空间捕获了不同被试之间时域信号共同的波动特点(Box 1;图4-5)。如果给被试相同的刺激或任务序列(例如,一部电影),从而引导他们的大脑经过一系列认知状态(例如,视觉,听觉,语义),那么将识别出一系列与这些状态高度相关的波动模式。SRM的另一个好处是可以帮助解决上述数据匮乏的问题:由于SRM空间是定义在共享的跨被试空间下的,因此可以在MVPA或其他分析之前合并来自多个被试的数据。无需SRM,跨被试的信号解码也是可能的,但可能仅限于那些具有粗糙的神经表征而因此可以容忍错误的认知状态。实际上,SRM通过在局部区域内对齐细粒度的空间模式来精确地改善MVPA。 此外,除了改善对齐方式和提高其他分析的灵敏度之外,SRM本身的输出还可以提供有用的信息。
侧重于共享响应的另一面是侧重于个人特有的信号响应。尽管这些响应未包括在SRM中,但它们不一定是噪音,实际上在被试中可能是高度可信的。确实,SRM可以通过在删除共享的组水平上的响应后检查残差来分离特异于被试的响应,或者可以将SRM分层应用于残差以标识子组。更普遍的是,越来越多研究将个体差异视为fMRI中有意义的变化。认识到信号存在于一个群体的平均反应或共同反应之外,此类研究利用特异的但稳定的响应来解释大脑功能,行为表现和临床指标等先前无法解释的差异。
第二种有前景的技术基于如何把与认知功能相关的神经表征的知识,通过施加空间先验的方式在fMRI提取的大脑模式上进行正则化。 一个简单但有力的想法是,这种表示是稀疏实现的:也就是说,只有给定的感兴趣过程可以调控相关体素的子集。但是,仅仅有稀疏性是不够的,因为与认知相关的模式也倾向于在空间上呈现结构化的特征,从而使附近的体素共同激活。贝叶斯层次模型在实现这种同时具有稀疏性和结构化先验方面特别有效。这些模型支持灵活的空间先验规范,并在具有相同潜在结构的独立观测之间享有一样的统计效力,例如来自多个被试的数据。
Topographic factor analysis(TFA)是一种利用结构化稀疏性的贝叶斯方法:fMRI图像是根据少量(稀疏)的具有预定功能形式(结构)(例如径向基函数)的局部源来描述的 。 给定一组fMRI图像,TFA首先会推断最能描述图像的源的数量,位置和大小,以及指定每个源在每个图像中的活跃程度的源权重。因为源的数量通常明显小于fMRI数据集中的体素的数量,所以基于TFA源的计算比基于体素的计算效率高出几个数量级。当然,空间先验和降维都存在消除感兴趣信号的风险,因此需要探索更多方法来结合使用。
提取信号的第三种方法是计算体素或区域之间的协方差模式。这种“功能连接”可以编码相关局部活动中不明显的区域之间的交互作用的信息。其中某些过程可能确实是这样的,例如注意力,其中某些脑区会控制及影响其他脑区。确实,功能连接帮助揭示了视觉选择机制,持续注意力能力的标记物和支持更加普遍的认知任务的大脑网络。
挑战在于,体素协方差模式比原始数据(约10的十次方个体素对)大几个数量级,从而增加了搜索所需要的信号针的计算空间的大小。一种有效的解决方案是这样的:通过把大脑分成一组区域或者集群来减少所面对的问题的搜索空间的大小。但是,这需要对所研究的神经过程所包含的功能“单元”进行正确的假设,并且此类决策会影响最终的分析结果。上面描述的技术也可以帮助解决这个问题:关注被试之间共享的方差模式可以阐明脑连接的结果(box2;图6)。最后,可以在全体素尺度上分析协方差模式,但这需要计算优化和并行化。 完全相关矩阵分析(FCMA)对此进行了解释,该算法使用高级算法来计算多个时间窗内每个体素与其他体素的成对相关性,并在这些相关性上训练分类器以解码保留的时间窗,同时 将这些计算拆分到高性能计算系统的多个线程,内核和节点上。FCMA的一些缺点包括其对强大的计算能力的需求以及解释和可视化结果的难度(分类器上的体素权重)。
最后,在功能磁共振成像中可能存在重要的认知状态信息,这些信息并不以体素活动或体素之间的成对相关性表现,而是以高阶网络属性显示。这种关系可以通过图论和拓扑数据分析来表征和量化。
知道从哪里开始:用于指导和约束分析的模型。
迄今为止,所描述的新方法通过利用统计和计算方法的进步来进一步识别和放大fMRI数据中的信号。但是,这些方法本身仅是探索性的。尽管这具有不偏不倚的优势,但它无法进一步加深对大脑所执行的功能的了解。
与所有形式的分析一样,有用的先验信息可以大大减少搜索空间并提高检测到感兴趣信号的可能性。先验不仅可以来自神经组织的一般原理(如上所述),还可以来自关于特定过程结构的更具体的信息。这种结构可能是由刺激引起的:例如,来自大型在线数据库的单词共现模式的计算分析已被用于约束对那些被感知到的fMRI数据的分析。结构也可能来自有关潜在认知机制的假设,特别是当这些机制可以定量地体现时。但是,大多数此类基于模型的分析(如前所述)都使用了简单的低维模型,通常是线性函数的形式。尽管这是一个有价值的开始,但是此类模型无法描述大脑中高维且非线性的处理过程。
这种更复杂的模型在认知心理学上有着悠久的传统。 随着计算能力的进步和更大的训练集的出现,这种方法在过去的几年中出现了戏剧性的复兴,最明显的是“深度学习”这类感知模型的兴起。神经科学界开始通过将此类模型集成到神经数据分析中来利用这些模型的强大性能。一种方法是从模型中模拟的神经活动模式的相似性结构进行有关fMRI活动模式的相似性结构的预测。通过这种方法,可以通过将模型的不同层映射到不同的大脑区域来生成关于神经环路或信息处理过程的假设。
迄今为止,这类模型大多数成功应用到视觉系统中的模型构建。受到更高认知水平过程的生物学启发的模型能否提供关于其他大脑系统的类似有力的见解仍然是一个悬而未决的问题。 其中一个困难则是类似过程的“ground truth”难以定义:感知模型可以在数百万张带有明确标签的图片上训练(标签上标明了照片中包含了那些物体),但是没有类似的记忆或思想语料库,也没有可接受的词汇或描述其内容的基础数据集。即使存在这样的数据,血液动力学响应在时空上的点扩散性质,以及大家对BOLD活动的神经生理学方面的理解还不尽完美,使得将模型单元中的模拟激活转化为预测fMRI激活模式这个过程变得复杂。实际上,尽管重复随机采样对分析过程提供了一定的稳定性,但在fMRI体素中对神经元集群进行采样并进行局部平均的规模和方式可能会对体素活动模式所携带的信息产生重大影响。数学和计算方法的不断进步可能有助于解决这些问题,并允许在功能磁共振成像数据分析中使用更细致和接近现实的神经功能模型。
完成工作:用于高效分析的可扩展计算。作者认为,未来的分析方法需要全面探索数据和开发模型。上面的方法可能需要极高的计算量和大量的数据,中间过程所需的操作量和存储空间将随数据集的大小呈指数级增长,甚至更糟。例如,SRM要求矩阵求逆,其计算代价等于所有被试的影像数据合并的体素总数,FCMA在特征选择期间为每个体素训练基于种子的全脑连接分类器。高分辨率和多波段成像,再加上对所有被试的数据进行联合计算,将使问题变得更糟。要完成单个数据集的分析,即使将其部署在现代计算服务器上,也可能需要数年才能完成。当然,这将使实时应用无法实现,并且减缓了科学发现和进步的速度。
这些计算瓶颈吸引了计算机科学家的兴趣,不仅有来自机器学习的专家,而且还有来自算法和系统研究的专家。可以通过有效的数学转换和数值方法来降低算法的复杂性。利用multicore,manicore和GPU板等现代硬件,可以将算法进一步优化一到两个数量级。更智能地使用缓存和内存层次结构;改善处理步骤之间的数据分级;以及利用指令级并行性,例如单指令,多数据(SIMD)和矢量浮点单元。神经影像分析还可以在计算机网络或者数据和模型级别上实现并行化。在数据并行化中,每个处理器都保留模型的完整副本以训练部分数据。在模型并行化中,每个处理器接收模型的一部分以训练所有数据,共享参数以帮助模型参数收敛。网络并行化必须设计用于最小且有效的通信,例如使用消息传递接口(MPI)协议。总之,这些措施将使神经科学家能够充分利用高性能计算资源,并具有网络上每台计算机近乎线性加速的潜力。但是,这需要神经科学家获得计算专业知识才能实现这些方法和/或与计算科学家发展紧密的合作关系。
除了使用计算技术扩大神经影像分析的规模外,这种分析还可以通过以不同的方式扩大规模而受益,从少数拥有专业技术和设备的实验室和机构,到更广泛的使用fMRI的研究人员的社区。这就要求开发的代码可以被其他人共享和运行,还需要标准化文件类型和用于标注实验细节的词典,以便可以使用代码来分析新数据。为了促进实验的复现,荟萃分析,课堂指导和人员培训,应在论文中附上代码和实验参数以及相应的原始数据。最后,即使共享代码和/或数据,此处讨论的许多未来分析也只能在大型集群上有效地运行,而大型集群仅对一部分用户可用。可以通过将数据分析业务转换为software-as-a-service(SaaS)或“云”生态系统(Box3;图7)来改善这种情况,该方法彻底改变了许多领域和行业。这类领域的发展将再次需要神经科学家和计算科学家之间的密切合作。
Box 1 共享响应模型(SRM)
在标准的对齐之后,可以通过对所有被试中每个体素的值进行平均,在组水平上融合fMRI数据。尽管这减少了被试间的数据噪声,但是被试之间功能信号的解剖位置的变化使他们共享响应的估计变得模糊。 SRM提供了一种替代方法,将每个被试的数据联合分解为一组共享的特征时间序列和对每个特征的特定于某个被试的特征图谱(图4)。
SRM(共享响应模型)的最简单用法是提取解剖ROI上的共享响应。通过这种方式,SRM和相关方法可以显著提高组水平推断的敏感性。例如,在功能数据对齐到解剖数据之后,正在观看电影的某个短片可以以更高的准确度进行分类。将SRM应用于大范围的脑区意味着该区域内的所有体素都对最终得出的结果有贡献。这可能与将空间局部活动与特定的认知功能相关联的目标相抵触。为了解决这些问题,可以在小的窗口中使用SRM,以获取共享信息的局部指标。
使用可用的fMRI数据集中的一部分计算SRM,并使用交叉验证确定特征数k。尽管可以使用让被试进行相同试验序列的任何实验设计,或者可以将相同序列的相同试验序列拼接在一起的任何实验设计,但通常使用电影和故事等刺激来生成此类训练数据(例如,一系列认知任务)。然后将保留的测试数据(包括来自新被试的数据)投影到共享响应空间中,以进行进一步分析。这样的测试数据可以与训练数据具有相同的类型,例如,允许对新的短片片段进行解码(图5)。或者,测试数据可以来自受控实验室的实验(与训练数据不同,不需要通用的试验序列或装置),而SRM只需将预处理流程中的标准对齐替换掉即可。根据经验,如果训练刺激或试验强烈且可变地参与实验过程,则SRM将提高检测测试数据中感兴趣的认知过程的敏感性。使用SRM进行预处理时的一个限制是必须收集其他数据进行训练,从而减少了与研究问题主要相关的数据量(以及潜在的统计能力)。
Figure 4 SRM的计算流程。
fMRI数据从m名接受相同刺激的被试中采集得到,然后将数据保存为矩阵X(voxels by time)。每个矩阵X通过概率隐分量模型被分解为一个特定于被试的包含k个脑图的矩阵W与一个共享时序响应矩阵S(每个时间维上的特征长度为k)的乘积。也就是说,对于每个被试:X=WS+R,其中X、W和残差R(图中未显示)是每个被试特有的,但是S是所有被试间共享的。
Figure 5 SRM与其他的multisubject方法的对比。
当被试观看和/或聆听相同刺激时,收集三个fMRI数据集。然后将收集到的数据在TAL空间或者MNI空间上对齐,从而为所有被试的数据提供一个通用的坐标系。在这些例子中,仅对特定ROI中的体素的BOLD活动信号进行分析。通过尝试根据其他被试的测试数据来确定单独拿出来的被试的测试数据中的短片片段,从而评估刺激过程中共有的认知状态的强度。这是在使用跨被试因子模型之前或之后完成的:主成分分析(PCA),独立成分分析(ICA),超对准(HA)或SRM。对于降维方法(PCA,ICA,SRM),使用了k = 50个特征。假设短片片段是独立的,则机会精度为0.001。
Box 2 被试间功能连接
功能磁共振成像分析的最广泛使用的分析方法之一就是功能连接(FC)分析——不同脑区BOLD活动的时间协方差及其如何随外部输入和内部目标而随之变化的函数。 通常计算单个种子ROI与大脑其他区域(图6a)之间的某种指标得到FC,但它也可以通过计算所有可能的体素对或区域对之间的数值指标得到。
“功能连接”一词表示由区域之间的直接相互作用引发的区域间的协方差。但是,情况并非总是如此,因为协方差可以间接地由共同影响该区域的生理因素(例如呼吸或心跳)引起,也可以由该区域与同一外部刺激的同步性间接引起。只要比较两个或多个实验条件下的协方差,就可以控制生理杂声,只要生理变化与实验设计无关即可。
在这里,本文关注分离区域之间的由刺激驱动的协方差的补充问题。一种新的FC变体,称为被试间功能相关(ISFC),它通过计算被试之间的区域协方差来实现此目标(例如,将被试1中的区域A与参与者2中的区域B相关联;图6b)。鉴于内在的神经反应无法在被试之间的大脑系统对齐,因此,处于静息态的ISFC(当没有刺激存在时)得到的协方差模式应较低且在统计学上不显著。但是,当神经反应于特定的刺激时,ISFC可以分离出被试间共享的协方差。
ISFC(被试间功能相关)对于滤除自发性神经反应特别有效,后者对FC有重要作用,同时提高了对特定刺激过程的敏感性。若要查看此情况,请考虑在fMRI扫描中进行四个实验:听一个7分钟的故事,听故事中的句子被打乱的版本,听故事中的单词被打乱的版本以及没有任何刺激的静息态。尽管不同刺激之间存在很大差异,但是通过计算每个被试的FC,然后在组水平(18名被试)上进行平均计算得到的FC在四个实验条件下均保持稳定,这表明局部协方差受(内在相互作用)支配,对动态刺激引起的方差相对不敏感。
这些结果可以与相同数据的ISFC结果进行对比,后者在不同条件下均表现出很大差异(图6d):对于打乱的单词,仅在听觉皮层和处理单词的早期语言区域中观察到了ISFC; 对于打乱的句子,ISFC扩展到更广泛的语言网络,涵盖了Wernicke和Broca等区域; 对于完整的故事,ISFC包含完整的默认模式网络。此外,随着故事的展开,ISFC揭示了在短时间窗口内协方差模式配置的可靠变化。这种在处理现实生活中的信息过程中跟踪区域同步变化的能力为将大脑网络的动态与刺激特征和人类行为联系起来开辟了新途径。
与SRM一样,ISFC对个体独特方差模式具有一定的限制。因此,应与FC结合使用,尤其是当要捕获有意义的噪声相关性和稳定的个体差异的时候。
Figure 6 被试内和被试间的功能交互。
(a)功能连接(FC)分析的示意图,通过计算被试大脑中单个种子ROI(黄色)与大脑的其余部分之间或在所有可能的体素对之间的相关性(如FCMA)。
(b)被试之间功能相关(ISFC)分析的示意图,在所有被试的大脑中,通过计算单个种子ROI与大脑其余部分之间的相关性或者计算所有可能的体素对之间的相关性。
(c)基于体素的功能连接协方差矩阵揭示了不同实验条件下的相似网络组织。这四个实验条件是:(i)完整的故事,(ii)句子打乱,(iii)单词打乱和(iv)静息态。
(d)基于体素的ISFC协方差矩阵揭示了网络内依赖刺激的交互作用。通过k均值聚类将协方差矩阵组织成五个网络:默认模式网络,两个子网络(DMNA和DMNB);背侧语言网络(dLAN);腹侧语言网络(vLAN); 和听觉皮层(AUD)。
Box 3 实时云软件服务(SaaS)
着神经影像数据集越来越大和分析算法变得越来越复杂,fMRI分析的计算需求也在不断增长。传统上,这些计算需求需要本地高性能计算集群的支持。集群虽然在计算上是高效的,但要花费数百万美元。不仅需要占用相当大的空间,而且还需要大量的支持人员,这使得许多fMRI研究人员和机构无法使用它们。此外,随着计算需求的快速增长,这些系统无法灵活扩展。云计算提供了了另一种解决方案,以可负担和可访问的方式提供可扩展资源。 可以使用SaaS来利用这些资源,从而使研究人员可以在全球任何地方按需进行数据分析,而无需开发和部署新的软件或管理服务器。SaaS先前已在神经科学中使用,并已被其他几个科学领域所采用。
实时功能磁共振成像是SaaS的一个很好的例子,因为需要快速,可扩展和有弹性的计算。每个获取的脑影像将被发送到云服务器上进行分析,并在完成收集下一个脑影像之前返回结果,以进行神经反馈或实验调整。除了满足这些紧迫的时间期限外,实时云分析的目标是使在线使用可以离线执行的全部分析成为可能。作为一个计算量特别大的测试用例,研究人员一直在开发FCMA的实时云版本。与相关性计算,特征选择和分类器训练相关的计算特别需要内存和计算周期。实时应用中一个更高要求的因素是,这些步骤需要多次执行,并且随着每个脑影像的采集而逐步执行,而不是从批处理数据的末尾一次执行。
在实现实时FCMA时,研究人员设计了一种系统架构,该系统架构原则上可用于实时执行其他密集的fMRI分析计算(图7)。扫描仪控制室配有一个简单的工作站,该工作站可以收集和传输从扫描仪出来的重建后的大脑影像。它使用超文本传输协议(HTTP)接口向云传输信息和从云接收信息。云托管一个代表性的状态传输(REST)前端服务器,该服务器与分布式后端(由主流程协调)进行通信,该后端提供了组成管道阶段的一组灵活的流程。其中一些阶段包括使用一组机器进行分布式并行进程进行大型计算。简单的计算(例如空间滤波和分类器评分)仅需要一台机器。该系统能够提供多种服务,允许来自不同神经影像中心同时进行实时功能性核磁共振成像实验。该系统还被设计为具有容错能力,并且对机器故障具有鲁棒性,从而确保了其科学研究的可靠性。此类云服务最终将使所有功能磁共振成像分析受益,提高数据处理与分析的标准化和实验的可重复性——仅需要后端硬件和软件进行大规模分析,而一旦需要专用系统,该分析流程就可以被所有用户使用且易于使用。
实时功能磁共振成像通常在本地工作站上进行,甚至可以用于高级分析,因此,重要的是要考虑SaaS所带来的好处,而不是像FCMA这样的大规模方法。上面提到了一些云计算的实际好处——增强了实时fMRI对没有强大计算能力的本地工作站站点的访问能力,并推进了分析软件的配置,维护和升级——但是依旧还有许多优越的计算优势,例如并行计算。特别是,SaaS允许灵活分配计算机,以多种方式处理同一数据。例如,如果要从MVPA提供神经反馈,则可以在不同的脑区或搜索窗口上训练和测试多个分类器,然后可以使用性能最优的分类器提供高保真度反馈。 同样,可以实时扫描分析参数的空间以优化性能。 SaaS的潜在限制是它涉及中央硬件资源,这些硬件资源必须有大量经费或者资本投资来支持。 另一个重要的考虑因素是,扫描仪图像可能包含有关人类被试的个体识别信息(例如,头文件,面部重建),因此将它们异地发送到未经过科学伦理审查的地方可能会出现问题。 一些云计算提供商提供了符合HIPAA的服务器,这将有助于减轻这种担忧,此外,可以在将图像传输到服务器之前清除图像中的可识别信息。
Figure 7 实时云系统架构。
fMRI扫描仪通过互联网将采集到的脑影像数据发送到中央系统上,然后由系统返回神经反馈。每个扫描仪都使用服务器集群来获取自己的数据分析结果(此处为FCMA),实时提供神经反馈,并通过重复的特征选择和分类器训练来持续地更新分类器。
总结:
功能磁共振成像存在了不到二十年。在本文中,作者总结了有助于引导功能磁共振成像进入第三个十年的分析方法。fMRI分析将受益于与相近领域的紧密结合,例如认知科学,计算机科学,工程学,统计学和数学 。随着这些领域(和神经科学)在技术行业中的代表越来越多,随着研究的新应用,也将出现新的融资机会和合作关系。同时,人们越来越关注可重复性,公共数据库,代码共享,这将为人们提供新的,负担得起的,可访问的数据源和新的发现途径。即使收集数据集的研究人员在大海捞针中找到针头,也肯定有更多的针头藏在大海中,尤其是与其他数据集结合并使用正在开发的强大技术进行分析时。 本文更多地从计算科学和数理理论的角度出发,总结了一些最前沿的fMRI分析方法,并引导接下来fMRI分析方法的发展方向,比较具有前瞻性。
微信扫码或者长按选择识别关注思影
如对思影课程感兴趣也可微信号siyingyxf或18983979082咨询。觉得有帮助,给个转发,或许身边的朋友正需要。请直接点击下文文字即可浏览思影科技其他课程及数据处理服务,欢迎报名与咨询,目前全部课程均开放报名,报名后我们会第一时间联系,并保留名额。
更新通知:第十届脑影像机器学习班(已确定)