没有感官特征,我们如何表达信息? 像“自由”这种抽象的概念,缺乏外部可感知的参照物,如何在大脑中表征?如果人们失去某种感官特征(例如聋人失去听觉,那么拟声词如何被他们理解,例如盲人失去听觉,那么特定于视觉感知的客体概念如何被他们理解),特定于这种感官特征的对象的概念是如何被大脑理解或者说被表征在我们的大脑当中的?这些问题的解决有利于帮我们理解大脑如何形成依赖于感觉的概念表征和不依赖感觉的概念表征。而理解这些概念如何在大脑中表征对于多方面的研究都具有重要作用(如疾病、功能丧失以及代表着人类未来的人工智能研究等等)。
为了解决感觉信息在概念的神经表征中的作用,作者使用了功能性核磁共振成像(fMRI)来研究先天失明的人(由于他们视觉本质的限制,对他们来说没有可感知的参照对象)是如何加工这些抽象概念的,比如彩虹,红色。
作者将感官可感知的参照物(“雨”)、经典抽象概念(“正义”)和具体概念(“杯子”)这些概念的大脑活动进行比较,在完全具体和完全抽象的概念之间提供一个梯度。作者发现,前颞叶(ATL)的反应与概念的可感知性与客观性有关: 在背侧ATL中发现了对难以感知的概念的偏好,在外侧ATL中发现了对抽象(非客体、非参照)概念的偏好,在内侧ATL中发现了对可感知对象概念的偏好。这些发现指出了ATL在表示以不同抽象方式来表征概念属性出现了一个新的分工。该文章发表在Nature communications杂志。
背景
我们如何表征那些超出我们感性经验的概念,如“自由”、“正义”等没有明确的外部参考的概念? 盲人是如何表征彩虹这样的概念的?彩虹只能从视觉上被感知,它是由颜色组成的,是一种独特的视觉属性。很多研究都探讨了具体概念和抽象概念的神经相关活动。因为像“杯子”这样的具体概念具有可感知的特征,如形状、大小和颜色,而像“自由”这样的抽象概念缺乏感觉特征,所以有人提出后一种概念更依赖于语义或语言信息。研究抽象概念如何表征,一直被认为是理解大脑中知识表征的重要方法。传统上,一直是通过比较大脑对抽象和具体词语的反应来测试的。这种比较揭示了与涉及语言的抽象概念以及更广泛的多模态处理区域和具体概念相关的涉及特定模态的大规模区域网络。在这些区域中,左前颞叶(ATL)被认为在语义和概念信息的表达和检索中起着中心作用。
然而,在抽象概念和具体概念之间,除了外部感官指称的存在之外,还有其他的区别。抽象概念往往是在之后的生活中学习的,不太熟悉,其中一些涉及到社会或情感的内容。与特定概念有关的情感反应,被认为为某些概念提供了情感(内在)的“感觉”参照。不同词语的不同情绪唤起的参与可能被认为为抽象概念的某些领域提供了感官上可感知的特征,导致对概念表征中感官特征作用的持续争论。
此外,抽象词与具体词在语言属性上的区别在于,抽象词更具有模糊性,其解释更依赖于语境的变化,因此,经典的抽象概念和具体概念在感官特征上的差异被其他因素所混淆。此外,抽象概念和具体概念在一个额外的重要方面有所不同,具体概念一般是指可以“指向”世界的外部对象或指称物,而抽象概念则不然。然而,这两个维度在大多数情况下几乎不可能被分开,因为大多数参照物在本质上是可感知的。
那么如何测试感官知觉和经验的影响,以及参照/客体的影响呢? 在这里,作者采用一种独特的方法来克服所列的各种混淆,并通过使用一个特殊的群体来直接调查这些概念维度的作用,这个群体对于其他具体的对象概念没有感官上可感知的参照物,从而消除上面提到的混淆。在这项研究中,作者选择关注不可感知性的影响。为了达到这个目的,作者研究了一组先天失明的人,给他们分别展示了同时具有物体参照物和可感知其特征的概念(“杯子”);有外部参照的但是仅通过视觉才能感知到的概念,因此对于先天失明的人来说是感觉上不可及的(“彩虹”);以及没有参照或感觉特征的抽象概念,不涉及情感或社会关系(如“自由”)。在盲人被试群体中,在完全具体对象和完全抽象的非对象概念之间存在一个较为清晰的梯度,使作者能够将感觉成分与客观成分分开,并研究它们的神经关联。
方法
被试:
共有12名先天失明和14名视力正常的被试参与了实验。盲人组的被试年龄在22岁到63岁之间(平均年龄为44.2岁,8名男性),与视力正常的被试在年龄或受教育年限方面没有差异。所有正常的被试视力正常或矫正视力正常,被试无神经系统病史。
实验范式及刺激
实验的刺激是口语单词,每个单词都是两个汉字,分别属于八个概念类别(图1):抽象概念(如“自由”),具体的日常物体(如“杯子”),和另外三个领域,星体/天气现象,场景和物体特征(形状和颜色名称)。
这三个领域中每个都有两个不同的类别,一个是可以通过非视觉感官感知的(如“雨”、“海滩”和“方形”),另一个是只有视觉上才能感知(例如,“彩虹”、“岛屿”和“红色”),因此盲人无法感知。作者使用了三个不同的内容领域来测试感知能力的影响,这样可以使得特定领域的影响被忽略不计(图1a,其实从原理讲是实验材料的随机化处理)。总体来说,视觉上占主导地位的范畴是那些符合“形象”定义的范畴,遵循的是可操作对象和形象对象之间的区别。操作对象,在这里用于可感知的类别,被定义为那些相对离散的,从周围的环境中分离出来的,并且容易被几种感知模式使用的对象。相比之下,形象元素是那些不符合这些标准,但仍然是可以通过它们的视觉结构来描绘的。
对于场景,可操作的、可感知的场景被选择,这样它们的定义特征可以被非视觉探索(例如“海滩”,你可以通过感受来感知海滩),而形象的、不可感知的场景被选择为对于它们的整体配置或定义特征太大而不能以非视觉感官感知的场景形式所知觉(例如,“岛”,岛是一个整体的视觉形象概念)。在实验之前,由6名没有视觉记忆的早期失明被试组成的独立小组收集了星体和场景类别刺激的感知能力评分(单词与感官信息的关联程度),这些被试由于磁共振安全问题或难以到达扫描点而无法参加fMRI研究。
这些被试的受教育程度与盲人的主要样本没有区别。另外,所有可感知的和不可感知的概念在扫描后几个月由盲的fMRI被试对其感官感知能力进行评分,并被证实在这三个类别中存在显著差异。每个类别包括10个词,尽可能地匹配可想象性、习得年龄(AoA)、熟悉度和具象/抽象度,这是对45名受教育程度相似的视力正常的中国被试的独立样本进行的评估。分别给被试介绍每个单词,并要求按1-7的等级对这些特征进行评分。这些概念的习得年龄和熟悉程度在视力正常和失明的被试中是相似的,即使对于颜色这一独特的视觉特性,盲人也表现出了广泛的熟悉度,这样他们就可以创建一个近似的牛顿色轮,知道日常物体的颜色,并且只能根据颜色对一个特定概念类别(水果和蔬菜)进行敏感的相似性度量。在扫描几个月后,以类似的方式直接对盲人受试者进行普通话情感效价和唤起水平的评估。语义多样性值来源于以往的文献。具体对象和抽象概念在具象性、象性和语义多样性方面存在显著差异,而在AoA(习得年龄)、熟悉度、情感唤起或情感效价并没有显著差异。
实验1中,被试需要闭上眼睛听一系列的单词(Block范式,每个block有8个词,持续8秒,block与block之间间隔8秒作为基线)。要求被试探测并且对出现在block里的水果名称进行反应(每个run出现三次;但是未来的分析会剔除这些block),run与run之间有12秒的休息时间,每个block包含八种类别中的一种类别的词汇。
实验2是慢事件相关设计并进行表征相似性分析,实验2是在同一被试的不同扫描时段进行的,实验2中的刺激是从主要的block设计实验刺激的可感知、不可感知和抽象类别中十个单词中挑出来8个。在8次慢速事件相关的测试中,被试随机听到每个单词一次,然后是5秒的基线期。与实验1一样,被试的任务是检测水果名称,这些试验没有进一步分析。
数据分析:
使用Brain Voyager(核磁数据处理的商业软件,思影科技为其中国合作伙伴,如感兴趣可添加siyingyxf了解)进行数据分析,为了保证稳定,每次扫描的前两幅图像被删除,预处理步骤包括头动校正,层间时间校正,高通滤波(为了去除基线漂移和提高信噪比)。每个被试的结构像与功能像都对齐到Talairach标准空间(另一个标准空间是MNI空间,二者的空间坐标可以相互转换,空间标准化是为了归一被试间的解剖学差异),最后对每个被试的数据进行半高宽高斯分布下的6mm的三维平滑处理,然后使用一般线性模型(GLM)进行分层随机效应分析。分别对盲人组、正常视力组和正常视力、视障合并组进行组分析。将组别、刺激领域和感知能力进行了方差分析,包括对象特征、场景和天气/星体现象的可感知和不可感知的刺激。也对盲人组不可感知性*词语领域进行了方差分析,评估盲人组内的交互方向。
使用了MATLAB中的CoSMoMVPA计算事件相关数据的RSA(Representational similarity analysis,就是表征相似性分析),在对刺激的感觉知觉的行为评级基础上建立了不相似矩阵,根据盲组的中位数评分,计算了盲人和视力正常组的search light 模式的相关分析,将每个被试的平均的经过Fishe转换的相关系数输入到一个双尾单样本t检验中与0进行比较。将从未参与fMRI实验的盲人收集到的感觉知觉的行为评级以及由独立的有视力的被试对概念的视觉知觉的行为评级进行了类似的分析。
功能连接数据分析和MRI获取
除了基于任务的数据外,还收集了一组静止态的数据,用来计算功能连接,盲人和视力正常的被试则躺在扫描仪中,没有接受任何外部刺激或任务。数据为一个功能像run,包含240个连续的全脑功能图像,为了确保图像稳定,每次扫描的前两张图像被删除(删除的数量有些保守,推荐大家删除5张及以上,或者用4Dtraces作为依据进行删除)。
在Talairach空间中对单个解剖学结构进行配准后,提取白质和脑脊液种子点的平均时间序列,利用MATLAB将脑脊液和白质的时间序列回归掉,将得到的时间序列带通滤波(0.1-0.01 Hz),再将数据放到Brain Voyager进行后续的分析。用6毫米半高宽的三维高斯分布对单个被试的数据进行空间平滑处理。感兴趣种子区(ROIs)来自实验1的任务数据的组分析。静息态功能连接(RSFC)的计算方法如下:
(1)ATL背侧显示组别*不可感知性词语的交互作用的团簇;
(2)ATL中部显示组别*不可感知性词语的交互作用的团簇;
(3)前外侧ATL中的一个团簇:表现出对没有外部参照物的概念(“自由”)的偏好,而对不可见的星体的概念表现出偏好(彩虹)。
从每个正常视力的被试中抽取这些种子ROIs的时间序列,z标准化作为群体随机效应GLM分析的个体预测因子。计算了种子1和种子2,种子3和种子4的偏相关系数来观察这些种子所属的共同和独立的网络。盲人组也进行了相同分析,并且计算组间RSFC的差异(正常视力被试的RSFC>盲人被试的RSFC,p <
0.05,多重校正后)。
结果
大脑中的抽象概念偏好
为了探索这些因素在处理抽象信息的网络中的影响,作者首先定位了大脑对经典抽象概念的偏好,选择那些不会引起强烈的情绪反应的词汇。作者在实验1的数据中绘制了对抽象概念的偏好响应,与之前的研究结果相似,抽象概念在合并的研究对象组中引起多个区域的显著激活,主要偏向为左脑。这些脑区包括额下叶、颞上沟和颞前叶(ATL),它们都在前上颞平面,以及下方的颞极。这些区域在两个组别之间没有显著差异,这证明了使用盲人组来研究抽象概念表示的有效性。一个更严格的对比是,在抽象概念条件下需要激发更显著的正激活(抽象的>具体和抽象的>基线),这个网络主要限制在左半球和ATL内,主要是在背侧方面。
图1: ATL中的抽象概念偏好(a) 实验设计,以及刺激的示例。(b)将典型的抽象词汇(如“自由”)与具体的日常物体(如“杯子”)在合并的受试组(n = 26)中进行对比,可以发现左侧的额顶叶网络与先前的发现一致(c)更严格的对比要求抽象概念也产生显著的正的左半球激活,主要在ATL的背面与侧面(实验1的数据)。该对比也呈现在前视图中,主要体现在前颞叶(ATL)。
不可知觉性—背侧ATL
作者在实验1(一个组块设计实验)中进行了领域不可感知性*组别效应的方差分析,并在概念领域上寻找表现出组别*不可感知性相互作用的区域,即两组基于可感知性的不同响应。在两组被试表现出对抽象概念偏好的大脑区域中,只有左侧的ATL表现出了这种相互作用,这两个团簇集中位于ATL上部。因此,作者把分析集中在ATL,这个一直被认为在处理抽象概念中发挥主要作用的区域。
图二 实验一结果分析图
(a)为了探讨感官特征感知能力的影响,作者比较了先天性盲人和视力正常的控制组的大脑活动,一些概念在世界上有外部的参照,但只能通过视觉的感官方式才能被感知,因此盲人(例如“彩虹”)是无法察觉的,但是一些通过其他方式也能感觉到其所指的概念(例如“雨”)对盲人是可感知的。对概念的不可感知性具有敏感性的区域在两组中的这种对比的激活结果应该是不一样的,因为视觉主导的概念对有视力的被试来说是完全可感知的。组别*不可感知性交互作用的方差分析结果显示,背侧ATL中存在两个簇,盲人和正常视力被试对呈现的不同感知能力的词语的反应不同。(adATL和pdATL)
(b)图2A所示的前部的团簇,标记为adATL,显示出对难以察觉的概念(对象特征、星体现象和场景)的偏好,这个区域仅在盲人组产生了偏好。
(c)在盲人组中,感知概念优先激活,主要在左背侧ATL。
(d)背侧的ATL簇表现出对感知概念的优先激活,只在盲人组中表现出了对跨概念域(对象特征、星体现象和场景)的感知概念的偏好。
图3:概念的不可感知性于左侧背侧的ATL的映射模式。
RSA(表征相似性分析)是通过一个行为矩阵来计算的,这个行为矩阵是基于盲人对概念的感觉感知能力的评级和实验2中以search light方式在大脑中进行的神经模式的比较。显示背侧前ATL反应模式确实根据该参数而变化。在对感觉知觉进行评分时,参与扫描的盲人被试和一组没有参与fMRI实验的盲人被试中均发现背侧ATL的RSA效应。因此,来自单变量和多变量分析的证据都支持左侧背侧ATL在处理盲人中难以察觉的概念时所起的作用,这表明该区域对抽象概念的反应受到了感官信息缺失的影响,而不受客观/参照性和其他混杂因素的影响。
客观和参照-外侧ATL
总的来说,侧边与前部ATL(前颞叶)对抽象概念的偏好超过了对具体概念的偏好(“自由”胜过“杯”),这似乎源于对外部参考的自由概念(即使是在难以察觉的概念中)的偏好。有趣的是,客观化的影响在一定程度上与表现出两组之间对不可感知物体的激活差异的区域重叠(颞前上沟的上侧),这表明这两个维度不是完全正交(简单理解的话就是非独立的)的。
图4:外侧ATL表现出对没有外部参照的概念的偏好。
(a)外侧ATL在盲人中表现出对抽象的、无参考的概念(“自由”)的偏好,超过对不可感知的概念(其外部参考物无法感知;“彩虹”、“红色”和“岛屿”)的偏好(激活更高),这表明该区域对抽象概念的偏好与缺乏客体性有关。
(b)横向ATL中对无参考概念的偏好与星体的不可感知概念领域(“彩虹”)的结果一致,后者是更典型的(比喻性的)对象。
(c)当进行客体性*组别的方差分析时,发现了组间的客体性效应,这表明抽象概念和星体形象对象之间的参照性差异不仅限于盲人。
(4)“具体”概念- ATL内侧
图5:可感知概念处理在内侧ATL
(a)将具体的日常物体与典型的抽象词语进行对比,在两个被试组中显示出与多感官物体知觉相关的区域网络。在ATL中,内侧ATL优先处理具体物体。
(b)将具体的日常物体与正常视力被试组典型的抽象词语进行对比,发现两组在内侧颞叶的作用一致。
(c)盲人组的感知概念与非感知概念刺激的对比表明,内侧ATL更倾向于感知概念。
(d)内侧ATL在盲人被试中表现出跨内容域的感知效果。
(e)在内侧ATL(标记为mATL的团簇)中,感知效果在不同的组间存在差异。
(f)在独立的实验2中,从mATL (e中所示的团簇)中采样的数据复制了ATL中盲人对可感知(如“雨”)概念的偏好,超过对不可感知(如“彩虹”)概念的偏好,尽管这些概念是通过非视觉模式可感知的。
(5)不同ATL部分的功能网络
考虑到ATL不同区域的不同功能角色,作者进一步测试了这种偏好分离是否也表现在基于从相同被试获得的静息态数据的不同网络连接模式上。作者首先测试了背侧ATL之间的分离,这似乎代表了抽象概念的不同属性(分别是不可感知性和非对象化)。作者计算了基于种子点(种子点为显示了组别*背侧ATL的不可感知交互作用的团簇和在正常视力组的ATL的抽象的>不可感知概念的团簇)的静息态的功能连接(RSFC)。
图6:针对ATL不同部分的功能网络连接
(a)计算了部分RSFC,背部 (红色;adATL)和旁侧(绿色);两个种子的RSFC重叠(黄色部分)占主导地位,表明这两个区域基本上属于同一功能网络。盲人组中也有相似的发现,而组间在这些种子连通性上的差异很小。
(b)背侧和内侧的ATL区域(adATL和mATL)对感知能力的偏好相反,它们属于不同的功能网络。部分RSFC绘制为背侧(红色)和内侧(绿色)ATL。两个种子的重叠RSFC用黄色表示。在盲人组中也有相似的发现,而组间在这些种子连通性上的差异同样很小。
讨论
作者发现,ATL的各个部分对抽象概念的反应可以分解为不可感知性和客体/可参照性的影响。先天失明者中缺乏感觉可及的、有形的特征的词语,无论是经典的抽象概念(“自由”),还是描述视觉主导现象的词语(“彩虹”),都表现出左背侧上ATL的优先激活。多变量RSA(表征相似性分)的结果也支持这一观点,它发现该区域的激活模式与盲人概念的感觉知觉水平呈负相关。
相反,前STS(颞上沟)侧区和颞极对抽象概念表现出偏好,而盲人对不可知觉的概念则没有一致的反应偏好,相反,它们对抽象概念的反应甚至超过了对不可知觉的概念的反应,表明了在确定该区域的表征性偏好时,参照物的缺失以及客体的缺失所起的作用。这两个区域部分重叠,功能上紧密相连,表明在处理不同但相似的模态概念信息时存在并行参与。作者的研究结果还进一步支持了ATL内侧、周围皮质和附近区域在处理靠感知获得概念属性中的作用,因为它显示了盲人对具体物体和可感知物体的综合偏好。与ATL的背侧和旁侧相比,ATL的内侧在功能上与多感觉对象处理区域的联系更为紧密。
首先,这些发现支持了ATL在处理与感觉属性相关的语义内容(包括对象)方面的作用,同时控制了与用于评估抽象概念和具体概念表示的典型项目相关的常见混淆变量。作者的发现支持了ATL在概念知识表达中的作用,并表明在这些区域中处理的内容超出了感官经验和对象参考。
其次,本研究揭示了基于词语感知性和客观性时的ATL的背侧、旁侧和内侧的功能分离。这种分离在背外侧皮层中更为精细。相比于具体概念,背侧和旁间ATL都表现出对抽象概念的偏好。功能连接的结果与这一结果相一致,显示了背侧ATL与外侧ATL基本属于同一功能网络。这里所说的背侧ATL在概念处理中的作用的区别是细微的,反映了抽象概念的不同方面的贡献。更重要的是背外侧和腹内侧ATL在概念加工中的不同作用,分别反映了“抽象”和“具体”概念之间的区别。这一发现与将ATL的内侧部分,特别是周围皮层,与处理来自感觉的物体概念属性联系起来的研究是一致的。此外,作者的研究结果还为ATL(前颞叶)在处理视觉和超越视觉体验的物体感官获得特征方面的作用提供了证据,因为它们揭示了盲人对处理(非视觉)可感知物体的偏好,而不是对不可感知物体的偏好。虽然这一区域的作用尤其与视觉和视觉表征有关,但作者发现,除了视觉形式之外,感知能力是激活这一区域的关键因素。这个区域不同于ATL的侧面和背侧,属于不同的功能网络,它与多感觉的、与物体相关的区域更紧密地联系在一起。
总结:
总而言之,研究感觉缺失人群(盲人)的方法使作者能够理清对象及其属性的概念知识的主要组成部分:与感知属性和表征相关的知识,以及与非感知、模式无关的信息相关的知识。这些发现为语义表征的神经关联提供了证据,当控制多种潜在的混淆时,语义表征缺乏感觉衍生的特征。通过单变量和多变量分析,以及利用感觉知觉和客观两个维度,在盲人的特定内容域中发现:背外侧ATL支持这种不依赖于感觉的概念知识表征。另外,一个更细微的区别反映了更大范围内的客观现象(例如,盲人中的“自由”与“彩虹”),它们代表着不易察觉的概念差异。相比之下,由于具体概念的感觉特征可感知但不受感觉形态的影响,因此这一偏好得到了ATL的支持。因此,目前的研究结果为抽象语义知识及其感官属性之间的神经分离提供了重要的支持。
原文:
Neural representation of visual concepts in people born blind
E Striem-Amit, X Wang, Y Bi, A Caramazza - Nature communications
微信扫码或者长按选择识别关注思影
第十四届磁共振脑网络数据处理班(重庆,7.26-31)
第三十届磁共振脑影像基础班(南京,7.31-8.5)
第十届脑影像机器学习班(南京,6.30-7.5)
第十二届磁共振弥散张量成像数据处理班(南京,6.18-23)
第二十届脑电数据处理中级班(重庆,8.9-14)
小动物磁共振脑影像数据处理班(预报名,南京)
第二十一届脑电数据处理中级班(南京,9.7-12)
第七届眼动数据处理班(南京,7.26-30)
脑电信号数据处理提高班(预报名)
脑磁图(MEG)数据处理学习班(预报名)
思影科技功能磁共振(fMRI)数据处理业务
思影科技弥散加权成像(DWI/dMRI)数据处理
思影科技脑结构磁共振成像数据处理业务(T1)
思影数据处理业务三:ASL数据处理
思影科技脑电机器学习数据处理业务
思影数据处理服务五:近红外脑功能数据处理
思影数据处理服务六:脑磁图(MEG)数据处理
招聘:脑影像数据处理工程师(重庆&南京)
BIOSEMI脑电系统介绍
目镜式功能磁共振刺激系统介绍