Science:句法和语义组合的神经基础

每个人在语言的产出和理解中感受最真切的语义其背后是由什么组成的呢?语言学中一直强调的句法,它和语义的统一是如何实现的呢?二者的组合在人脑中是如何表征的呢?目前,我们对于这些问题的答案其实是比较模糊的。来自纽约大学的研究者在Science杂志发文对这一问题的相关研究进行了阐述,并提出了一些新的观点。今天,我们就趁热打铁,来和大家一起对这些观点进行深入了解。

人类语言使我们可以用一系列有限的基础结构创造出无限的表达意图。这个组合系统的神经基础是什么?已有许多研究者们通过分析两词短语这种最基本的句法语义结构从而剖析自然语言中句法和语义的神经基础。作者在文章中阐述的主要是一些基于两次短语结构的研究,这些研究揭示了一个语义处理的建构系统,该系统包括左前颞叶的活动以及左腹内侧前额叶皮层的参与。这两个脑区不仅在语言的理解和产生时会激活,而且在口语和手语的加工时也会激活,并且都显示出语义加工,而不是句法结构。本文论述了语言是如何建构意义的,并在组合系统的基础上为未来的神经生物学研究提出了一些意见。 

正文:

当处于一种熟悉的语言环境时,我们的大脑会自动将单个词汇结合成连贯的语义。即使没有接收语言时,我们的大脑也会做类似的事情:在自己的脑海中创造新的意义,并且理解自己所创造的。这就是内心的“喋喋不休”,对大多数人来说是很难停止的。尽管结合语义是本能和自动的,但是语义加工与复杂的心理活动相比,我们的大脑会参与更多。我们先来看一些简单的句子:

Sally baked the black beans. (Sally烘烤黑豆。)

Sally baked thebeans black. (Sally把豆子烤黑了。)在第一句,black(黑色)描述烘烤前豆子的一个特征,即修饰词。在第二句,豆子变黑是由烘烤引起的,这是一种结果性。我们甚至可以给形容词加修饰语产生歧义:

Sally baked some beans black enough to look like licorice.

在这句,Sally可以烘焙外观类似于甘草的豆子(修饰语阅读),或者她可以烘焙豆子,直到豆子变成像甘草一样黑(结果阅读)。我们的大脑是根据句法来区分语义的,这个例句阐述了符合英语句法的三种结构:名词前修饰语(名词前的形容词)、动结式谓语(形容词在名词后,描述主要的“主”谓语动词的结果)和名词后修饰,它在语义上等同于名词前修饰语,但只有当修饰语满足一定的长度或权重要求时才会在语法上等同。你的大脑有与这些结构相对应的长期记忆痕迹,因此能够根据这些知识来评估传入的语言。这是毫无争议的(句法结构造成的歧义基本都如此,汉语里也有类似的,如“咬死猎人的狗”,你品品,是不是有两种意思)。但是在语言加工过程中,什么是用于词汇组合或合并即时加工的?如何评估我们的创作表现和句法知识?本文主要集中在作者对这个问题的现有理解上。 

理解:左前颞叶皮层的快速概念合成

事实证明,在意义构成的神经生物学研究中,从简单的对象开始考察是更有效的。简短的两词短语是更简易的代表单元,因此研究者们开始对这些小短语的特点进行考察。其目标是在功能上分解一个参与完整句子加工的大脑神经网络。

本文主要回顾关于采用脑磁图(magnetoencephalography, MEG)方法的研究,MEG是唯一一种既能提供描述语言快速加工所需的毫秒分辨率,又能对产生测量信号的神经电流进行合理精确的空间定位的无创技术

首先,当一个人在较少语境听或读一个词汇时,我们可以描述大脑的神经过程。大多数关于最小短语的研究都使用形容词和名词的组合。结果表明,在英语中,符合形容词加名词的正常句序(如red boat)相比于不符合的(如 xtp boat及下面的那些例子),符合句法结构的在名词出现后的200-250毫秒增加了左前颞叶(LATL)的活动。如果句法结构符合,大约在LATL反应的200毫秒后,腹内侧前额叶皮层(vmPFC)的活动增加(如图1)同时,如果把名词放在形容词前时(也就是语序倒置),会发现类似的结果。这些结果代表了什么呢?

1:理解和产生中的短语构建。

LATL左前颞叶)和vmPFC(腹内侧前额叶)会参与单一的组合步骤。在理解过程中,LATL早于vmPFC的参与,但在产出过程中,两者是同时参与的。在产出中,图片命名范式允许研究不同的语言,同时完美地控制物理刺激。你可以简单地让参与者用不同的语言说出图片的名字。在这里,类似的LATLvmPFC效果被发现在在英语和美国手语(ASL)的短语规划中

我们知道,句法是很难分离出来的,这是由于无论是什么样的句子阅读(包括文中所说的简单的二词短语),在加工过程中不可避免的就会产生语义的理解。常用的违反范式其实就充满了这样的问题,因为句法的违反会不可避免的导致语义理解的困难。在上面的例子中可以看出,只要是一个名词和形容词的组合,无论其句法位置是否符合,即无论短语结构违反还是不违反,都产生了类似的对LATLvmPFC的激活响应。那么该如何解释呢?

有进一步的MEG研究发现,被试在面对“Indian food”和“Asian food”时,LATL的激活是不一样的,在面对印度食物这个具体的短语义时,LATL的激活是显著较强的,而在加工亚洲食物时,其激活是比较弱的,我们分析一下会发现,亚洲食物的语义指向是更模糊的,它可以是日本食物,可以是韩国食物,也可以是中国食物,可以是亚洲任何一个国家的食物(同时,不同被试平时接触的亚洲国家可能频率上相差是很大的,很难确定谁会联想到哪个国家)。这就和图2中的例子一样,在tomato dishvegetable dish中,tomato dish是语义明确的,而vegetable dish则很不明确,产生的激活可以看出,明确语义的tomato dish诱发了LATL更强的激活。作者测试了符合句法的短语结构、逻辑语义结构和概念结构的结构,发现了类似的结果。这说明,LATL很可能是对具体概念敏感,而不是对句法敏感的。

2 对句法组合、语义组合和具体性高的短语组合的激活情况

那么vmPFC呢?

尽管我们知道vmPFC对并行句法表达式中的语义很敏感,但关于vmPFC功能的假设仍然是有待研究的。作者指出,它不太可能反映句法的组合方面。证据来自于对包含隐含意义的表达式的加工。

  总而言之,作者对这些研究结果进行总结:LATL可以作为一个快速非句法特征的组合指标,而vmPFC作为一个晚期组合指标,可能表示一个区域内整个组合加工流的最终输出,该区域与更广泛的社会认知和情景记忆系统有关。

但有一个困惑是:如果LATL受损,单个词汇加工会而困难,短语组合加工却不会。如果LATL是一个组合核心区域,又会是怎样发挥作用呢?作者认为,一种可能的解释是:如果许多不同的子程序带有大致相似的功能(即构建短语),那么该系统可能很难被打破。受损子程序的功能可以由其他子程序至少在某种程度上进行补偿(大脑的代偿机制)。相反,词汇内的特征绑定可能并没有相似的更多特征,也就是说词汇的存储可能是由单个区域完成的,而不是多个相似的功能区来完成。这将使单个词汇加工比基本的组合加工更加脆弱。事实上,局灶性脑损伤几乎不会导致无法形成简单短语,反而是单词获得和更复杂的句法加工的困难才是典型的病人特征。这种表现可能佐证了作者的这种猜想。

 

产生:言语产出中短语和手势的语言计划

在一项图片命名研究中,说话者和手语者都用形容词和名词的组合来命名有色物体,比如“蓝色杯子”。因此,两组被试接受的物理刺激(图片)是相同的。研究中的非组合控制条件在词汇上与组合条件相匹配,方法是将有颜色的对象放在有颜色的背景上(例如,蓝色的杯子放在红色的背景上),并指导参与者在非组合试验中说出背景颜色和对象的名称。在两种情况下,参与者都产生了形容词-名词序列,但只有一种情况下,这些词形成了连贯的组合表示。该研究复制了之前的英语发现,研究表明,在计划描述有色物体的短语时,手语者和说话者都使用了LATL(左前颞叶)vmPFC区域,而在计划背景颜色加物体描述时则没有。这说明,组合的神经表征对理解和产生都有作用,也适用于不同的发音器(即口语和手语的发音器)。

 

句法:它隐藏在哪里?

目前的技术状况可以概括如下:

(1)在加工自然的、有意义的语言的过程中,神经信号(以目前可用的技术来测量)在两词范式和完整句子中都是由意义相关而不是句法结构支配的。这并不意味着句法不加工,但它确实使单独加工句法更加困难。

(2)当对与句子加工相关的大脑活动逐词进行句法结构测量建模时,这些模型可以可靠地预测几个区域的活动。然而,我们不知道这些结果在多大程度上是由纯粹的结构加工或组合语义加工驱动的。对于附加结构的每个元素,通常还会添加一个意义元素。分解结构与意义是自然语言成分研究的基础问题。

(3)当句法短语以一致的、可预测的速度呈现给听众时,即使在没有结构的物理线索的情况下,电生理反应也会显示出与这些结构的呈现速度相匹配的功率增加。也就是说,我们的大脑会注意短语。那么,脑节律跟踪的是句法还是语义组合?

这一问题有待进一步考察,但是这种有节奏的追踪已经被复制到一种没有语义的人工句法中,指向一种纯粹的结构起源。接下来,我们应该问,这些节奏是否也跟踪非语言的分块或分组(比如说无意义的语音组合)。这样的追踪表明,这些节奏要么反映了比组合语言操作更普遍的东西,要么表明语言组合操作与一般的组块过程具有共同的特征。不管怎样,这些节奏可能是理解过程中句法分析的线索。

 

理解更广泛的组合网络

除了LATLvmPFCLPTL(左后颞叶)之外,至少还有两个区域被认为是更广泛的组合网络的一部分:角回(AG)和左额下回(LIFG)(3)。在MEG测量过程中,AG在视觉词出现后约170ms时达到峰值,并对该词的参数变化敏感。例如,与不及物动词相比,及物动词的激活程度更高,这是对先前血流动力学研究的复制。考虑到来自该区域的强信号,未来研究应该能够描绘出该区域如何表示单个单词的组合潜力。

3:非句法组合加工的大脑网络的时空特征。时间轴展现了非句法加工过程中大脑区域激活的顺序。时间轴下的区域代表了句法加工的皮层位置的各种假设。

语法是知识,语义是过程?

作者认为,句法可能是大脑所“知道”的规则,而不是由大脑所进行构建的过程。也许使我们的神经元兴奋的组合步骤都是语义性的,而句法加工相当于将这些语义结构与我们储存的句法知识进行比较,因此,如果出现违反了,就会发现一些违反范式中常见的ERP成分(个人觉得作者的这个假设很有吸引力,因为句法的启动效应很弱,但违反效应很强,并且如何句法从底层开始构建,我们产出句子时是如何做到在那么短的时间内产出大量符合句法规则的句子,这显然应该是个高度自渡化的过程)。 

知识可能是具有生成规则的格式来创建结构或表示结构本身的。这种“语法是知识,语义是过程”的模式将使纯粹的句法组合在构建句子的增量组合步骤中变得不可测量。然而,句法知识仍然可以用来预测即将到来的语言,因此神经活动可以被所遇到的语言与预测匹配的程度所调节。这些类型的句法预测效应已经通过行为和神经测量被广泛地记录下来。总之,根据这个假设,自上而下的预测可能是句法上的或语义上的,但自下而上的组合将完全是语义上的。

然而,现在结论说句法结构不是大脑即时组合机制的一部分还为时过早。大多数必要的实验仍有待进行。例如,两个单词的短语可能太小,无法驱动句法节点。事实上,当形容词-名词组合以更复杂的形式嵌入到完整的句子时,与句法相关的后颞叶皮层显示出一种先前未被识别的效果,它反映的是结构,而不是意义。为了测试句法节点在启动之前是否需要一些最少的材料,研究应该逐步增加短语的大小——即使这样,区分句法和语义效应的困难仍然存在(在这方面的工作是一直以来的研究难题)。

展望

我们对句法和语义组合的神经生物学的理解正在进步。通过描述最小短语如何影响大脑,为我们理解更复杂的现象打下了基础。还可以帮助我们了解神经生物学中的最小成分是如何与更简单的加工相联系的,比如在没有语义结合的情况下将两个元素联系起来。计算机的发展提高了我们从数据中提取知识的能力。例如,可以将多元模式分析应用于时间分辨率高的电生理信号。语言的计算建模也将语言理论带到了句子加工认知神经科学的中心阶段,因为计算建模得益于语言理论提供的句子结构的广泛模型。因此,跨学科的协同作用开始了。尽管我们仍然不能理解大脑如何创造自然语言的意义,但前进的道路正变得越来越清晰。 

写在最后:

今天的文章和昨天的文章着眼点不同,但是可以看出本文所回答的一个问题可能是语言研究中最核心的问题,至少是核心问题之一,即:语义到底是如何通过语言中基本成分的组合在大脑中实现的?这个问题的解决依赖于我们对句法的理解,因为句法正是将这些基本单元组合和聚合的规则,也就是昨天文章中看到的Chomsky提出的“合并”(merge)操作。只是,本文提出了另一种观点,即语义的整合可能才是大脑所加工的,或者用文中的话说是大脑“do”的内容,而句法则像是Chomsky提出的那样,是“长”出来的,随着语言刺激的少量输入,茁壮成长起来的,但是它可能不像是Chomsky提出的那样,是编码和解码的生成和解构的过程,而是大脑中所“知道”的规则,是语言的“纲要”。这种新的思路可能会给你的研究带来更多的启发。


微信扫码或者长按选择识别关注思影

如对思影课程感兴趣也可微信号siyingyxf或18983979082咨询。觉得有帮助,给个转发,或许身边的朋友正需要。请直接点击下文文字即可浏览思影科技其他课程及数据处理服务,欢迎报名与咨询,目前全部课程均开放报名,报名后我们会第一时间联系,并保留名额。


更新通知:第二十八届磁共振脑影像基础班(重庆,已确定)



更新通知:第十届脑影像机器学习班(已确定)


更新通知:第十二届磁共振弥散张量成像数据处理班(已确定)



第六届任务态fMRI专题班(预报名,南京)






眼动数据处理班(预报名)

数据处理业务介绍:



招聘及产品: