情绪属性是音乐的重要属性之一，愉悦度是音乐的情绪属性中的重要组成部分。根据最近的研究推测，个体对于和弦的预测错误与愉悦度呈现出显著的正相关。即：个体听到的和弦与其预测的和弦存在不一致时，大脑会形成正向激励。然而，其具体的脑机制尚不清楚。本研究中假设和弦是影响愉悦度的重要因素，且大脑中存在固定的脑区对其进行编码，进而影响愉悦度的评分。本研究通过引入信息论中熵的概念对音乐的每个和弦的不确定性和惊讶程度进行了公式化的定义。随后，使用马尔可夫模型以和弦进程和音乐语料库为单位，学习得到音乐中每个和弦的不确定性和惊讶程度的值。随后，将在每个和弦进程中得到的和弦的不确定性和惊讶程度的值，以及和弦的基础声学信息作为解释变量，以被试对于音乐/和弦进程的愉悦度的评分作为响应变量，进行线性拟合。根据拟合得到的与音乐的愉悦度具有显著性的变量，进行第二步实验。
在第二步实验中，通过被试主动聆听音乐时，其对应的任务态功能磁共振脑区激活值的变化，寻找出与处理音乐/和弦进程中和弦的惊讶程度和不确定性相关的脑区。研究结果显示：与和弦相关的不确定性和惊讶程度共同决定了音乐的愉悦度，而杏仁核、海马和听觉皮层的激活与音乐/和弦进程中和弦的不确定和惊讶程度显著相关。同时，包含低不确定性和高惊讶程度和弦的音乐/和弦进程具有更高的愉悦度。这一研究结果对于（声音/音乐）美学神经机制的研究具有重要意义。本研究发表在著名杂志《Current Biology》上。
文献导读：
层级结构在音乐的情绪表达和情绪唤醒中起到重要作用，其是音乐美学的重要组成部分（语言中同样也存在层级结构）。在西方音乐中，层级结构的具体形式是调性和声。调性和声在是音乐中和弦之间相互关系的具体体现(可以把调性和声类比为语言中的句法关系，和弦类比为语言中的词汇)。同时，和弦进程是多个和弦有意义的组合，其在音乐中的意义等同于句子在语言中的意义。已有的研究表明，音乐的愉悦感是个体根据接收到的调性和声（和弦之间相互关系）的信息对接下来的和弦产生预测的结果，其过程与音乐期待有关。
本文包含两部分实验，第一部分主要引入信息论中熵的概念对音乐中和弦进程的不确定性和惊讶程度以概率的形式进行定义。然后选用马尔可夫无监督机器方法，在整个音乐库上学习获取整个音乐库中每个和弦具体的不确定性和惊讶程度的数值。随后，从整个语料库中随机选择30个和弦进程，对其进行声音信号处理，抹掉其在声学信息上的差异。然后将其作为听觉刺激材料，让被试和弦进程其进行愉悦度和唤醒程度的评分（在和弦水平和和弦进程水平）。并以和弦的不确定性、惊讶程度及和弦进程的基础声学信息等作为解释变量，以和弦进程的愉悦度作为响应变量，进行线性建模。线性建模的结果显示，和弦的不确定性、惊讶程度及其交互因素对和弦进程的愉悦度均具有显著的效果。为了进一步探索和弦的不确定性、惊讶程度及其交互因素是音乐情绪处理中的与大脑激活直接相关的因素，本研究在第二部分实验中引入了fMRI作为研究大脑处理音乐的工具。然后将和弦的不确定性、惊讶程度及其交互因素与大脑激活做二阶分析。研究结果显示，和弦的确定性和惊讶程度共同决定了音乐/和弦进程的愉悦度，而杏仁核、海马和听觉皮层的激活与音乐/和弦进程的不确定和惊讶程度显著相关。
实验过程
材料与方法：
刺激材料
从US Billboard（全美公告牌）选择1958-1991年期间最火的745首歌作为音乐语料库。为了排除音乐中声学、音乐学等因素对实验可能产生的影响，本研究使用声音信号处理的方法，只保留了音乐/和弦进程中与和弦相关的，并对音乐中的低级听觉属性进行了控制，并将处理后的和弦进程作为实验马尔可夫无监督学习的材料。从中随机选择30个和弦进程，总共包含1039个和弦作为实验研究中给予被试音乐/和弦进程刺激的材料。其中，每个和弦持续2.4s（较长的和弦持续时间可以提高具有低时间分辨率的任务态fMRI对大脑处理声音/音乐信息检测精度性）。
实验对象：
实验一：
在实验一部分，本研究招募39名（21名女性，20-28岁）具有不同音乐训练背景的人。并使用Gold-MSI(Goldsmiths Musical Sophistication Index)和BMRQ(Barcelona Music Reward Questionaire)对被试的音乐能力进行测量。其中Gold-MSI是对被试的音乐熟练度（General musical sophistication, musical training）进行测量；BMRQ是对被试的总体音乐奖励(Overall music reward)进行测量。所有的实验被试均为右利手、正常听力、视力或矫正视力正常。同时所有被试均无精神神经疾病史。
实验二：
在实验二中，本研究招募与实验一不同的另外40名(20名女性，21-30岁)来自不同音乐训练背景的人。并采用与实验一相同的心理行为量表（Gold-MSI和BMRQ）获得被试的音乐行为指标（音乐熟练度和总体音乐奖励）。随后使用单样本t检验或者Mann-Whitney U中位数检验确保被试的年龄和音乐行为数据无异常值（在音乐群体分类上，所有被试的均来自同一群体）。所有的实验被试均为右利手、正常听力、视力或矫正视力正常，同时无精神神经疾病史。
实验任务：
实验一：每轮实验开始前，先对无声的机械滑杆进行调零，然后让被试在聆听音乐/和弦进程的过程中对每个和弦的愉悦度和唤醒度进行评价（每个和弦产生一个愉悦度和唤醒度的点，最终得到两个关于愉悦度和唤醒度的时间序列（时序）数据），并在每个和弦进程结束后，被试根据要求在3s内完成该段和弦进程的愉悦度和唤醒度的评价（得到整个和弦进程的愉悦度和唤醒度）。在整个评分的过程中，为了避免被试提前准备，本研究将愉悦度和唤醒度评分出现的顺序设置为随机的,以此避免评分过程中，被试的准备效应（被试提前知道，即将出现的项目，进而对其在心理上做出准备）。
实验二：
实验过程
第二部分实验共分为5轮。每轮实验开始前，被试按照要求被试闭上眼睛。在随后10s间隔之后开始播放音乐/和弦进程。被试根据事先的要求主动去聆听音乐并注意第n+1个和弦与第n个和弦之间的关系。音乐/和弦进程播放结束后，播放1s的Sin波（C5=523.25）提示被试睁开眼睛。被试睁开眼睛后，根据要求在3s内完成对音乐愉悦度和唤醒度的评分。在第二部分实验中，每轮实验之间的区别在于实验中所有的音乐/和弦进程刺激不同，其余均一样。
实验数据分析：
实验一：
本研究使用移动中值滤波对愉悦程度评分的时序数据进行分析，获得每个和弦的愉悦度评分。随后将每个和弦的愉悦度设置为响应变量，将其不确定性、惊讶程度及其交互作用设置为解释变量。使用线性模型对数据进行拟合。 其中，不确定性和愉悦程度借用信号处理中信息熵的概念，将其定义为：
其中,ei 代表音乐/和弦进程中的每个和弦。Uncertainty代表的是前面的ei-1，ei-2，ei-3，...和弦对该和弦ei 的无法预测程度；Surprise代表的是该和弦ei 不可能出现的程度。然后使用基于马尔可夫链的PPM算法集成的IDyOM去学习每个和弦的具体分布（分别在和弦进程和整个音乐库的层面进行学习），并采用了10折的交叉验证去避免过拟合。进而求得该和弦ei 具体的不确定性和惊讶程度的值。
实验二：
在fMRI数据处理中，使用SPM12对实验二中采集的功能fMRI数据进行预处理，其预处理的具体步骤包括：
（1）.转换数据格式;(2).头动矫正;(3).功能相-结构相数据对齐;(4).原始空间重采样并归一化到MNI空间;(5).6*6*6.4mm FWHM高斯平滑核。
一阶分析：
使用线性模型在个体水平，以每个和弦进程中的所有和弦具体的Uncertainty和Surprise及其交互作用Interaction、和弦的具体声学信息、被试的对整个和弦进程的情绪、唤醒的评分作为解释变量，去拟合和弦进程的值。随后，每个和弦进程中的所有和弦的U,S,I及基础声学信息（解释变量）与HRF函数及其时间的偏导（响应变量）做卷积。然后将以上所有的变量与HRF取值做正交分解，以确定响应变量在主解释变量中的方差大小。在fMRI数据分析中，以六自由度变换参数作为协变量（去除头动影响）应用FAST自回归模型和128s的高通滤波（以溢出低频干扰）去除和弦进程的时序影响。
数据分析结果：
研究对象（n=39）连续使用一个机械滑块对39个和弦进程中的1039个和弦进行愉悦度和唤醒程度的评分。并以此为响应变量进行线性建模。建模结果显示，音乐/和弦进程的愉悦感不仅取决于引起的惊讶感，还取决于在听到之前预测和弦的不确定性。同时，本模型将基础的声学信息作为协变量，以消除声学信息对影响。使用满模型和空模型的对数似然比较作为个体具有显著固定效应的依据。
模型拟合效果：
A．双侧杏仁核、海马和听觉皮层的激活都受到I的影响；双侧听觉皮层同时也受到U、S的调节B．右侧伏隔核、左侧尾状核、辅助运动区仅仅受到U的调节
总结：
本研究通过引入信息论中熵的定义和基于马尔可夫的无监督机器学习的方法，为音乐期待效应在音乐情绪唤醒中的作用提供了直接的证据。同时，与个体内省有关的惊讶程度也对于音乐情绪唤醒起到直接作用。同时，已有的数据表明，音乐的不确定性和惊讶程度呈现一定的负相关，即：音乐的高惊讶程度伴随着低愉悦程度；音乐的低惊讶程度伴随着高愉悦程度。而这种愉悦度和惊讶程度相关关系与杏仁核、海马前部和听觉皮层有关。另一方面，已有的研究表明，不确定性和惊讶程度是大脑皮层信息传递中预测-编码模型的主要成分。音乐正是通过鼓励个体对其和弦产生预测并对预测产生核对来诱发情绪的。
编者注（一些便于理解的概念详解）：
音乐/语言的层级结构：以中文为例，在处理句子“绵羊吃草”时候，一般倾向于把先把“绵羊”组合在一起，形成一层。随后，组合在一起的“绵羊”（主语）和动词“吃”（谓语）、名词“草“（宾语）组合成为第二层。然后大脑再对组后成句子的那一层进行处理。但当出现句子组合异常（逻辑异常、语法异常）时，大脑会呈现出异常的响应。其中逻辑异常指的是，主语、谓语和宾语的语义搭配失常，例如：句子“羊吃狼”由于与常规的认知常识存在差异，所以属于逻辑异常；语法异常是指，词汇在句子中扮演的语法身份（例如，主语、谓语etc）不符合。
马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain，缩写为DTMC），为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定（一阶马尔可夫链，第n+1步的信息只决定于第n步的信息，而与其之前的信息无关），在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔可夫链作为实际过程的统计模型具有许多应用。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。另一方面，马尔可夫链可以延伸到二阶，三阶，甚至n-1阶。即第n+1步的信息与第n、n-1步骤有关（二阶马尔可夫链）或与第n、n-1、n-2步有关（三阶马尔可夫链）或与第n、n-1、…、2步有关（n-1阶马尔可夫链）
音乐的情绪属性：音乐具有情绪唤醒的作用，情绪相关的属性包括愉悦度、唤醒度、效价、控制感和倾向度。
广义线性模型中的交互作用：假设广义线性模型中，解释变量U和S均对响应变量Y产生影响，则需要考虑U和S的相互作用对于响应变量的影响。
响应变量与解释变量： 模型中的为响应变量，为解释变量。
单样本t检验：数据服从正态分布的假设前提下面，检验数据是否为群体之外的数据。
Mann-Whitney U中位数检验：一种非参数检验方法。数据不服从正态分布的情况下使用，其具体可对应参数统计中的单样本t、双样本t。
原文：
Uncertainty and surprise jointly predict musical pleasure and amygdala, hippocampus, and auditory cortex activity
VKM Cheung, PMC Harrison, L Meyer, MT Pearce… - Current Biology, 2019
https://doi.org/10.1016/j.cub.2019.09.067
微信扫码或者长按选择识别关注思影
如对思影课程感兴趣也可微信号siyingyxf或18983979082咨询。觉得有帮助，给个转发，或许身边的朋友正需要。请直接点击下文文字即可浏览思影科技其他课程及数据处理服务，欢迎报名与咨询，目前全部课程均开放报名，报名后我们会第一时间联系，并保留名额。
更新通知：第十届脑影像机器学习班（已确定）
磁共振脑影像结构班(预报名)
弥散磁共振成像数据处理提高班（预报名)
小动物磁共振脑影像数据处理班（预报名）
更新通知：第二十届脑电数据处理中级班（已确定）
脑电信号数据处理提高班（预报名）
眼动数据处理班（预报名）
近红外脑功能数据处理班（预报名）
数据处理业务介绍：
招聘及产品：
招聘：脑影像数据处理工程师（重庆&南京）
