作者 | 王少楠、張家俊

語(yǔ)義和語(yǔ)法是自然語(yǔ)言中最重要的特征。已有神經(jīng)影像學(xué)的研究證明大腦處理語(yǔ)義和語(yǔ)法的神經(jīng)基礎(chǔ)是不同的，但是目前關(guān)于自然語(yǔ)言中語(yǔ)義和語(yǔ)法是否在大腦中分開(kāi)編碼以及具體編碼的腦區(qū)并沒(méi)有一致的結(jié)論。

由于大腦語(yǔ)言處理過(guò)程十分復(fù)雜，傳統(tǒng)認(rèn)知神經(jīng)科學(xué)使用人工設(shè)計(jì)的語(yǔ)料來(lái)收集神經(jīng)影像數(shù)據(jù)進(jìn)而研究這個(gè)問(wèn)題。由于人工設(shè)計(jì)的語(yǔ)料脫離了人類通常的語(yǔ)言理解環(huán)境，結(jié)論無(wú)法泛化到實(shí)際語(yǔ)言場(chǎng)景中，另外受控刺激會(huì)引入語(yǔ)言理解之外的因素，因而無(wú)法得出人腦在自然語(yǔ)言理解情況下語(yǔ)義和語(yǔ)法表征的結(jié)論。

為了解決上述問(wèn)題，我們提出了一種利用解糾纏的計(jì)算模型特征研究人腦對(duì)應(yīng)表征的框架，可以適用于任何自然語(yǔ)言刺激實(shí)驗(yàn)中。針對(duì)大腦語(yǔ)義和語(yǔ)法表征的問(wèn)題，我們利用計(jì)算模型將句子中的語(yǔ)義和語(yǔ)法特征區(qū)分開(kāi)，使用分離的語(yǔ)義和語(yǔ)法特征來(lái)研究大腦對(duì)應(yīng)的神經(jīng)基礎(chǔ)。

圖1基于解糾纏特征的人腦表征研究的計(jì)算框架

論文方法

針對(duì)上述問(wèn)題，中科院自動(dòng)化所自然語(yǔ)言處理組王少楠助理研究員、張家俊研究員、宗成慶研究員和中科院心理所林楠副研究員合作提出了一種利用解糾纏的計(jì)算模型特征研究人腦對(duì)應(yīng)表征的框架，用于研究人腦對(duì)應(yīng)語(yǔ)義和語(yǔ)法的表征。

如圖1所示，該框架分為兩個(gè)部分，首先構(gòu)造解糾纏的特征表示模型，接著用分離的特征表示向量在大腦激活數(shù)據(jù)中尋找對(duì)應(yīng)特征最相關(guān)的腦區(qū)。具體來(lái)說(shuō)，我們提出一種解糾纏的特征表示模型（DFRM）。如圖2所示，該模型屬于雙通道的變分自編碼器，利用兩個(gè)隱含變量分別表示語(yǔ)義特征變量和語(yǔ)法特征變量。具體使用詞向量平均編碼器來(lái)抽取句子中的語(yǔ)義特征，利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）來(lái)抽取句子中的語(yǔ)法特征，接著通過(guò)令語(yǔ)義變量學(xué)習(xí)區(qū)分兩個(gè)句子是否含義相同，令語(yǔ)法變量學(xué)習(xí)區(qū)分兩個(gè)句子是否語(yǔ)法相同的目標(biāo)函數(shù)，使語(yǔ)義變量積累語(yǔ)義信息，語(yǔ)法變量積累語(yǔ)法信息。

該模型通過(guò)上述目標(biāo)函數(shù)以及變分自編碼器的重構(gòu)誤差學(xué)習(xí)語(yǔ)義和語(yǔ)法變量的分布形式，最終該模型可以用語(yǔ)義變量為每個(gè)句子生成語(yǔ)義向量，用語(yǔ)法變量為每個(gè)句子生成語(yǔ)法向量。

 

圖 2 解糾纏特征表示模型

利用上述語(yǔ)義向量和語(yǔ)法向量，通過(guò)神經(jīng)編碼技術(shù)，我們可以研究大腦對(duì)應(yīng)的語(yǔ)義和語(yǔ)法表征。具體來(lái)說(shuō)，通過(guò)上述計(jì)算模型可以得到每個(gè)句子的語(yǔ)義向量和語(yǔ)法向量，利用所有句子中每?jī)蓚€(gè)句子求余弦相似性可以得到句子之間的語(yǔ)義相似度矩陣和語(yǔ)法相似度矩陣。同樣的，對(duì)于大腦來(lái)說(shuō)，每個(gè)腦區(qū)對(duì)每個(gè)句子都有一系列激活數(shù)值，對(duì)每?jī)蓚€(gè)句子間的激活向量求余弦相似性可以得到每個(gè)腦區(qū)的句子理解相似度矩陣。最后利用計(jì)算模型得到的語(yǔ)義相似性矩陣和語(yǔ)法相似性矩陣分別與每個(gè)腦區(qū)的相似性矩陣做相關(guān)性分析，即可以得到與語(yǔ)義最相關(guān)的腦區(qū)和與語(yǔ)法最相關(guān)的腦區(qū)。

實(shí)驗(yàn)結(jié)果

表1給出了不同模型在語(yǔ)義和語(yǔ)法任務(wù)上的不同表現(xiàn)。實(shí)驗(yàn)結(jié)果表明，我們提出的解糾纏特征表示模型（DFRM）可以最大限度的區(qū)分句子中語(yǔ)義和語(yǔ)法信息，在語(yǔ)義和語(yǔ)法相似性數(shù)據(jù)集上取得了最好的結(jié)果。

表1不同模型在多個(gè)語(yǔ)言對(duì)上的實(shí)驗(yàn)結(jié)果

如圖3和圖4所示，將上述語(yǔ)義和語(yǔ)法向量應(yīng)用于兩個(gè)fMRI句子理解數(shù)據(jù)集上，我們發(fā)現(xiàn)語(yǔ)義表征比語(yǔ)法表征在大腦中各個(gè)區(qū)域的激活更加穩(wěn)定，包括默認(rèn)網(wǎng)絡(luò)(default-model network)，額頂葉(frontoparietal)，視覺(jué)網(wǎng)絡(luò)(visual networks)等。語(yǔ)義和語(yǔ)法的大腦表征在很大程度上重疊，也有少數(shù)腦區(qū)僅對(duì)一個(gè)腦區(qū)敏感。例如，部分額葉(frontal)和顳葉(temporal)區(qū)域是語(yǔ)義特征所特有的。部分右上額葉(right superior frontal)和右下頂葉(rightinferior parietal)區(qū)域是語(yǔ)法特有的。

圖3 語(yǔ)義語(yǔ)法向量與大腦fMRI數(shù)據(jù)的相似性編碼分析結(jié)果（數(shù)據(jù)集1）

圖4 語(yǔ)義語(yǔ)法向量與大腦fMRI數(shù)據(jù)的相似性編碼分析結(jié)果（數(shù)據(jù)集2）

這項(xiàng)工作的主要貢獻(xiàn)在于：

• 提出了一種利用計(jì)算模型研究大腦中不同語(yǔ)言屬性如何表征的框架。除了研究人腦語(yǔ)義語(yǔ)法的表征之外，也可以用來(lái)研究語(yǔ)言中的其他屬性如視覺(jué)、語(yǔ)音和情緒等。

• 提出一種解糾纏的特征表示模型，可以在一定程度上分離句子中的語(yǔ)義和語(yǔ)法信息，為每個(gè)句子生成一個(gè)語(yǔ)義向量和一個(gè)語(yǔ)法向量。

• 實(shí)驗(yàn)結(jié)果從計(jì)算的角度為大腦語(yǔ)義和語(yǔ)法表征機(jī)制提供了新的證據(jù)，證實(shí)并擴(kuò)展了已有認(rèn)知神經(jīng)科學(xué)的發(fā)現(xiàn)，表明了利用自然語(yǔ)言處理模型可以幫助我們研究腦大腦語(yǔ)言理解機(jī)理。

相關(guān)細(xì)節(jié)可參考發(fā)表于人工智能頂級(jí)學(xué)術(shù)會(huì)議AAAI 2020的論文：

Shaonan Wang, JiajunZhang, Nan Lin and Chengqing Zong. Probing Brain Activation Patterns byDissociating Semantics and Syntax in Sentences. The Thirdy-Fourth AAAIConference on Artificial Intelligence, Feb. 7-12, 2020, New York, USA.

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。雷鋒網(wǎng) 雷鋒網(wǎng) 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。