0
| 本文作者： 叢末 | 2020-01-06 10:26 |
作者 | 王少楠、張家俊
語義和語法是自然語言中最重要的特征。已有神經(jīng)影像學(xué)的研究證明大腦處理語義和語法的神經(jīng)基礎(chǔ)是不同的，但是目前關(guān)于自然語言中語義和語法是否在大腦中分開編碼以及具體編碼的腦區(qū)并沒有一致的結(jié)論。
由于大腦語言處理過程十分復(fù)雜，傳統(tǒng)認(rèn)知神經(jīng)科學(xué)使用人工設(shè)計(jì)的語料來收集神經(jīng)影像數(shù)據(jù)進(jìn)而研究這個(gè)問題。由于人工設(shè)計(jì)的語料脫離了人類通常的語言理解環(huán)境，結(jié)論無法泛化到實(shí)際語言場景中，另外受控刺激會(huì)引入語言理解之外的因素，因而無法得出人腦在自然語言理解情況下語義和語法表征的結(jié)論。
為了解決上述問題，我們提出了一種利用解糾纏的計(jì)算模型特征研究人腦對應(yīng)表征的框架，可以適用于任何自然語言刺激實(shí)驗(yàn)中。針對大腦語義和語法表征的問題，我們利用計(jì)算模型將句子中的語義和語法特征區(qū)分開，使用分離的語義和語法特征來研究大腦對應(yīng)的神經(jīng)基礎(chǔ)。
圖1基于解糾纏特征的人腦表征研究的計(jì)算框架
針對上述問題，中科院自動(dòng)化所自然語言處理組王少楠助理研究員、張家俊研究員、宗成慶研究員和中科院心理所林楠副研究員合作提出了一種利用解糾纏的計(jì)算模型特征研究人腦對應(yīng)表征的框架，用于研究人腦對應(yīng)語義和語法的表征。
如圖1所示，該框架分為兩個(gè)部分，首先構(gòu)造解糾纏的特征表示模型，接著用分離的特征表示向量在大腦激活數(shù)據(jù)中尋找對應(yīng)特征最相關(guān)的腦區(qū)。具體來說，我們提出一種解糾纏的特征表示模型（DFRM）。如圖2所示，該模型屬于雙通道的變分自編碼器，利用兩個(gè)隱含變量分別表示語義特征變量和語法特征變量。具體使用詞向量平均編碼器來抽取句子中的語義特征，利用長短時(shí)記憶網(wǎng)絡(luò)（LSTM）來抽取句子中的語法特征，接著通過令語義變量學(xué)習(xí)區(qū)分兩個(gè)句子是否含義相同，令語法變量學(xué)習(xí)區(qū)分兩個(gè)句子是否語法相同的目標(biāo)函數(shù)，使語義變量積累語義信息，語法變量積累語法信息。
該模型通過上述目標(biāo)函數(shù)以及變分自編碼器的重構(gòu)誤差學(xué)習(xí)語義和語法變量的分布形式，最終該模型可以用語義變量為每個(gè)句子生成語義向量，用語法變量為每個(gè)句子生成語法向量。
圖 2 解糾纏特征表示模型
利用上述語義向量和語法向量，通過神經(jīng)編碼技術(shù)，我們可以研究大腦對應(yīng)的語義和語法表征。具體來說，通過上述計(jì)算模型可以得到每個(gè)句子的語義向量和語法向量，利用所有句子中每兩個(gè)句子求余弦相似性可以得到句子之間的語義相似度矩陣和語法相似度矩陣。同樣的，對于大腦來說，每個(gè)腦區(qū)對每個(gè)句子都有一系列激活數(shù)值，對每兩個(gè)句子間的激活向量求余弦相似性可以得到每個(gè)腦區(qū)的句子理解相似度矩陣。最后利用計(jì)算模型得到的語義相似性矩陣和語法相似性矩陣分別與每個(gè)腦區(qū)的相似性矩陣做相關(guān)性分析，即可以得到與語義最相關(guān)的腦區(qū)和與語法最相關(guān)的腦區(qū)。
表1給出了不同模型在語義和語法任務(wù)上的不同表現(xiàn)。實(shí)驗(yàn)結(jié)果表明，我們提出的解糾纏特征表示模型（DFRM）可以最大限度的區(qū)分句子中語義和語法信息，在語義和語法相似性數(shù)據(jù)集上取得了最好的結(jié)果。
表1不同模型在多個(gè)語言對上的實(shí)驗(yàn)結(jié)果
如圖3和圖4所示，將上述語義和語法向量應(yīng)用于兩個(gè)fMRI句子理解數(shù)據(jù)集上，我們發(fā)現(xiàn)語義表征比語法表征在大腦中各個(gè)區(qū)域的激活更加穩(wěn)定，包括默認(rèn)網(wǎng)絡(luò)(default-model network)，額頂葉(frontoparietal)，視覺網(wǎng)絡(luò)(visual networks)等。語義和語法的大腦表征在很大程度上重疊，也有少數(shù)腦區(qū)僅對一個(gè)腦區(qū)敏感。例如，部分額葉(frontal)和顳葉(temporal)區(qū)域是語義特征所特有的。部分右上額葉(right superior frontal)和右下頂葉(rightinferior parietal)區(qū)域是語法特有的。
圖3 語義語法向量與大腦fMRI數(shù)據(jù)的相似性編碼分析結(jié)果（數(shù)據(jù)集1）
圖4 語義語法向量與大腦fMRI數(shù)據(jù)的相似性編碼分析結(jié)果（數(shù)據(jù)集2）
這項(xiàng)工作的主要貢獻(xiàn)在于：
提出了一種利用計(jì)算模型研究大腦中不同語言屬性如何表征的框架。除了研究人腦語義語法的表征之外，也可以用來研究語言中的其他屬性如視覺、語音和情緒等。
提出一種解糾纏的特征表示模型，可以在一定程度上分離句子中的語義和語法信息，為每個(gè)句子生成一個(gè)語義向量和一個(gè)語法向量。
實(shí)驗(yàn)結(jié)果從計(jì)算的角度為大腦語義和語法表征機(jī)制提供了新的證據(jù)，證實(shí)并擴(kuò)展了已有認(rèn)知神經(jīng)科學(xué)的發(fā)現(xiàn)，表明了利用自然語言處理模型可以幫助我們研究腦大腦語言理解機(jī)理。
相關(guān)細(xì)節(jié)可參考發(fā)表于人工智能頂級學(xué)術(shù)會(huì)議AAAI 2020的論文：
Shaonan Wang, JiajunZhang, Nan Lin and Chengqing Zong. Probing Brain Activation Patterns byDissociating Semantics and Syntax in Sentences. The Thirdy-Fourth AAAIConference on Artificial Intelligence, Feb. 7-12, 2020, New York, USA.
雷鋒網(wǎng) AI 科技評論報(bào)道。雷鋒網(wǎng) 雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
