雷鋒網(wǎng) AI科技評(píng)論按，本文作者Harold Yue，首發(fā)于知乎專(zhuān)欄神經(jīng)科學(xué)和人工智能，雷鋒網(wǎng) AI科技評(píng)論獲其授權(quán)轉(zhuǎn)載。

這篇文章主要的工作算是機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)的結(jié)合工作，需要讀者在這兩個(gè)方向有一定的基礎(chǔ)。

另有科普版本，結(jié)構(gòu)更加清晰，不過(guò)刪減了很多內(nèi)容。科普版本如下：

用深度學(xué)習(xí)來(lái)解析夢(mèng)境中出現(xiàn)的物體 - 行為與認(rèn)知神經(jīng)科學(xué)

（https://zhuanlan.zhihu.com/p/27948255）

機(jī)器學(xué)習(xí)簡(jiǎn)介：機(jī)器學(xué)習(xí)算法是一類(lèi)從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。最近大火的深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)的一個(gè)分支，主要用基于人工神經(jīng)網(wǎng)絡(luò)的各種方法來(lái)實(shí)現(xiàn)目的，現(xiàn)在有很多變種，本文中使用的神經(jīng)網(wǎng)絡(luò)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）。

文章中神經(jīng)科學(xué)實(shí)驗(yàn)部分主要使用的信號(hào)讀取方法是功能磁共振( functional Magnetic Resonance Imaging，功能核磁共振)，主要原理是通過(guò)監(jiān)測(cè)腦區(qū)血流量的變化來(lái)間接測(cè)量腦區(qū)的活動(dòng)程度，當(dāng)一個(gè)腦區(qū)活動(dòng)程度增強(qiáng)的時(shí)候，相應(yīng)的血流量也會(huì)增加，為腦區(qū)輸送更多的氧氣，影響，以及排除廢物。功能磁共振的空間分辨率很高，但其時(shí)間分辨率比較有限，只能采集到2s 左右時(shí)間內(nèi)的平均活動(dòng)程度，同時(shí)對(duì)于神經(jīng)活動(dòng)的檢測(cè)有一定延時(shí)。

前一周去開(kāi)ASSC 的時(shí)候聽(tīng)到一個(gè)很有趣的工作，用深度學(xué)習(xí)來(lái)解析人類(lèi)夢(mèng)境中出現(xiàn)的物體類(lèi)別。我見(jiàn)到的為數(shù)不多融合深度學(xué)習(xí)和神經(jīng)科學(xué)的工作。回來(lái)之后翻了下相關(guān)文章，來(lái)在這分享下。

本文介紹的總體思路：

1. 證明視知覺(jué)和夢(mèng)境在視覺(jué)皮層上的神經(jīng)活動(dòng)有部分類(lèi)似的激活模式。[1]

2. 以正常視知覺(jué)為訓(xùn)練集訓(xùn)練一個(gè) Decoder，從被試的視覺(jué)皮層神經(jīng)活動(dòng)信號(hào)到最后的物體類(lèi)別。這里是分成兩部分，先從 fMRI 信號(hào)到特征空間，再?gòu)奶卣骺臻g用相關(guān)性分析的辦法推測(cè)物體類(lèi)別。[2]

3. 用這個(gè) Decoder 來(lái)預(yù)測(cè)夢(mèng)境中的物體類(lèi)別。[3]

4. 夾點(diǎn)私貨，用里面的數(shù)據(jù)來(lái)說(shuō)下視覺(jué)皮層和卷積神經(jīng)網(wǎng)絡(luò)底層的相似性，也算是解釋了為什么用卷積神經(jīng)網(wǎng)絡(luò)的效果要更好。

5. 最后我個(gè)人從一個(gè)認(rèn)知神經(jīng)科學(xué)研究生和一個(gè)機(jī)器學(xué)習(xí)初學(xué)者的角度來(lái)分析下這個(gè)工作。

前三點(diǎn)，對(duì)應(yīng)了他們組發(fā)的三篇文章。我們從頭開(kāi)始說(shuō)。 先是13年的一個(gè)工作Neural Decoding of Visual Imagery During Sleep.

實(shí)驗(yàn)部分：

實(shí)驗(yàn)過(guò)程中被試躺在核磁共振成像儀里面，在持續(xù)通過(guò)腦電圖(electroencephalogram, EEG)來(lái)檢測(cè)被試的睡眠狀態(tài)的同時(shí)掃描大腦活動(dòng)。在通過(guò)特定的腦電特征了解被試進(jìn)入夢(mèng)境狀態(tài)之后，會(huì)叫醒被試并讓其口頭描述夢(mèng)境內(nèi)容。（如下圖所示）

結(jié)果部分：

在夢(mèng)境實(shí)驗(yàn)之前，作者收集了被試們?cè)诳磮D片時(shí)候視覺(jué)皮層的Fmri信號(hào)，并基于此訓(xùn)練一個(gè)線(xiàn)性SVM（Support Vector Machine，支持向量機(jī)）分類(lèi)器。并用此分類(lèi)器嘗試解碼出被試在夢(mèng)境狀態(tài)下的看到的物體，這里作者使用的任務(wù)相對(duì)簡(jiǎn)單，是要在兩個(gè)物體類(lèi)別里面挑出正確的那一個(gè)。結(jié)果是預(yù)測(cè)準(zhǔn)確率大于50%，高于隨機(jī)水平，說(shuō)明視知覺(jué)和夢(mèng)境在視覺(jué)皮層有類(lèi)似的信息表征機(jī)制。

這個(gè)工作做的其實(shí)超前，在13年的時(shí)候大概是首次嘗試解析夢(mèng)境的工作，也是很早把機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)結(jié)合起來(lái)的工作，但是由于和今天的主題不是特別相關(guān)，所以只介紹了我需要的結(jié)果，至于具體用的思路和方法，在此略過(guò)，有興趣的同學(xué)，可以自行查找原文。[1]

接下來(lái)是重點(diǎn)，如何從被試看圖片的 fMRI 信號(hào)中解出物體類(lèi)別。

實(shí)驗(yàn)部分：

作者在此主要做了兩類(lèi)實(shí)驗(yàn)，一類(lèi)是正?？次矬w的圖片，另一類(lèi)是基于線(xiàn)索來(lái)想象物體的形象。

在看物體實(shí)驗(yàn)中，被試會(huì)被呈現(xiàn)不同的圖片，每張圖片9秒鐘。這里加了一個(gè)比較簡(jiǎn)單的小任務(wù)，當(dāng)出現(xiàn)的圖片和上一張出現(xiàn)的圖片相同的時(shí)候，被試需要做按鍵反應(yīng)。這里是為了讓被試的注意維持在圖片上。 第二類(lèi)是想象實(shí)驗(yàn)，在線(xiàn)索階段，會(huì)有1個(gè)目標(biāo)詞匯和49個(gè)干擾詞出現(xiàn)，在聽(tīng)到‘滴’聲之后，被試要閉上眼睛，想象目標(biāo)詞匯的形象。過(guò)了15s，聽(tīng)到‘滴’ 之后，睜眼，確認(rèn)想象的形象是目標(biāo)形象。 在實(shí)驗(yàn)進(jìn)行的過(guò)程中，會(huì)采集被試視覺(jué)皮層的fMRI信號(hào)。

從fMRI到物體類(lèi)別

接下來(lái)的數(shù)據(jù)分析工作，也就是從fMRI信號(hào)到物體類(lèi)別是分兩步走的，

第一步是fMRI 信號(hào)到特征空間。

作者在此用了一個(gè)8層預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)來(lái)做特征提取。在前七層中每層隨機(jī)選1000個(gè)神經(jīng)元，以及第八層的全部1000個(gè)神經(jīng)元，把一張圖片前向傳播過(guò)網(wǎng)絡(luò)后，這些神經(jīng)元的輸出作為特征。這樣每張圖片前向傳播之后，可以獲得一個(gè) 8層 * 1000 特征/層 的特征矩陣。

之后是被試用被試的fMRI信號(hào)來(lái)訓(xùn)練一系列Decoder，從被試的fMRI信號(hào)來(lái)擬合不同層中不同特征的值。來(lái)實(shí)現(xiàn)從fMRI信號(hào)到特征空間的轉(zhuǎn)換。

第二步是從特征空間到物體的類(lèi)別。

這里作者首先做的是，計(jì)算各個(gè)物體類(lèi)別的特征矩陣。他的做法是，每一個(gè)類(lèi)別下面所有圖片前向跑一遍網(wǎng)絡(luò)，把生成的所有的特征矩陣平均，得到一個(gè)物體類(lèi)別對(duì)應(yīng)的特征矩陣。

如果要計(jì)算上一步中，被試夢(mèng)境中解碼出來(lái)的特征矩陣具體對(duì)應(yīng)著哪個(gè)類(lèi)別的物體。這里做一個(gè)簡(jiǎn)單的相關(guān)，取相關(guān)系數(shù)最高的那個(gè)類(lèi)別為預(yù)測(cè)類(lèi)別。

結(jié)果：

這篇文章做出的結(jié)果不能說(shuō)很好，但是確實(shí)為這個(gè)領(lǐng)域的應(yīng)用提出了一個(gè)有趣的方向。

這張圖截取的是卷積神經(jīng)網(wǎng)絡(luò)部分預(yù)測(cè)準(zhǔn)確率。可以看到，在被試真正看到圖片的情況下，使用某些層的預(yù)測(cè)準(zhǔn)確率可以到達(dá)很高，超過(guò)90%，在直接用這個(gè)網(wǎng)絡(luò)遷移到想象情況下，也可以達(dá)到一個(gè)高于隨機(jī)猜測(cè)的準(zhǔn)確率。明顯看出，現(xiàn)有模型對(duì)于想象圖片的預(yù)測(cè)能力要差很多。其實(shí)想來(lái)有一定道理，第一就是，想象和直接看肯定有不同的底層視覺(jué)機(jī)制。第二就是模型是基于真正看圖片的情況來(lái)訓(xùn)練的，遷移到另外一個(gè)相似卻不完全相同的任務(wù)上表現(xiàn)表現(xiàn)自然會(huì)差一些。

解夢(mèng)的工作：

這篇文章是重點(diǎn)講的。再重點(diǎn)也不會(huì)逐字翻譯，我只會(huì)把整體的邏輯講通。喜歡這篇文章的同學(xué)們歡迎去看原文。[3]

這篇文章很巧妙的地方在于，他沒(méi)做實(shí)驗(yàn)，用的是第一篇文章的數(shù)據(jù)和第二篇文章的模型。

Single category feature decoding with averaged trials

夢(mèng)境中單物體類(lèi)別的識(shí)別。

這里用的是書(shū)的例子，被試在做夢(mèng)的時(shí)候，可能會(huì)在多個(gè)夢(mèng)境中都出現(xiàn)書(shū)這個(gè)物體，作者把這幾個(gè)夢(mèng)境對(duì)應(yīng)的fMRI信號(hào)加起來(lái)做平均，然后通過(guò)文章2中訓(xùn)練處的Decoder 來(lái)預(yù)測(cè)出當(dāng)前夢(mèng)境的特征矩陣，之后和書(shū)這個(gè)類(lèi)別的特征矩陣做相關(guān)。

結(jié)果顯示，高級(jí)腦區(qū)和神經(jīng)網(wǎng)絡(luò)的高層對(duì)于物體識(shí)別的效果比較好，當(dāng)他們兩結(jié)合在一起時(shí)候產(chǎn)生的效果最好。

Multi-category feature decoding with individual trials

當(dāng)然，一個(gè)夢(mèng)境里面只出現(xiàn)書(shū)也不現(xiàn)實(shí)，大家都有這樣的經(jīng)歷，夢(mèng)境更多是一整個(gè)場(chǎng)景，會(huì)出現(xiàn)多個(gè)物體，如上圖，這個(gè)夢(mèng)境中，除了書(shū)還有一個(gè)男人和食物。所以作者也做了這個(gè)實(shí)驗(yàn)，單個(gè)夢(mèng)境里面多物體的識(shí)別。用的是單個(gè)夢(mèng)境對(duì)應(yīng)fMRI信號(hào)Decode出來(lái)的特征矩陣來(lái)和被試報(bào)告的所有類(lèi)別的特征矩陣的平均矩陣做相關(guān)比較。這個(gè)預(yù)測(cè)結(jié)果更差了，但是從趨勢(shì)上和上一個(gè)實(shí)驗(yàn)類(lèi)似。高級(jí)腦區(qū)和網(wǎng)絡(luò)的高層有更好的預(yù)測(cè)能力。

最后一個(gè)實(shí)驗(yàn)，其實(shí)是重現(xiàn)了文章1中最后的實(shí)驗(yàn)，在兩個(gè)物體類(lèi)別中找到真正在夢(mèng)境中出現(xiàn)的那個(gè)類(lèi)別。用的方法也是特征矩陣的相關(guān)。準(zhǔn)確率大大高于第一篇文章基于SVM（支持向量機(jī)）的結(jié)果。

這里也可以看到的是，看到物體實(shí)驗(yàn)的結(jié)果在神經(jīng)網(wǎng)絡(luò)的中間層（4,5,6層）表現(xiàn)比較好，到最后層反倒有一個(gè)下降的趨勢(shì)，這個(gè)趨勢(shì)在想象的結(jié)果中也有體現(xiàn)。對(duì)于夢(mèng)境這個(gè)實(shí)驗(yàn)，雖然預(yù)測(cè)效果同樣大于隨機(jī)猜測(cè)，但是在7層出現(xiàn)了一個(gè)下降而又在8層回升的現(xiàn)象，模式與看圖片和想圖片的模式不符。暗示夢(mèng)境的神經(jīng)機(jī)制和視知覺(jué)雖然有一定相似性，但是具體的機(jī)制還存在一定的差異。

夾帶私貨。 用這個(gè)文章的數(shù)據(jù)來(lái)簡(jiǎn)要討論下卷積神經(jīng)網(wǎng)絡(luò)和人類(lèi)視覺(jué)皮層的相似性。而這個(gè)相似性也是我寫(xiě)這篇文章的原因之一。

Image feature decoding and the homology of CNN and the human brain.

這個(gè)圖出現(xiàn)在第二篇文章之中。a 是預(yù)測(cè)的特征矩陣不同層和實(shí)際的特征值的對(duì)比，有一定的重合，說(shuō)明Decoder 確實(shí)在一定程度上學(xué)到了 從fMRI信號(hào)到卷積神經(jīng)網(wǎng)絡(luò)不同層特征的映射。B圖是用不同視覺(jué)皮層預(yù)測(cè)出來(lái)的feature value 和 實(shí)際的feature value 的比較。這里比較有趣的是，低級(jí)的視覺(jué)皮層，如V1，V2，V3 在擬合低層卷積神經(jīng)網(wǎng)絡(luò) 的時(shí)候效果相對(duì)稍好，而高級(jí)視覺(jué)皮層（FFA ( fusiform face area,梭狀回面孔識(shí)別區(qū)，神經(jīng)科學(xué)研究發(fā)現(xiàn)主要參與人臉識(shí)別),PPA（Parahippocampal place area，神經(jīng)科學(xué)發(fā)現(xiàn)主要參與場(chǎng)景識(shí)別））在擬合高層卷積神經(jīng)網(wǎng)絡(luò)的時(shí)候效果相對(duì)稍好。

Preferred images and weight distributions for CNN layers.

在神經(jīng)科學(xué)領(lǐng)域，有類(lèi)似的研究，證明 FFA，PPA 這種相對(duì)高級(jí)的皮層，會(huì)對(duì)更復(fù)雜的視覺(jué)刺激有比較強(qiáng)烈的反應(yīng)，如FFA，主要對(duì)人臉?lè)磻?yīng)，PPA 對(duì)物體，而底層皮層，如V1，V2，V3 更多的對(duì)底層視覺(jué)元素反應(yīng)，如不同方向的線(xiàn)以及顏色等等。作者用一種 Activation Maximization 的方法來(lái)生成更能刺激相應(yīng)層的圖片，并用這些圖片來(lái)給被試看，并用這些數(shù)據(jù)的fMRI來(lái)生成特征矩陣。發(fā)現(xiàn)了類(lèi)似的現(xiàn)象。人越高級(jí)的皮層，擬合的結(jié)果對(duì)應(yīng)高級(jí)卷積層的效果越好。

這暗示著卷積神經(jīng)網(wǎng)絡(luò)和人類(lèi)視覺(jué)皮層有一定的相似性，低級(jí)主管局部特征，高層主管語(yǔ)義特征。

整體文章就完結(jié)了?？赡苡行┡笥延X(jué)得看的一頭霧水，我在這重新整理下行文邏輯。

1.證明視知覺(jué)和夢(mèng)境在視覺(jué)皮層上的神經(jīng)活動(dòng)有部分類(lèi)似的 pattern。

2.以正常視知覺(jué)為訓(xùn)練集訓(xùn)練一個(gè) Decoder，從被試的視覺(jué)皮層神經(jīng)活動(dòng)信號(hào)到最后的物體類(lèi)別。這里是分成兩部分，先從 fMRI 信號(hào)到特征空間，再?gòu)奶卣骺臻g用相關(guān)性分析的辦法推測(cè)物體類(lèi)別。

3.用這個(gè) Decoder 來(lái)預(yù)測(cè)夢(mèng)境中的物體類(lèi)別。

4. 夾點(diǎn)私貨，用里面的數(shù)據(jù)來(lái)說(shuō)下 視覺(jué)皮層和 卷積神經(jīng)網(wǎng)絡(luò)底層的相似性，也算是解釋了 為什么用卷積神經(jīng)網(wǎng)絡(luò)的效果要更好。

5. 最后我個(gè)人從一個(gè)認(rèn)知神經(jīng)科學(xué)研究生和一個(gè)機(jī)器學(xué)習(xí)初學(xué)者的角度來(lái)分析下這個(gè)工作。個(gè)人對(duì)一系列文章的評(píng)價(jià)：

很有趣的工作，13年的時(shí)候，第一次用fMRI +機(jī)器學(xué)習(xí)技術(shù)嘗試解析夢(mèng)境，15年的時(shí)候，能做到以一定的準(zhǔn)確程度從被試的fMRI信號(hào)中成功解析看到的物體，從這兩點(diǎn)來(lái)看，是非常有開(kāi)創(chuàng)性的工作。除此之外，關(guān)于卷積神經(jīng)網(wǎng)絡(luò) 和相關(guān)腦區(qū)的比較也是比較有趣的工作，一定程度上說(shuō)明了卷積神經(jīng)網(wǎng)絡(luò)和人類(lèi)視覺(jué)皮層的相似性。

作為一個(gè)認(rèn)知神經(jīng)科學(xué)研究生，我認(rèn)為這幾個(gè)實(shí)驗(yàn)做得挺好的，簡(jiǎn)單，但是十分有效，如果說(shuō)有什么改進(jìn)的話(huà)，就是如果能來(lái)和我們所合作，用7T更高分辨率來(lái)試一下是不是會(huì)更好啊，還有就是最新的一些序列可能能做到更好的結(jié)果。但是相信作者也是有一些權(quán)衡的，不止要考慮分辨率，還要考慮SNR， 尤其是夢(mèng)境里面，噪音也需要注意一下。

作為一個(gè)機(jī)器學(xué)習(xí)方向初學(xué)者來(lái)說(shuō)，我個(gè)人認(rèn)為，可以改進(jìn)的地方還是有一些的，主要集中在模型部分。 這個(gè)8層神經(jīng)網(wǎng)絡(luò)如果用一些更先進(jìn)的模型，會(huì)不會(huì)有一些更好的效果。還有特征矩陣做平均，卷積神經(jīng)網(wǎng)絡(luò)在低層只是能對(duì)簡(jiǎn)單特征進(jìn)行反應(yīng)，一個(gè)物體的不同面的局部特征差異會(huì)比較大，這樣做平均的結(jié)果，會(huì)導(dǎo)致實(shí)際的預(yù)測(cè)能力比較差。個(gè)人覺(jué)得或許一個(gè)好一些的方法是做繼續(xù)前向，最后得出類(lèi)別之后來(lái)做投票。除此之外，我個(gè)人還有一些其他想法，想來(lái)用我這邊的一些東西來(lái)試著實(shí)現(xiàn)下。如果有一樣對(duì)此有興趣的同學(xué)，歡迎評(píng)論區(qū)/私信討論。

行為與認(rèn)知神經(jīng)科學(xué) 專(zhuān)欄的編輯亦有幫助。

參考文獻(xiàn)：

本文使用的全部圖片都來(lái)基于參考文獻(xiàn)中的figure，做了適當(dāng)裁剪和縮放。

[1] Horikawa T, Tamaki M, Miyawaki Y, et al. Neural decoding of visualimagery during sleep[J]. Science, 2013, 340(6132): 639-642.

[2] Horikawa T, Kamitani Y. Generic decoding of seen and imagined objectsusing hierarchical visual features[J]. arXiv preprint arXiv:1510.06479, 2015.

[3] Horikawa T, Kamitani Y. Hierarchical Neural Representation of DreamedObjects Revealed by Brain Decoding with Deep Neural Network Features[J].Frontiers in computational neuroscience, 2017, 11.         

雷鋒網(wǎng) AI科技評(píng)論

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。