作者 | 青暮
6月22日，北京智源大會(huì)舉行了認(rèn)知神經(jīng)基礎(chǔ)專題論壇，來(lái)自北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室的畢彥超教授、北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院的方方教授、北京師范大學(xué)心理學(xué)部的劉嘉教授、北京大學(xué)計(jì)算機(jī)系的吳思教授、中國(guó)科學(xué)院自動(dòng)化研究所的余山教授分別做了報(bào)告，共同探究認(rèn)知神經(jīng)科學(xué)能為AI帶來(lái)什么啟發(fā)。 第二位報(bào)告者是北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院院長(zhǎng)方方教授，題目為《人類注意力圖和功能》。方方教授在報(bào)告中討論了人腦注意的兩個(gè)重要屬性：注意力圖和動(dòng)態(tài)注意機(jī)制。注意力圖有兩種。注意顯著圖（Saliency map）源于自下而上的注意，注意優(yōu)先圖（Priority map）則結(jié)合了自上而下和自下而上的活動(dòng)，以及任務(wù)相關(guān)性。對(duì)多個(gè)物體的注意是交替性、節(jié)律性、非靜態(tài)的采樣。
以下是演講全文，AI科技評(píng)論做了不改變?cè)獾恼怼?/span>我們一般說(shuō)注意是對(duì)外界信息的一種選擇性加工。解釋注意最好的例子就是交替呈現(xiàn)以下兩張圖。它們之間有一個(gè)非常大的差別，如果不加注意就無(wú)法看出。
注意是認(rèn)知科學(xué)里最大的一個(gè)領(lǐng)域，每年有超過(guò)1萬(wàn)篇文章研究注意現(xiàn)象。Corbetta和Shulman在2002年描述了關(guān)于注意控制的神經(jīng)模型，總結(jié)出兩條注意通路。藍(lán)色區(qū)域表示背側(cè)額頂網(wǎng)絡(luò)，負(fù)責(zé)自上而下的注意控制。橙色區(qū)域表示腹側(cè)額頂網(wǎng)絡(luò)，負(fù)責(zé)刺激驅(qū)動(dòng)的注意控制。注意最主要的功能是調(diào)節(jié)感覺(jué)皮層的神經(jīng)活動(dòng)，Reynolds和Heeger描述了兩種典型方式。第一種是乘法縮放。對(duì)于一個(gè)方向選擇性神經(jīng)元，注意可以整體提高神經(jīng)元在各個(gè)方向上的反應(yīng)。如下圖左所示，不注意（藍(lán)線）和注意（紅線）之間的變換是一種乘法關(guān)系。第二種是銳化。注意可以增強(qiáng)神經(jīng)元對(duì)特定方向的反應(yīng)，讓神經(jīng)元對(duì)外界刺激的選擇性更強(qiáng)。這是注意的一些基本功能和神經(jīng)結(jié)構(gòu)。
三維世界投射到我們眼睛上就變成了二維世界，這個(gè)二維世界有非常多物體和細(xì)節(jié)。關(guān)于哪些東西更重要的空間分布，就叫注意力圖。它分為兩種：一種是注意顯著圖(Saliency map)，指自下而上的注意。例如一個(gè)非常奇怪的東西出現(xiàn)在視野中，就會(huì)自動(dòng)吸引你的注意。另一種叫注意優(yōu)先圖(Priority map)，則是我們整合自上而下的活動(dòng)和自下而上的活動(dòng)形成的注意力圖。做任務(wù)時(shí)的任務(wù)屬性也會(huì)影響注意放在何處。比如我正在做報(bào)告，那么我的注意會(huì)更多放在面前的計(jì)算機(jī)屏幕上。這兩種地圖如何產(chǎn)生，是我們所關(guān)注的問(wèn)題。關(guān)于Saliency map ，首先講最簡(jiǎn)單的自下而上的注意力圖。下圖左邊是一張海景圖，通過(guò)計(jì)算模型可以算出右邊的Saliency map。越亮的部分表示越有吸引力。
如何得到右圖？我們根據(jù)Itti和Koch在1998年提出的模型，計(jì)算一張圖片在不同尺度上顏色、亮度以及朝向的差異對(duì)比度，進(jìn)行多個(gè)尺度的整合，形成Saliency map。
有很多重要的文獻(xiàn)探討Saliency map在大腦什么地方產(chǎn)生。不同的結(jié)論包括在頂葉、前額葉眼區(qū)、上丘整合等等。但是我認(rèn)為視皮層V1區(qū)就可以充分解釋Saliency map。
為什么以前很多文章都說(shuō)注意在比較高級(jí)的頂葉、額葉等產(chǎn)生？一個(gè)可能的原因就是，以前的生命科學(xué)研究混淆了自上而下和自下而上的信號(hào)。如果我們要研究Saliency map，必須研究純粹的自下而上的刺激。怎么樣才能做到？我們用無(wú)意識(shí)的方法，在沒(méi)有任何自上而下的干擾下，實(shí)現(xiàn)研究自下而上的注意。實(shí)驗(yàn)示意圖如下?！笆帧笔菂⑴c者的注視點(diǎn)，四個(gè)“減號(hào)”是Saliency map的位置。它會(huì)顯著吸引我們的注意，而且經(jīng)過(guò)實(shí)驗(yàn)操縱后不會(huì)被意識(shí)到。我們改變“減號(hào)”的角度，將“減號(hào)”和“I”之間的夾角分別設(shè)為0度、15度、30度和90度。隨著夾角增加，它吸引注意的能力逐漸增強(qiáng)。
如何把這個(gè)刺激變得無(wú)意識(shí)？下圖是我們的實(shí)驗(yàn)流程。首先呈現(xiàn)線索圖片(Cue) 50ms，然后呈現(xiàn)掩蔽圖片(Mask) 100ms，然后呈現(xiàn)注視點(diǎn) 50ms，最后是探測(cè)任務(wù)，探測(cè)第四張圖十字下面兩個(gè)點(diǎn)的相對(duì)位置。由于線索僅僅呈現(xiàn)非常短的50ms，又緊跟著100ms的掩蔽圖片，所以被試完全不會(huì)意識(shí)到線索的存在。但是探測(cè)任務(wù)放在線索的顯著區(qū)，被試依然有較好的表現(xiàn)。任務(wù)放在對(duì)側(cè)的話，被試的表現(xiàn)就比較差。兩個(gè)條件的差別就代表自下而上的注意強(qiáng)度。
我們接著利用視皮層V1區(qū)神經(jīng)元的屬性構(gòu)建注意模型?？纯聪聢D的數(shù)據(jù)，隨著朝向傾斜角度增加，注意的吸引力也逐漸增強(qiáng)，跟計(jì)算模型吻合得非常好。我們發(fā)現(xiàn)Saliency map跟V1的神經(jīng)元活動(dòng)是有關(guān)系的。
從初級(jí)視覺(jué)層到頂葉，Saliency map的效果逐漸減小。最明顯的是V1區(qū)域，可以產(chǎn)生自下而上的注意。我們上面的研究基于人工刺激，下圖則基于自然場(chǎng)景。圖中的馬具有非常高的顯著度，甲殼蟲(chóng)具有較低的顯著度。他們?cè)诖竽X皮層誘發(fā)出的信號(hào)有沒(méi)有區(qū)別？
我們重復(fù)了這個(gè)行為學(xué)實(shí)驗(yàn)，發(fā)現(xiàn)馬確實(shí)可以誘發(fā)出更強(qiáng)的注意信號(hào)，甲殼蟲(chóng)則不可以。并且還是在V1區(qū)域展示了注意的分布，所以我們?cè)僖淮斡米匀粓?chǎng)景證明了Saliency map跟V1是相關(guān)的。基于這個(gè)生理學(xué)依據(jù)，我們構(gòu)建了一個(gè)動(dòng)態(tài)注意模型。這個(gè)模型的大致框架有三個(gè)組件：第一部分參考感覺(jué)反應(yīng)，模擬V1神經(jīng)元對(duì)自然場(chǎng)景做稀疏編碼；第二部分是中央凹圖像多分辨率金字塔方法。對(duì)于自然場(chǎng)景，如果盯住這個(gè)紅色十字注視點(diǎn)，編碼會(huì)非常清晰，但是對(duì)外圍的編碼就非常粗糙；第三部分模擬視覺(jué)工作記憶，注視一個(gè)場(chǎng)景后很難立刻再跳回去。
我們把這三個(gè)組件放在注意模型里，構(gòu)建了一個(gè)基于圖論的模型。這個(gè)動(dòng)態(tài)的注意模型將V1神經(jīng)元構(gòu)成網(wǎng)絡(luò)，用該網(wǎng)絡(luò)搜尋圖片上最富有信息的區(qū)域，然后跳到第二富有刺激信息的區(qū)域。下圖中最下方圖的紅線代表在自然場(chǎng)景里人類的眼球運(yùn)動(dòng)軌跡，中間是我們模型預(yù)測(cè)的軌跡。實(shí)驗(yàn)結(jié)果表明我們的模型和實(shí)際情況吻合得更好。
關(guān)于Priority map，回到那張海景圖，Saliency map是中間上圖。任務(wù)要求尋找圖上的小島，于是小島被高亮標(biāo)記。中間這兩張圖并在一起后，小島應(yīng)該仍是高亮的。Priority map整合了自下而上的顯著性，與當(dāng)前任務(wù)的相關(guān)性。
我們又用人的面孔進(jìn)行實(shí)驗(yàn)。面孔比人工刺激復(fù)雜得多，還具有倒立效應(yīng)，即同樣的臉倒過(guò)來(lái)后很難識(shí)別。這也非常影響Priority map在面孔上的分布。
我們給被試看正立臉、倒立臉和相位打亂的面孔，讓被試的眼睛在面孔上隨便跳動(dòng)。另外，掃描被試視皮層對(duì)面孔的反應(yīng)，得到行為學(xué)的數(shù)據(jù)和腦活動(dòng)的數(shù)據(jù)。
我們重構(gòu)出任意一個(gè)視皮層對(duì)面孔每一個(gè)部分的反應(yīng)。下圖右下角是模型重構(gòu)的反應(yīng)，顏色越暖說(shuō)明視皮層相應(yīng)區(qū)域?qū)γ婵椎姆磻?yīng)更強(qiáng)。右上角是行為學(xué)數(shù)據(jù)，我們第一眼看面孔時(shí)注視什么地方。顏色越暖說(shuō)明第一次著眼此處的概率越大，也就是該區(qū)域越容易吸引眼球。
下圖是這個(gè)實(shí)驗(yàn)最主要的結(jié)果。我們測(cè)量最左邊正臉和倒臉吸引眼球的程度，描述了視皮層V1、V2、V3區(qū)域?qū)φ樅偷鼓樂(lè)磻?yīng)的分布。
我們發(fā)現(xiàn)V2和V3對(duì)正臉的表征是最精確的，遠(yuǎn)遠(yuǎn)高于其他三種情況。V1對(duì)正臉和倒臉的反應(yīng)表征的精準(zhǔn)度都比較低，但是V2和V3對(duì)正臉表征的精準(zhǔn)度比對(duì)倒臉表征高很多。
總結(jié)一下就是，人類早期視皮層，從V1區(qū)域到V3區(qū)域，V1對(duì)Saliency map即自下而上的注意起到很好的表征作用，V2和V3則對(duì)Priority map即自上而下的、任務(wù)驅(qū)動(dòng)的注意起到很好的表征作用。過(guò)去關(guān)于注意采樣的大部分觀點(diǎn)認(rèn)為，我們一旦注意到一個(gè)物體，對(duì)它的注意是持續(xù)的、靜止的。但事實(shí)是不是這樣的？從現(xiàn)在的數(shù)據(jù)來(lái)看，不一定。另外一種觀點(diǎn)是有數(shù)據(jù)支持的，特別是同時(shí)注意兩個(gè)物體的時(shí)候。如下圖所示，一種理論提出注意把關(guān)注點(diǎn)分割為兩塊，同時(shí)關(guān)注藍(lán)色和黃色方塊，這是一種平行和穩(wěn)定的關(guān)系。另外一種理論認(rèn)為，注意在這兩個(gè)物體之間切換。我們希望用實(shí)驗(yàn)來(lái)提供進(jìn)一步證據(jù)。在我們的腦成像實(shí)驗(yàn)之前，行為學(xué)研究已經(jīng)發(fā)現(xiàn)，如果同時(shí)注意左右兩個(gè)物體，注意其實(shí)是左右切換的、順序的、周期性的交替采樣過(guò)程。我們的腦成像結(jié)果也證明，對(duì)多個(gè)物體的注意是交替性的、節(jié)律性的采樣，而不是一種靜態(tài)的過(guò)程。
下圖表示隨著不同的任務(wù)要求（100%注意A并且0%注意B、75%注意A并且25%注意B、50%注意A并且50%注意B），注意在不同的物體之間節(jié)律性分配。它不僅僅對(duì)靜態(tài)物體有用。對(duì)于動(dòng)態(tài)的物體，比如兩個(gè)運(yùn)動(dòng)的小球，同樣可以發(fā)現(xiàn)類似的節(jié)律性采樣過(guò)程。
上面講的是對(duì)于物體的采樣和對(duì)于空間的采樣，如果同時(shí)注意多個(gè)特征，采樣是怎么樣的過(guò)程呢？這個(gè)問(wèn)題相當(dāng)復(fù)雜。比如對(duì)于任何一個(gè)朝向、任何一個(gè)運(yùn)動(dòng)方向來(lái)說(shuō)，有很多神經(jīng)元同時(shí)進(jìn)行反應(yīng)，怎樣描述這種同時(shí)的反應(yīng)？我們做了一個(gè)腦磁實(shí)驗(yàn)，呈現(xiàn)一個(gè)刺激，測(cè)量腦磁信號(hào)。這些信號(hào)由大腦中不同朝向神經(jīng)元的不同通道反應(yīng)組合而成。然后我們用腦磁信號(hào)反解出每個(gè)通道的反應(yīng)。
實(shí)驗(yàn)表明，如果我們同時(shí)注意兩個(gè)特征，對(duì)這兩個(gè)特征的表征同樣是交替性的，而且是反相位的。無(wú)論是基于空間的注意、基于客體的注意，還是基于特征的注意，都不是靜態(tài)的過(guò)程，而是在不同的空間、客體和特征之間交替。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
