作者 | 青暮
6月22日，北京智源大會舉行了認知神經基礎專題論壇，來自北京師范大學認知神經科學與學習國家重點實驗室的畢彥超教授、北京大學心理與認知科學學院的方方教授、北京師范大學心理學部的劉嘉教授、北京大學計算機系的吳思教授、中國科學院自動化研究所的余山教授分別做了報告，共同探究認知神經科學能為AI帶來什么啟發(fā)。 第二位報告者是北京大學心理與認知科學學院院長方方教授，題目為《人類注意力圖和功能》。方方教授在報告中討論了人腦注意的兩個重要屬性：注意力圖和動態(tài)注意機制。注意力圖有兩種。注意顯著圖（Saliency map）源于自下而上的注意，注意優(yōu)先圖（Priority map）則結合了自上而下和自下而上的活動，以及任務相關性。對多個物體的注意是交替性、節(jié)律性、非靜態(tài)的采樣。
以下是演講全文，AI科技評論做了不改變原意的整理。我們一般說注意是對外界信息的一種選擇性加工。解釋注意最好的例子就是交替呈現(xiàn)以下兩張圖。它們之間有一個非常大的差別，如果不加注意就無法看出。
注意是認知科學里最大的一個領域，每年有超過1萬篇文章研究注意現(xiàn)象。Corbetta和Shulman在2002年描述了關于注意控制的神經模型，總結出兩條注意通路。藍色區(qū)域表示背側額頂網(wǎng)絡，負責自上而下的注意控制。橙色區(qū)域表示腹側額頂網(wǎng)絡，負責刺激驅動的注意控制。注意最主要的功能是調節(jié)感覺皮層的神經活動，Reynolds和Heeger描述了兩種典型方式。第一種是乘法縮放。對于一個方向選擇性神經元，注意可以整體提高神經元在各個方向上的反應。如下圖左所示，不注意（藍線）和注意（紅線）之間的變換是一種乘法關系。第二種是銳化。注意可以增強神經元對特定方向的反應，讓神經元對外界刺激的選擇性更強。這是注意的一些基本功能和神經結構。
三維世界投射到我們眼睛上就變成了二維世界，這個二維世界有非常多物體和細節(jié)。關于哪些東西更重要的空間分布，就叫注意力圖。它分為兩種：一種是注意顯著圖(Saliency map)，指自下而上的注意。例如一個非常奇怪的東西出現(xiàn)在視野中，就會自動吸引你的注意。另一種叫注意優(yōu)先圖(Priority map)，則是我們整合自上而下的活動和自下而上的活動形成的注意力圖。做任務時的任務屬性也會影響注意放在何處。比如我正在做報告，那么我的注意會更多放在面前的計算機屏幕上。這兩種地圖如何產生，是我們所關注的問題。關于Saliency map ，首先講最簡單的自下而上的注意力圖。下圖左邊是一張海景圖，通過計算模型可以算出右邊的Saliency map。越亮的部分表示越有吸引力。
如何得到右圖？我們根據(jù)Itti和Koch在1998年提出的模型，計算一張圖片在不同尺度上顏色、亮度以及朝向的差異對比度，進行多個尺度的整合，形成Saliency map。
有很多重要的文獻探討Saliency map在大腦什么地方產生。不同的結論包括在頂葉、前額葉眼區(qū)、上丘整合等等。但是我認為視皮層V1區(qū)就可以充分解釋Saliency map。
為什么以前很多文章都說注意在比較高級的頂葉、額葉等產生？一個可能的原因就是，以前的生命科學研究混淆了自上而下和自下而上的信號。如果我們要研究Saliency map，必須研究純粹的自下而上的刺激。怎么樣才能做到？我們用無意識的方法，在沒有任何自上而下的干擾下，實現(xiàn)研究自下而上的注意。實驗示意圖如下?！笆帧笔菂⑴c者的注視點，四個“減號”是Saliency map的位置。它會顯著吸引我們的注意，而且經過實驗操縱后不會被意識到。我們改變“減號”的角度，將“減號”和“I”之間的夾角分別設為0度、15度、30度和90度。隨著夾角增加，它吸引注意的能力逐漸增強。
如何把這個刺激變得無意識？下圖是我們的實驗流程。首先呈現(xiàn)線索圖片(Cue) 50ms，然后呈現(xiàn)掩蔽圖片(Mask) 100ms，然后呈現(xiàn)注視點 50ms，最后是探測任務，探測第四張圖十字下面兩個點的相對位置。由于線索僅僅呈現(xiàn)非常短的50ms，又緊跟著100ms的掩蔽圖片，所以被試完全不會意識到線索的存在。但是探測任務放在線索的顯著區(qū)，被試依然有較好的表現(xiàn)。任務放在對側的話，被試的表現(xiàn)就比較差。兩個條件的差別就代表自下而上的注意強度。
我們接著利用視皮層V1區(qū)神經元的屬性構建注意模型?？纯聪聢D的數(shù)據(jù)，隨著朝向傾斜角度增加，注意的吸引力也逐漸增強，跟計算模型吻合得非常好。我們發(fā)現(xiàn)Saliency map跟V1的神經元活動是有關系的。
從初級視覺層到頂葉，Saliency map的效果逐漸減小。最明顯的是V1區(qū)域，可以產生自下而上的注意。我們上面的研究基于人工刺激，下圖則基于自然場景。圖中的馬具有非常高的顯著度，甲殼蟲具有較低的顯著度。他們在大腦皮層誘發(fā)出的信號有沒有區(qū)別？
我們重復了這個行為學實驗，發(fā)現(xiàn)馬確實可以誘發(fā)出更強的注意信號，甲殼蟲則不可以。并且還是在V1區(qū)域展示了注意的分布，所以我們再一次用自然場景證明了Saliency map跟V1是相關的。基于這個生理學依據(jù)，我們構建了一個動態(tài)注意模型。這個模型的大致框架有三個組件：第一部分參考感覺反應，模擬V1神經元對自然場景做稀疏編碼；第二部分是中央凹圖像多分辨率金字塔方法。對于自然場景，如果盯住這個紅色十字注視點，編碼會非常清晰，但是對外圍的編碼就非常粗糙；第三部分模擬視覺工作記憶，注視一個場景后很難立刻再跳回去。
我們把這三個組件放在注意模型里，構建了一個基于圖論的模型。這個動態(tài)的注意模型將V1神經元構成網(wǎng)絡，用該網(wǎng)絡搜尋圖片上最富有信息的區(qū)域，然后跳到第二富有刺激信息的區(qū)域。下圖中最下方圖的紅線代表在自然場景里人類的眼球運動軌跡，中間是我們模型預測的軌跡。實驗結果表明我們的模型和實際情況吻合得更好。
關于Priority map，回到那張海景圖，Saliency map是中間上圖。任務要求尋找圖上的小島，于是小島被高亮標記。中間這兩張圖并在一起后，小島應該仍是高亮的。Priority map整合了自下而上的顯著性，與當前任務的相關性。
我們又用人的面孔進行實驗。面孔比人工刺激復雜得多，還具有倒立效應，即同樣的臉倒過來后很難識別。這也非常影響Priority map在面孔上的分布。
我們給被試看正立臉、倒立臉和相位打亂的面孔，讓被試的眼睛在面孔上隨便跳動。另外，掃描被試視皮層對面孔的反應，得到行為學的數(shù)據(jù)和腦活動的數(shù)據(jù)。
我們重構出任意一個視皮層對面孔每一個部分的反應。下圖右下角是模型重構的反應，顏色越暖說明視皮層相應區(qū)域對面孔的反應更強。右上角是行為學數(shù)據(jù)，我們第一眼看面孔時注視什么地方。顏色越暖說明第一次著眼此處的概率越大，也就是該區(qū)域越容易吸引眼球。
下圖是這個實驗最主要的結果。我們測量最左邊正臉和倒臉吸引眼球的程度，描述了視皮層V1、V2、V3區(qū)域對正臉和倒臉反應的分布。
我們發(fā)現(xiàn)V2和V3對正臉的表征是最精確的，遠遠高于其他三種情況。V1對正臉和倒臉的反應表征的精準度都比較低，但是V2和V3對正臉表征的精準度比對倒臉表征高很多。
總結一下就是，人類早期視皮層，從V1區(qū)域到V3區(qū)域，V1對Saliency map即自下而上的注意起到很好的表征作用，V2和V3則對Priority map即自上而下的、任務驅動的注意起到很好的表征作用。過去關于注意采樣的大部分觀點認為，我們一旦注意到一個物體，對它的注意是持續(xù)的、靜止的。但事實是不是這樣的？從現(xiàn)在的數(shù)據(jù)來看，不一定。另外一種觀點是有數(shù)據(jù)支持的，特別是同時注意兩個物體的時候。如下圖所示，一種理論提出注意把關注點分割為兩塊，同時關注藍色和黃色方塊，這是一種平行和穩(wěn)定的關系。另外一種理論認為，注意在這兩個物體之間切換。我們希望用實驗來提供進一步證據(jù)。在我們的腦成像實驗之前，行為學研究已經發(fā)現(xiàn)，如果同時注意左右兩個物體，注意其實是左右切換的、順序的、周期性的交替采樣過程。我們的腦成像結果也證明，對多個物體的注意是交替性的、節(jié)律性的采樣，而不是一種靜態(tài)的過程。
下圖表示隨著不同的任務要求（100%注意A并且0%注意B、75%注意A并且25%注意B、50%注意A并且50%注意B），注意在不同的物體之間節(jié)律性分配。它不僅僅對靜態(tài)物體有用。對于動態(tài)的物體，比如兩個運動的小球，同樣可以發(fā)現(xiàn)類似的節(jié)律性采樣過程。
上面講的是對于物體的采樣和對于空間的采樣，如果同時注意多個特征，采樣是怎么樣的過程呢？這個問題相當復雜。比如對于任何一個朝向、任何一個運動方向來說，有很多神經元同時進行反應，怎樣描述這種同時的反應？我們做了一個腦磁實驗，呈現(xiàn)一個刺激，測量腦磁信號。這些信號由大腦中不同朝向神經元的不同通道反應組合而成。然后我們用腦磁信號反解出每個通道的反應。
實驗表明，如果我們同時注意兩個特征，對這兩個特征的表征同樣是交替性的，而且是反相位的。無論是基于空間的注意、基于客體的注意，還是基于特征的注意，都不是靜態(tài)的過程，而是在不同的空間、客體和特征之間交替。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
