作者 | 青暮
6月22日，北京智源大會舉行了認知神經(jīng)基礎(chǔ)專題論壇，來自北京師范大學認知神經(jīng)科學與學習國家重點實驗室的畢彥超教授、北京大學心理與認知學院的方方教授、北京師范大學心理學部的劉嘉教授、北京大學計算機系的吳思教授、中國科學院自動化研究所的余山教授分別做了報告，共同探究認知神經(jīng)科學能為AI帶來什么啟發(fā)。第三位報告者是北京師范大學心理學部教授劉嘉，題目為《從認知到計算：認知神經(jīng)智能科學》。在報告中，劉嘉教授首先回顧認知科學的歷史，解釋打開人腦黑箱的意義，然后通過一系列認知神經(jīng)科學的實驗范式和研究技術(shù)，揭示了深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部表征與算法以打開AI的黑箱，展示了人腦與類腦雙腦融合的可能路徑。
以下是演講全文，AI科技評論做了不改變原意的整理。今天我的報告主要圍繞如何從認知神經(jīng)科學對大腦的研究方法論，來理解深度神經(jīng)網(wǎng)絡(luò)的工作方式。在AI里，我們通常會遇到圖片識別的問題，我們把圖片輸入到訓練好的CNN里，CNN告訴我們這是一匹馬。這個過程是我們現(xiàn)在主流的深度神經(jīng)網(wǎng)絡(luò)所做的工作，采用行為目標導向，即在輸入端和輸出端建立關(guān)聯(lián)，而把中間過程當成一個黑箱（blackbox）。顯然作為科學家，我們肯定有興趣把它打開，但是問題是有必要嗎？打開和不打開究竟對理解AI以及推動AI發(fā)展有沒有幫助？在心理學歷史上也曾有類似的爭論。關(guān)于刺激和行為之間關(guān)系的研究最早是由Pavlov（巴普洛夫）開展的，他稱之為條件反射。即當鈴鐺和食物同時出現(xiàn)或者鈴鐺比食物稍微早一點出現(xiàn)的時候，這時候就可以建立刺激與行為的聯(lián)系。即當食物不出現(xiàn)時，僅僅搖一下鈴鐺，狗也會分泌唾液。至于狗的大腦里面發(fā)生了什么，當時大家認為不重要，當成黑箱就好；而我們需要關(guān)注的是刺激和行為之間連接的法則。這個觀念從上個世紀三十年代一直到五六十年代都占據(jù)著心理學的主要地位，稱為行為主義。行為主義有一個著名的黑箱隱喻，即行為主義代表人物Watson（華生）說過：“給我一打健康的嬰兒，一個由我支配的特殊環(huán)境，讓我在這個環(huán)境里養(yǎng)育他們，我可擔保，任意選擇一個，不論他的父母的才干、傾向、愛好如何，他父母的職業(yè)及種族如何，我都可以按照我的意愿把他們訓練成任何一個人物——醫(yī)生、律師、藝術(shù)家、大商人，甚至乞丐或強盜?！?/span>這句話背后的邏輯就是深度神經(jīng)網(wǎng)絡(luò)的“行為和目標導向”，翻譯成心理學的術(shù)語就是“人是環(huán)境的產(chǎn)物”或者“智能是環(huán)境的產(chǎn)物”。但是理解外部環(huán)境和行為之間的關(guān)系就夠了嗎？后繼的研究表明這遠遠不夠。Garcia（加西亞）曾經(jīng)研究放療所產(chǎn)生的負作用，如惡心嘔吐等。具體而言，他給老鼠進行放療，然后觀察放療之后老鼠的行為。Garcia發(fā)現(xiàn)了一個非常奇怪的現(xiàn)象，放療后的老鼠中有一些老鼠開始拒絕喝水，再渴也不喝水。Garcia深入了解后發(fā)現(xiàn)，那些拒絕喝水的老鼠的盛水容器是塑料瓶，而繼續(xù)喝水的老鼠的盛水容器是玻璃瓶。玻璃和塑料之間有什么區(qū)別？非常簡單，因為玻璃瓶是沒味的，而塑料瓶是有味的，也就是說老鼠把它惡心嘔吐的癥狀和塑料瓶的味道聯(lián)系在一起了，老鼠會“認為“自己嘔吐是塑料瓶帶來的。從表面上來看，這就是一個非常簡單的刺激（塑料瓶的氣味）和行為（嘔吐）之間的聯(lián)結(jié)，也就是我們剛才說的條件反射。但是！Garcia進一步發(fā)現(xiàn)，當他用類似氣味的條件，比如閃光、鈴聲來試圖形成老鼠不喝水的條件反射，發(fā)現(xiàn)怎么都建不成聯(lián)結(jié)。也就是說老鼠只能把氣味和它的嘔吐建立聯(lián)結(jié)，而不能把閃光、鈴聲來與它的嘔吐建立聯(lián)結(jié)?；诖?，Garcia用生物準備性（biological preparedness）的概念來對行為主義提出了挑戰(zhàn)。生物準備性的核心有兩點：第一，不是所有的刺激都能和反應(yīng)建立聯(lián)結(jié)；第二，有機體的學習潛能都被其生物學基礎(chǔ)所約束。也就是說黑箱里面的東西制約了刺激和反應(yīng)聯(lián)結(jié)的形成。
正是Garcia這個實驗使得我們開始研究老鼠的大腦里在“想”什么，狗的大腦里在“想”什么，于是認知科學由此誕生?？茖W家開始逐漸把大腦的黑箱打開，知識表征、注意力等概念就是認知科學在研究大腦機制時提出的認知概念。以前行為主義認為人只是環(huán)境的產(chǎn)物，現(xiàn)在我們知道，人不僅僅是環(huán)境的產(chǎn)物，而且也是環(huán)境的營造者，人有其自身的內(nèi)部加工過程。同樣，深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部表征與算法也必然影響刺激與行為的連結(jié)，也必然決定其智能的形態(tài)和本質(zhì)。
之后認知科學和神經(jīng)科學產(chǎn)生連接，我們開始了解認知模塊和表征的生物學基礎(chǔ)?；谡J知神經(jīng)科學過去20-30年的工作，我們開始理解視覺的產(chǎn)生機制。首先是初級視覺過程，對物體的線條、顏色、對比以及運動等特征進行初步分析。接下來是中級視覺過程，我們開始把物體從局部的信息整合成形狀、表面、深度信息，最后我們把這些信息整合起來進入高級視覺過程，這時候我們就可以實現(xiàn)物體識別等。認知神經(jīng)科學幫我們打開了大腦黑箱的一部分。那么我們?yōu)槭裁床挥谜J知神經(jīng)科學的方法論和工具，來理解人工神經(jīng)網(wǎng)絡(luò)的功能模塊和內(nèi)部表征，了解人工智能背后的智能本質(zhì)，獲得可解釋、可預(yù)測的AI？這里，我把這個思路稱為人工智能的認知神經(jīng)解析，即用認知神經(jīng)科學的方法來研究AI。
打開深度神經(jīng)網(wǎng)絡(luò)的黑箱
1、人腦與類腦是否采用了同樣的表征來完成任務(wù)圖靈測試從本質(zhì)上來講，是基于行為主義的邏輯——一個機器只要它在行為上達到人的水平，那么它就具有跟人一樣的智能。但是從認知科學的角度，一個更本質(zhì)的測試應(yīng)該是：一個智能機器，是否具有與人一樣的認知過程。例如，AI如今能夠?qū)崿F(xiàn)物體識別、目標檢測等任務(wù)，但是AI使用的內(nèi)部表征和人類是不是一樣的？在這個研究，我們將具體回答兩個問題：深度神經(jīng)網(wǎng)絡(luò)使用什么表征？這種表征和人類相似嗎？我們這里呈現(xiàn)一個性別辨別的任務(wù)，下圖中左邊的是女性，右邊的是男性。但是如果我問，你是靠什么特征來進行判斷的？他們頭發(fā)的長短嗎？他們的眼睛大小嗎？他們臉型的外輪廓嗎？還是什么？你可以反省自己到底是靠什么做的判斷。
你會感受到這個任務(wù)很難，辨別性別很容易，但是理解究竟用哪些特征來做是挺難的。因為我們進行面孔認知加工是在無意識中完成的，不能被我們意識所覺察到。這里，我們采用認知神經(jīng)科學的方法，即反向相關(guān)的方法（reverse correlation），通過結(jié)果來回推內(nèi)部表征。首先，我們分別把女性面孔和男性面孔取平均，得到女性和男性的平均臉。當我們從女性平均臉平滑的過渡到男性平均臉的時候，大家感受一下效果。這動畫給人一個感覺，你對性別的判斷類似二分法。開始時是一張女性臉，后面是一張男性臉，中間是感知邊界，我們心理的感受并不是隨著圖像的線形變化而發(fā)生線性變化的，而是二分法，前半部分全是女性，后半部分全是男性。這里，我們找到感知邊界，生成一張中性臉。
接下來，我們訓練一個能識別性別的VGG-Face網(wǎng)絡(luò)。這個網(wǎng)絡(luò)已經(jīng)經(jīng)過預(yù)訓練，我們只做遷移學習，即把最后一層進行微調(diào)，對男性和女性的人臉做識別訓練。很快，對性別識別的準確率就達到了百分之百。我們把中性的面孔拿出來加上隨機噪音，然后再把這張照片輸入VGG-Face，讓它進行分類。添加噪音可以使中性臉被識別為男性臉或女性臉。我們識別了2萬張照片，每張照片基底圖是一樣的，而添加的噪音不一樣，這樣我們可以得到一組被VGG-Face識別為女性的照片和一組識別為男性的照片。我們把這些照片都貼上了標簽，然后把原來的基底圖去掉，只留下噪音，并按照性別的標簽分別疊加在一起。下圖就是VGG-Face把面孔識別為女性的面孔特征圖。原來的隨機噪音看上去無規(guī)則，但是通過reversecorrelation就可以從噪音中提取出結(jié)構(gòu)的信息。我們大致看到，這些信息主要集中在眼睛、鼻子和嘴這些地方，這些特征是VGG-Face將面孔判斷女性的關(guān)鍵信息。同樣，我們可以把被判斷為男性的噪音疊加在一起，得到關(guān)于男性的一張?zhí)卣鲌D。簡單對比可以發(fā)現(xiàn)，判斷為女性的特征圖和判斷為男性的特征圖是不一樣的，這兩張圖的模式很復雜。
我們把女性特征圖和男性噪音特征圖進行相減，得到識別特征圖，這張識別特征圖就是VGG-Face完成性別識別任務(wù)的內(nèi)部表征，它認為這是把男性和女性分開的關(guān)鍵信息。我們把基底圖即中性臉疊加上去，可以看到噪音特征圖的極值點大致分布在眼睛和鼻子外側(cè)，以及人中、嘴唇的下沿。
我們接下來把這疊加到基底圖上，我們就得到了一個標準的男性臉。反之，如果我們把基底圖減去這張識別特征圖，就會得到一個標準的女性臉。所以我們通過這一系列操作就得到了VGG-Face用什么特征來進行性別判斷。
如果把VGG-Face換成人，結(jié)果會如何？我們找人看了這2萬張圖片。在大部分情況之下，被試會說“我怎么知道他是男性還是女性？”我們說“沒關(guān)系，你猜就是了，跟著感覺走，你覺得它是女性就按F，覺得是男性就按M”。于是被試帶著困惑、不解和勞累，把這個實驗給做完了。這是他們用于區(qū)分男性和女性的特征圖。我們按照相同的計算，分別得到男性的標準臉和女性的標準臉。
我們發(fā)現(xiàn)在VGG-Face的特征圖和人類的是非常類似的。事實上，如果我們對這兩張?zhí)卣鲌D計算相關(guān)，可以得到0.73的相關(guān)度。從這個角度來講，人類和VGG-Face用了類似的表征來完成性別識別的任務(wù)。進一步，我們來看這個相似是發(fā)生在什么空間頻率上。在研究中，添加到中性臉的隨機噪音是有結(jié)構(gòu)的，由不同空間頻率的圖組成，下圖最左邊是低頻的，最右邊是高頻的，我們把低頻和高頻的信息疊加起來，給大家看到一個實驗用的噪音圖。
現(xiàn)在看在不同的空間頻率下面，人和VGGFACE的特征圖分別是什么樣子。這些特征圖也是非常相似的，而且相似度在低頻上是最高的，隨著空間頻率的增加，人和VGG-Face的相似度越來越低。所以，VGG-Face和人類在完成面孔性別識別任務(wù)時，更多依賴于低頻的信息。
簡單總結(jié)一下，計算機視覺的奠基人之一David Marr提出我們應(yīng)該從三個層面理解智能：第一個層面是實現(xiàn)的目標或完成的任務(wù)，比如這個實驗做的就是性別識別任務(wù)，這是最高的層面；最低的層面是物理實現(xiàn)的層面，也就是用什么硬件實現(xiàn)。在這個研究里有兩種實現(xiàn)的硬件，一個是VGG-Face，一個是人的大腦，這是兩個完全不同的物理層面；用物理硬件實現(xiàn)目標，中間還需要一個軟件的層面，稱之為表征和算法。表征和算法在輸入和輸出之間建立一種轉(zhuǎn)換，這種轉(zhuǎn)換就是智能。智能的本質(zhì)就是表征。在上述研究里，表征就是把男性和女性區(qū)分開的特征圖。
2、類似的任務(wù)經(jīng)驗對于形成類似的表征十分重要VGG-Face和人類用類似表征來完成性別識別任務(wù)，前提條件是什么？ 面孔對于人類而言比較特別，我們看到一個面孔，通常需要識別出身份，即直接識別個體，即這是張三。但是對非面孔的物體，我們的識別通常是在類別層面，比如我們看到貓，只會說是一只貓，而不是說這是張三的貓。其次是對面孔的識別更多依賴低頻信息，比如心理學的負片效應(yīng)，把照片的黑白值翻轉(zhuǎn)，發(fā)現(xiàn)識別起來非常困難，同樣把低頻信息過濾，識別也非常困難。因為VGG-Face是經(jīng)過面孔識別預(yù)訓練的任務(wù)；所以，VGG-Face與人有類似的表征，可能是因為上述這兩個原因，即：（1）VGG-Face和人都是在個體層面上識別物體；（2）VGG-Face和人因為處理過大量的面孔，因此會對面孔的獨特特征（如低頻信息）敏感。
首先，我們來驗證第一個可能性：共同的任務(wù)經(jīng)驗。這里，我們選擇AlexNet。AlexNet也是預(yù)訓練網(wǎng)絡(luò)，它不做面孔識別而做物體分類，我們把最后一層微調(diào)，讓它做識別男性和女性的分類任務(wù)，正確率93%。即，雖然AlexNet是用來訓練物體分類的，但是也能夠把男性和女性區(qū)分，正確率也相當高。現(xiàn)在問一個有趣的問題，AlexNet在性別辨認上也能達到和人一樣的準確度，但是AlexNet用的是和人類似的表征嗎？我們來看AlexNet辨別男性和女性的特征圖，如下圖所示，肉眼能夠辨別兩者存在非常大差別，基本不相關(guān)，相關(guān)度等于-0.04。我們把它疊加到原來的基底圖上去，得到的人臉也沒有明顯的性別特征。所以從這個角度來講，我們發(fā)現(xiàn)AlexNet雖然能夠區(qū)分男性和女性，但是它所用的表征是完全不一樣的。我們做進一步的空間頻率分析，把噪音特征圖分為不同的空間頻率，可以看到，基本上AlexNet和人類的各頻率的噪音特征圖是不相關(guān)的。回到實驗的第一部分結(jié)論，我們發(fā)現(xiàn)預(yù)訓練任務(wù)非常重要。為什么VGG-Face和人類在區(qū)分男性女性時用的表征是相似的？因為它們都被訓練在個體層面上進行加工，而AlexNet是在類的層面上進行加工，從這個角度來講，導致它們使用呢不同的表征。這一點我們可以從進化的角度來理解。我們之所以從單細胞變成現(xiàn)在多細胞的動物，就是因為我們在不斷地完成大自然交給我們的任務(wù)；一旦完成不了，那只有一個結(jié)果，就是基因被淘汰。也就是說，we are what we do。我們的智能是被我們過去所完成的任務(wù)所決定的。
總結(jié)一下：認知神經(jīng)科學發(fā)展了一系列有用的工具和方法論以及實驗范式，這些范式有助于我們了解深度神經(jīng)網(wǎng)絡(luò)內(nèi)部特征和模塊，得到可解釋、可預(yù)測的深度神經(jīng)網(wǎng)絡(luò)。更進一步，認知科學、神經(jīng)科學和智能科學的深度交叉所形成的認知神經(jīng)智能科學將會為揭示智能的本質(zhì)，提供一個新的視角。具體而言，一個理想的研究智能模式是：通過神經(jīng)科學發(fā)現(xiàn)一個大腦工作的機理（brain inspiration），根據(jù)認知科學來來對該機理進行建模（cognitivemodeling），然后用計算科學來開發(fā)一個計算復雜度適度的算法（physicalimplementation）來解決一個真實的現(xiàn)實問題。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
