0
| 本文作者： 蔣寶尚 | 2020-05-25 14:29 |
作者 | 蔣寶尚
編輯 | 賈偉
他山之石，可以攻玉。對(duì)于人工智能研究，腦科學(xué)無異是最重要的「他山之石」了。
近年來，人工智能在經(jīng)歷過一波由深度學(xué)習(xí)帶來的火爆之后，已然進(jìn)入深水區(qū)；如何通向強(qiáng)人工智能，逐漸成為智能研究的各界人士共同關(guān)注的中心話題。「類腦計(jì)算」正是智能研究人員嘗試以腦科學(xué)之「石」攻智能之「玉」的重要方向。
5月19日，在中國圖象圖形學(xué)學(xué)會(huì)主辦的「CSIG·云講堂」上，中國科學(xué)院自動(dòng)化研究所余山研究員作了“從腦網(wǎng)絡(luò)到類腦網(wǎng)絡(luò)計(jì)算”主題報(bào)告。余山研究員借鑒Marr對(duì)視覺體系的劃分，將類腦計(jì)算的研究分為四個(gè)層面：硬件、算法、計(jì)算、學(xué)習(xí)。針對(duì)每一層面，余山研究員做了或簡(jiǎn)或詳?shù)慕榻B，頗有啟發(fā)。
余山研究員認(rèn)為，盡管當(dāng)前人類對(duì)大腦的認(rèn)知并不充分，但這并不阻礙智能研究的各界人士去借鑒已有的神經(jīng)科學(xué)和腦科學(xué)的知識(shí)，從而來發(fā)展對(duì)智能系統(tǒng)的研究和設(shè)計(jì)。
傳統(tǒng)計(jì)算機(jī)使用的是馮諾依曼架構(gòu)，其基本架構(gòu)如上圖所示，包括控制器、運(yùn)算器、記憶單元、輸入系統(tǒng)和輸出系統(tǒng)等五個(gè)組成部分；其中控制器和運(yùn)算器構(gòu)成了處理單元（CPU）。
做數(shù)據(jù)處理時(shí)，計(jì)算機(jī)把數(shù)據(jù)從存儲(chǔ)單元調(diào)到處理單元，運(yùn)算之后再返回到存儲(chǔ)單元。但這種操作方式，會(huì)導(dǎo)致存儲(chǔ)單元和處理單元之間進(jìn)行非常高頻的數(shù)據(jù)搬運(yùn)，從而帶來極高的能耗。
圖注：其中時(shí)鐘頻率代表數(shù)據(jù)在存儲(chǔ)單元和處理單元之間調(diào)用的速度。能量頻率代表功率。
盡管近年來計(jì)算機(jī)有高速的發(fā)展，GPU時(shí)鐘頻率不斷提升，但隨之而來的也是能量密度的逐年提升。以IBM在2000年開發(fā)的一個(gè)用來做生物信息學(xué)研究的計(jì)算機(jī)為例，其包含了144TB的內(nèi)存， 14萬個(gè)處理器，功耗高達(dá)1.4兆瓦。每當(dāng)這臺(tái)計(jì)算機(jī)運(yùn)行時(shí)，就必須有一個(gè)專門的電站為其供能。
反過來，我們看人腦，具有如此高的智能，然而其功耗卻只有20瓦左右，僅相當(dāng)于一顆黯淡的白熾燈的能耗。如此大的差別，原因是什么呢？原因自然很多，但重要的一點(diǎn)是，不同于馮諾依曼機(jī)，人腦的計(jì)算是“存算一體”。在人腦的神經(jīng)網(wǎng)絡(luò)中, 信息的存儲(chǔ)和處理并不分開，神經(jīng)網(wǎng)絡(luò)本身即是存儲(chǔ)器，又是處理器。
借鑒人腦的這種特點(diǎn)，近年來，有越來越多的研究團(tuán)隊(duì)加入了“存算一體”芯片研制中，其中IBM研制的TrueNorth和清華大學(xué)研制的Tianjic是這方面最出色的代表。這種芯片被稱為神經(jīng)形態(tài)或神經(jīng)擬態(tài)芯片，極大地解決了數(shù)據(jù)頻繁搬運(yùn)所帶來的能耗問題。
在算法層面，生物腦和人工神經(jīng)網(wǎng)絡(luò)之間也有非常重要聯(lián)系。余山研究員在報(bào)告中提了兩個(gè)例子。第一個(gè)例子是突觸的概率釋放與Dropout算法之間的關(guān)系。
生物神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間的連接是通過一個(gè)叫做突觸的結(jié)構(gòu)進(jìn)行的，這個(gè)結(jié)構(gòu)也是兩個(gè)神經(jīng)元之間進(jìn)行信息交互的地方。當(dāng)前神經(jīng)元有一個(gè)動(dòng)作電位時(shí)，它會(huì)釋放某種神經(jīng)遞質(zhì)，這種遞質(zhì)被后神經(jīng)元吸收之后便會(huì)轉(zhuǎn)化為電信號(hào)，從而實(shí)現(xiàn)電信號(hào)在神經(jīng)元之間的傳遞。
這里面兩個(gè)神經(jīng)元之間信息傳遞的關(guān)鍵是：電信號(hào)促使化學(xué)物質(zhì)釋放。這種方式存在缺點(diǎn)，即神經(jīng)沖動(dòng)導(dǎo)致神經(jīng)遞質(zhì)釋放并不總是成功——成功概率的中位數(shù)僅在0.2~0.3之間，也即有80%左右的概率會(huì)出現(xiàn)信息傳輸失敗。然而，如此低的成功率卻有它獨(dú)特的意義。低成功率，可以使神經(jīng)網(wǎng)絡(luò)更快、更好地學(xué)習(xí)。
人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法Dropout正是對(duì)這種現(xiàn)象最好的借鑒：在網(wǎng)絡(luò)訓(xùn)練時(shí)，隨機(jī)關(guān)閉某些神經(jīng)元；而在測(cè)試時(shí)，讓所有神經(jīng)元都工作。結(jié)果顯示，利用這種方法，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力將有明顯地提高。第二個(gè)例子是有關(guān)神經(jīng)網(wǎng)絡(luò)的臨界狀態(tài)。我們先介紹一個(gè)概念：神經(jīng)元的傳播系數(shù)。簡(jiǎn)單來理解，即一個(gè)神經(jīng)元能夠激活的神經(jīng)元個(gè)數(shù)。
我們看上圖，當(dāng)傳播系數(shù)大于 1時(shí)，隨著時(shí)間的發(fā)展，系統(tǒng)中信號(hào)的傳播將會(huì)產(chǎn)生爆炸；而當(dāng)傳播系數(shù)小于 1時(shí)，由于每一次傳播后激活神經(jīng)元的個(gè)數(shù)都在變少，因此最終信號(hào)會(huì)呈指數(shù)消退；只有當(dāng)傳播系數(shù)等于 1 時(shí)，系統(tǒng)才會(huì)保持相對(duì)的穩(wěn)定。
我們將這種傳播系數(shù)等于 1 的穩(wěn)定狀態(tài)稱為臨界狀態(tài)，而>1的情況稱為超臨界狀態(tài)，< 1的情況稱為亞臨界狀態(tài)。顯然無論是亞臨界還是超臨界，都不利于信息的傳遞和處理。只有在臨界狀態(tài)，信息才能夠通過神經(jīng)元的活動(dòng)把信息保持并傳播下去。
臨界狀態(tài)下，網(wǎng)絡(luò)錯(cuò)誤率往往會(huì)比較低。但，從上圖中可以看出，臨界狀態(tài)是非魯棒的，稍微有一點(diǎn)擾動(dòng)，其性能便會(huì)受到很大的影響。如何解決這一問題，在保持高性能的情況下同時(shí)還具有較高的魯棒性？大腦給了我們可以借鑒的答案：自適應(yīng)機(jī)制。
神經(jīng)科學(xué)家根據(jù)生物實(shí)驗(yàn)，提出了模擬模型，讓網(wǎng)絡(luò)模型能夠自適應(yīng)地學(xué)習(xí)傳播系數(shù)。結(jié)果如上圖所示，正常情況下，臨界狀態(tài)很窄；而采用自適應(yīng)模型，臨界狀態(tài)的寬度便大大地增寬。
同樣的，在人工神經(jīng)網(wǎng)絡(luò)中，也存在著信息傳輸所帶來的網(wǎng)絡(luò)爆炸或快速消失的問題，即所謂“梯度消散”。針對(duì)這一問題，目前主流的解決方案是用Batch Norm或 Layer Norm，也即在人工神經(jīng)網(wǎng)絡(luò)中，每?jī)蓚€(gè)處理層次之間添加一個(gè)專門的處理層；這個(gè)層的作用是把前面?zhèn)鱽淼男盘?hào)做增強(qiáng)或衰減的調(diào)整，從而使后面層的反應(yīng)不至太強(qiáng)或太弱。
但新增層必然會(huì)帶來額外的計(jì)算負(fù)擔(dān)。大腦就沒有這種額外層。能否借鑒大腦的機(jī)制，通過某種方式，在不使用額外層的情況下，同時(shí)還能夠保持網(wǎng)絡(luò)的信息傳播平衡呢？
相較于算法層面，在計(jì)算層面的借鑒稍顯抽象。余山研究員結(jié)合他們近期發(fā)表在《Nature Machine Intelligence》上的一篇工作，做了相應(yīng)的介紹。
人類作為智慧生物，最重要的特征便是能夠"適應(yīng)環(huán)境變化，實(shí)現(xiàn)自身目的"。人類大腦不僅可以在新的環(huán)境中不斷吸收新的知識(shí)，而且可以根據(jù)不同的環(huán)境靈活調(diào)整自己的行為。
作為對(duì)應(yīng)，當(dāng)前以DNN為代表的神經(jīng)網(wǎng)絡(luò)，盡管可以建立輸入輸出之間非常復(fù)雜的映射關(guān)系，用于識(shí)別、分類和預(yù)測(cè)。
但是一旦學(xué)習(xí)階段結(jié)束，它所能做的操作就固化了，既難以方便的學(xué)習(xí)新的映射，也不能對(duì)實(shí)際環(huán)境中存在情境信息(比如自身狀態(tài)，環(huán)境變化、任務(wù)變化等)做出靈活的響應(yīng)，難以滿足復(fù)雜多變的需求，即缺少情境依賴學(xué)習(xí)(contextual-dependent learning)的能力。那么，我們?nèi)绾谓梃b腦科學(xué)知識(shí)呢？
據(jù)腦科學(xué)家的研究表明，大腦的結(jié)構(gòu)，除了感覺輸入、運(yùn)動(dòng)輸出這個(gè)通路之外，還存在一個(gè)調(diào)控的通路（主要在大腦前額葉發(fā)揮作用，因此也可以說，前額葉區(qū)決定了人的隨機(jī)應(yīng)變能力）。這個(gè)調(diào)控通路在很大程度上決定了人的靈活應(yīng)變能力。
受此啟發(fā)，余山等人提到了一種PFC-like的新網(wǎng)絡(luò)架構(gòu)，在輸入輸出之間加入了一個(gè)情境處理模塊(CDP)。CDP模塊的作用便是在輸入輸出之間，根據(jù)Context對(duì)結(jié)果進(jìn)行旋轉(zhuǎn)，從而能夠依據(jù)上下文動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)內(nèi)部信息。
它包括兩個(gè)子模塊：1、編碼子模塊，其負(fù)責(zé)將情境信息編碼為適當(dāng)?shù)目刂菩盘?hào)；2、“旋轉(zhuǎn)”子模塊，其利用編碼模塊的控制信號(hào)處理任務(wù)輸入(由于其功能上相當(dāng)于將特征向量在高維空間上進(jìn)行了旋轉(zhuǎn)，故稱為“旋轉(zhuǎn)”子模塊)。結(jié)果喜人！
圖注：同一個(gè)分類器對(duì)于同樣的輸入，連續(xù)學(xué)習(xí)40種不同人臉屬性的分類任務(wù)(藍(lán)色數(shù)據(jù)點(diǎn))，正確率與用40個(gè)分類器的系統(tǒng)(橙色線)幾乎一致。
他們?cè)贑elebA數(shù)據(jù)集上進(jìn)行測(cè)試。按照傳統(tǒng)的模型，針對(duì)數(shù)據(jù)集上的40個(gè)類型，需要訓(xùn)練40個(gè)模型才能完成任務(wù)，而采用CDP模塊后，一個(gè)模型能解決所有分類問題，且性能不降。若想進(jìn)一步了解這個(gè)奇妙的思想，可參看文章：《國內(nèi)首發(fā)Nature子刊 Machine Intelligence論文：思想精妙，或?qū)NN有重大改進(jìn)！》
學(xué)習(xí)層面，神經(jīng)網(wǎng)絡(luò)面臨的一個(gè)重要問題是災(zāi)難性遺忘，即神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)不同的任務(wù)時(shí)，如果不是把不同任務(wù)的訓(xùn)練樣本混在一起去訓(xùn)練，往往在學(xué)習(xí)新的任務(wù)時(shí)候，網(wǎng)絡(luò)就會(huì)把從舊任務(wù)中學(xué)到的知識(shí)忘掉。
以上圖為例，先讓神經(jīng)網(wǎng)絡(luò)識(shí)別「狗」，得到一個(gè)性能非常高的網(wǎng)絡(luò)；繼而再讓網(wǎng)絡(luò)去學(xué)習(xí)識(shí)別「貓」，這時(shí)網(wǎng)絡(luò)的權(quán)重就會(huì)重新調(diào)整；學(xué)完之后再拿來去識(shí)別「狗」，神經(jīng)網(wǎng)絡(luò)的性能就會(huì)大幅下降，甚至不能使用。
原因就在于，當(dāng)學(xué)習(xí)「貓」的任務(wù)時(shí)，網(wǎng)絡(luò)把針對(duì)「狗」的任務(wù)學(xué)到的知識(shí)給忘了。然而，人腦卻沒有這種所謂「災(zāi)難遺忘」的問題。人類先后順序地學(xué)習(xí)不同的任務(wù)，最后識(shí)別能力還能不斷提升。針對(duì)這一問題，余山研究員在上面提到的那篇文章中提出一種稱為「正交權(quán)重修改 (Orthogonal Weights Modification，OWM) 」的算法。
圖：OWM算法原理示意圖。(a): 在權(quán)重更新時(shí)，OWM算法只保留傳統(tǒng)BP算法計(jì)算的權(quán)重增量中與歷史任務(wù)輸入空間正交的部分；(b): 在新任務(wù)中，OWM算法將神經(jīng)網(wǎng)絡(luò)對(duì)解的搜索范圍約束在舊任務(wù)的解空間中。
OWM算法的核心思想很簡(jiǎn)單，即通過 P 映射之后，學(xué)習(xí)新任務(wù)的解仍然在舊任務(wù)的解空間當(dāng)中。正如其名“正交權(quán)重修改”，在學(xué)習(xí)新任務(wù)時(shí)，只在舊任務(wù)輸入空間正交的方向上修改神經(jīng)網(wǎng)絡(luò)權(quán)重。如此，權(quán)重增量幾乎不與以往任務(wù)的輸入發(fā)生作用，從而保證了網(wǎng)絡(luò)在新任務(wù)訓(xùn)練過程中搜索到的解，仍處在以往任務(wù)的解空間中。數(shù)學(xué)上，OWM通過正交投影算子P與誤差反傳算法得到的權(quán)重增量△w作用來實(shí)現(xiàn)其目的，即最終的權(quán)重增量△w=kp△w，這里k為系數(shù)。OWM算法實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)中已有知識(shí)的有效保護(hù)，并可以與現(xiàn)有梯度反傳算法完全兼容。
如上圖所示，余山等人在ImageNet 上做了測(cè)試，選取 1000個(gè)類，特征提取器使用ResNet152，在訓(xùn)練分類器時(shí)：
1）當(dāng)采用傳統(tǒng)的SGD方法，任務(wù)混合訓(xùn)練時(shí)，準(zhǔn)確率為78.31%；
2）在采用SGD，但所有任務(wù)順序訓(xùn)練時(shí)，準(zhǔn)確率直降到4.27%，這正是「災(zāi)難性遺忘」的結(jié)果；
3）當(dāng)采用OWM方法，任務(wù)順序訓(xùn)練時(shí)，結(jié)合經(jīng)過預(yù)訓(xùn)練的特征提取器，準(zhǔn)確率能夠達(dá)到75.24%，性能媲美于SGD的混合訓(xùn)練。
余山等人同樣在手寫字?jǐn)?shù)據(jù)集HWDB上進(jìn)行了測(cè)試，包含3755個(gè)類，特征提取器選用ResNet18，同樣可以看到，采用OWM順序訓(xùn)練分類器依然能夠保持較高的性能。
值得一提的是，算法具有優(yōu)良的小樣本學(xué)習(xí)能力，以手寫體漢字識(shí)別為例，基于預(yù)訓(xùn)練的特征提取器，系統(tǒng)可以從僅僅數(shù)個(gè)正樣本中就能連續(xù)的學(xué)習(xí)新的漢字。上圖中顯示在3755個(gè)類（漢字）上，僅需要在10個(gè)類上進(jìn)行連續(xù)學(xué)習(xí)，便能夠達(dá)到90%以上的性能。
OWM算法有效地克服了災(zāi)難性遺忘的難題，使得單個(gè)神經(jīng)網(wǎng)絡(luò)不僅可以先學(xué)「狗」再學(xué)「貓」，而且可以逐漸的學(xué)習(xí)多達(dá)數(shù)千個(gè)類型的識(shí)別。這一新型學(xué)習(xí)算法和前面介紹的情境依賴處理 (CDP) 模塊配合，能夠使人工神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的連續(xù)學(xué)習(xí)和情境依賴學(xué)習(xí)能力。
其中，OWM 算法可以有效克服神經(jīng)網(wǎng)絡(luò)中的災(zāi)難性遺忘，實(shí)現(xiàn)連續(xù)學(xué)習(xí)；而受大腦前額葉皮層啟發(fā)的 CDP 模塊可以有效整合情境信息，調(diào)制神經(jīng)網(wǎng)絡(luò)的信息處理過程。二者結(jié)合便有望讓智能體通過連續(xù)不斷的學(xué)習(xí)去適應(yīng)復(fù)雜多變的環(huán)境，從而逐步逼近更高水平的智能。
除了上面四個(gè)層次的借鑒之外，余山老師還介紹了如何將先驗(yàn)知識(shí)壓縮并注入神經(jīng)網(wǎng)絡(luò)、從符號(hào)計(jì)算到語義理解、從有監(jiān)督的分類訓(xùn)練到無監(jiān)督的重構(gòu)和預(yù)測(cè)等類腦計(jì)算的思路。如何將先驗(yàn)知識(shí)壓縮并注入神經(jīng)網(wǎng)絡(luò)。
認(rèn)知學(xué)家曾經(jīng)做過一個(gè)實(shí)驗(yàn)，即從小教一個(gè)黑猩猩學(xué)習(xí)語言，發(fā)現(xiàn)黑猩猩在語言學(xué)習(xí)上遠(yuǎn)遠(yuǎn)不能達(dá)到人類的高度。這說明我們?nèi)祟惔竽X有先天的神經(jīng)結(jié)構(gòu)能夠讓我們?nèi)菀讓W(xué)習(xí)語言，這種先天結(jié)構(gòu)即為先驗(yàn)知識(shí)。作為對(duì)比，當(dāng)前的神經(jīng)網(wǎng)絡(luò)基本上沒有先驗(yàn)知識(shí)，都得從頭學(xué)起。
那么我們是否可以借鑒大腦積累先驗(yàn)知識(shí)的機(jī)制，來設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)呢？從符號(hào)計(jì)算到語義理解。目前的自然語言處理系統(tǒng)訓(xùn)練的材料是語料，純粹是文字或符號(hào)。
以中文屋(Chinese Room)實(shí)驗(yàn)為例，里面純粹是做一些非常簡(jiǎn)單的信息處理工作，只是一個(gè)符號(hào)到符號(hào)的處理過程，并沒有真正理解內(nèi)在的含義。因此NLP的研究，若想克服這個(gè)問題，未來必然需要向大腦學(xué)習(xí)。有監(jiān)督的分類訓(xùn)練到無監(jiān)督的重構(gòu)和預(yù)測(cè)。
當(dāng)前，訓(xùn)練好的做分類任務(wù)的神經(jīng)網(wǎng)絡(luò)在復(fù)雜環(huán)境下往往性能并不好。但對(duì)比一下，人類的視覺系統(tǒng)并沒有使用監(jiān)督信號(hào)去訓(xùn)練分類任務(wù)，例如小孩學(xué)習(xí)識(shí)別物體，完全是靠自監(jiān)督的方式看這個(gè)世界的。因此，真正的強(qiáng)人工智能可能并不是現(xiàn)在這種端到端的有監(jiān)督訓(xùn)練，而是采用類腦的分階段的、包含無監(jiān)督或自監(jiān)督的訓(xùn)練方式。最近機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展，也說明了這一策略正逐漸受到人們的關(guān)注。
余山研究員總結(jié)道，雖然我們對(duì)于大腦的了解尚不完備，生物腦和人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)也有很大的差異，但是這并不是開展類腦計(jì)算研究的本質(zhì)障礙。
神經(jīng)科學(xué)和認(rèn)知科學(xué)的研究已經(jīng)發(fā)現(xiàn)了大腦的很多機(jī)制性原理，這些知識(shí)足夠指導(dǎo)我們不斷改善智能系統(tǒng)的設(shè)計(jì)，最終有望實(shí)現(xiàn)在不同層面上受腦啟發(fā)的更加強(qiáng)大和高效的人工智能系統(tǒng)。
（雷鋒網(wǎng)）、（雷鋒網(wǎng)）、（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
