作者 | 蔣寶尚

注意力機(jī)制或許是未來機(jī)器學(xué)習(xí)的核心要素。

在本周舉辦的ICLR 2020 上，圖靈獎獲得者Yoshua Bengio 在其特邀報(bào)告中著重強(qiáng)調(diào)了這一點(diǎn)。

目前注意力機(jī)制已是深度學(xué)習(xí)里的大殺器，無論是圖像處理、語音識別還是自然語言處理的各種不同類型的任務(wù)中，都很容易遇到注意力模型的身影。

借鑒于人類的注意力機(jī)制，關(guān)注注意焦點(diǎn)，注意力機(jī)制是作為一種通用的思想出現(xiàn)的。

Bengio在其報(bào)告《與意識相關(guān)的深度學(xué)習(xí)先驗(yàn)》中提到，丹尼爾·卡尼曼的書《思考，快與慢》中指出人的認(rèn)知系統(tǒng)有兩類，一類是無意識（快系統(tǒng)）的，關(guān)鍵詞是直覺、非語言、習(xí)慣；第二類是有意識的（慢系統(tǒng)），關(guān)鍵詞是語言性、算法性，推理和計(jì)劃。

Bengio指出，第二類認(rèn)知系統(tǒng)允許對語義概念進(jìn)行操縱、重組，這對于當(dāng)前的人工智能和機(jī)器學(xué)習(xí)算法來說是一個非?？释奶匦浴?/p>

但目前的機(jī)器學(xué)習(xí)方法還遠(yuǎn)沒有從無意識發(fā)展到全意識，但是Bengio相信從“無”到“有”的轉(zhuǎn)變完全可能，而注意力則是轉(zhuǎn)變過程的核心要素之一。
在報(bào)告中，Bengio提到，注意力機(jī)制每次都關(guān)注其中某幾個概念并進(jìn)行計(jì)算，因?yàn)橐庾R先驗(yàn)及其相關(guān)的假設(shè)中，許多高層次的依賴關(guān)系可以被一個稀疏因子圖近似地捕捉到。
最后，報(bào)告介紹了元學(xué)習(xí)，這種先驗(yàn)意識和代理視角下的表征學(xué)習(xí)，會更加有助于以新穎的方式，支持強(qiáng)大的合成泛化形式。

AI科技評論對演講內(nèi)容做了有刪改的翻譯整理，供大家參考：

Bengio：

此次報(bào)告的主題是深度學(xué)習(xí)的未來發(fā)展方向，特別是深度學(xué)習(xí)與意識的關(guān)系。其實(shí)神經(jīng)科學(xué)對意識內(nèi)容的研究在近幾十年里已經(jīng)有了很大的進(jìn)展。

所以現(xiàn)在是機(jī)器學(xué)習(xí)考慮這些將意識加入模型的時候了。另一方面，這對意識的研究也有好處，能夠在測試意識的特定假設(shè)功能以及正式化方面提供幫助，也能夠讓我們從意識中獲得一些魔力，并理解意識的進(jìn)化優(yōu)勢、計(jì)算和統(tǒng)計(jì)優(yōu)勢。

對于意識，丹尼爾·卡尼曼在《思考，快與慢》這本書中，對許多常見的現(xiàn)象如直覺、錯覺、偏見等給出了科學(xué)解釋，并介紹了“系統(tǒng)1，系統(tǒng)2”，描述了大腦的兩種思維模式。

對于[系統(tǒng)1]，可以想象這樣的場景：在一條你已經(jīng)非常清楚路況的公路上開汽車，這時候，你并沒有把所有的注意力都放在駕駛上，如果有人和你進(jìn)行談話，你也可以輕松回應(yīng)。

相反，[系統(tǒng)2]的場景描述就是：如果你在一個新的地方開車，這時候別人和你對話，你會非常煩，因?yàn)槟阋丫Χ挤旁隈{駛上。

所以「系統(tǒng)1」的任務(wù)涉及到直覺知識，它能夠很快執(zhí)行，在你大腦中是不知不覺一步一步發(fā)生的?！赶到y(tǒng)1」通常涉及隱性知識，很難用語言解釋，但是人工神經(jīng)網(wǎng)絡(luò)卻擅長存儲隱性知識，這也是現(xiàn)在深度學(xué)習(xí)表現(xiàn)非常好的原因。

而「系統(tǒng)2」的任務(wù)更多的需要以一種有意識的方式，按照順序并能夠用語言來描述，這也是所謂的顯性知識，涉及到了推理和規(guī)劃的算法。

所以「系統(tǒng)2」在做任務(wù)執(zhí)行的時候可能非常慢，但里面的涉及的關(guān)鍵確是我們想給深度學(xué)習(xí)進(jìn)一步擴(kuò)展的功能。

簡單而言，「系統(tǒng)2」任務(wù)的一個有趣的特性是允許操縱高級語義概念，這些概念可以在新的情況下使用，并與分布外的泛化相聯(lián)系，而未來的深度學(xué)習(xí)需要的正是種“操縱”功能。

認(rèn)知角度來說，我們大腦中關(guān)于世界的知識認(rèn)知可以分為兩類：隱性知識和顯性知識。能夠語言化的其實(shí)是一種特殊的知識，我們應(yīng)該試著去描述和刻畫，這樣才能把它放在模型的訓(xùn)練框架中。而且，這些知識是圍繞著我們可以用語言命名的概念來組織的。因此，這些研究和建立更好的自然語言理解之間有很強(qiáng)的聯(lián)系。

將意識加工到深度學(xué)習(xí)需要先驗(yàn)知識。那么什么樣的先驗(yàn)知識能夠幫助擴(kuò)展深度學(xué)習(xí)，并使其融入高級概念和「系統(tǒng)2」任務(wù)存在的那種結(jié)構(gòu)？

第一個前提是有些高級別之間的聯(lián)合分布的結(jié)構(gòu)，也稱為語義變量。聯(lián)合分布可以用圖形模型來描述，特別是因子圖，因?yàn)樗窍∈璧?，每個知識涉及的很少。此外，這些變量往往與因果關(guān)系有關(guān)。
還有一個假設(shè)，是關(guān)于高層次變量的，即思想和單詞和句子之間有一種簡單的關(guān)系，以便可以表達(dá)有意識的想法。

例如，在編程或邏輯思維中，有些知識是可以重用的，可以將它們視為跨多個實(shí)例應(yīng)用的規(guī)則，當(dāng)然也可以視為類似于函數(shù)的參數(shù)。

還有一個重要的問題，是考慮變量中的數(shù)據(jù)類型如何隨時間變化，概率分布如何隨時間變化。搞清楚這些非常重要，因?yàn)檫@些變量可能是因果關(guān)系的閃光符。這里面涉及的假設(shè)是：當(dāng)分布發(fā)生變化時，其余的聯(lián)合分布大多不會隨著關(guān)系的變化而變化。

還需要注意的一點(diǎn)是，我們的觀察、感官數(shù)據(jù)、低級動作和高級變量，當(dāng)有干預(yù)時，唯一會改變的是高水平變量的某些性質(zhì)，而不是它們與低水平知覺的關(guān)系。

最后一個假設(shè)是關(guān)于推理和計(jì)劃，以及什么對這些變量進(jìn)行分配（Credit Assignment），這里的假設(shè)是：在此進(jìn)行的信用分配涉及較短的成本變化。

符合以上假設(shè)的先驗(yàn)知識能夠幫助擴(kuò)展深度學(xué)習(xí)。

然后看一下「系統(tǒng) 2 」的任務(wù)涉及的有趣性質(zhì)，也就是所謂的系統(tǒng)概括能力，專業(yè)的語言學(xué)已經(jīng)對此做了非常多的研究，這些研究發(fā)現(xiàn)人類可以動態(tài)的重新組合現(xiàn)有的概念來形成一個新的概念。

這些概念可以是口頭的，也可以是視覺的，如上圖所示，不同類型的車輛組合在一起形成了一個新的概念，這種概念的重組能夠解釋我們從未見到過的觀測結(jié)果，即使是在訓(xùn)練分布概率為零的條件下也可以。
對于此種現(xiàn)象，到目前為止，我們在多篇論文中實(shí)驗(yàn)觀察到的是，當(dāng)分布發(fā)生這樣的變化時，當(dāng)前的深度學(xué)習(xí)系統(tǒng)表現(xiàn)不是很好，而且他們往往會發(fā)生過擬合。

顯然，AI并不能像人類做的那樣好，經(jīng)典的人工智能程序想要兩全其美，就要避免經(jīng)典的基于人工智能規(guī)則的符號操作的陷阱。

這就需要把通過深度學(xué)習(xí)取得的一些成果保留，如高效-大規(guī)模學(xué)習(xí)，語義基礎(chǔ)、以及「系統(tǒng)1」中的知識表達(dá)、以及機(jī)器學(xué)習(xí)正確處理不確定性的能力。

但是，我們想要的是一些與「系統(tǒng)2」相關(guān)優(yōu)勢，即將知識分解之后，我們可以操縱變量、實(shí)例以及引用。
接下來看一下注意力機(jī)制，在過去的幾年里，在深度學(xué)習(xí)方面，soft attention此類的工具已經(jīng)取得了進(jìn)展，這可能是我們過渡到“未來深度學(xué)習(xí)”的關(guān)鍵，即獲得從處理向量到能夠“操縱”的功能。
從機(jī)器翻譯開始，soft attention已經(jīng)對自然語言處理產(chǎn)生了巨大的影響，一些有趣的神經(jīng)科學(xué)表明，這種注意力在就像是內(nèi)部的一種肌肉運(yùn)動。

上面是神經(jīng)科學(xué)中關(guān)于意識的幾個理論的核心，尤其是全局工作空間理論，大多數(shù)是由Baars提出，涉及了意識過程的瓶頸問題。

當(dāng)前通常認(rèn)為信息是用注意力來選擇的，即從多種可能的方式和輸入的部分中選擇信息，然后將選擇的信息廣播到大腦的其他部分，并存儲在短期記憶中，以適應(yīng)短期內(nèi)的感知和行動。

這里有一個有趣的事情要注意，如果我們認(rèn)為大腦的大腦皮層是一個大的模擬引擎，那么就要假設(shè)一次只能運(yùn)行一次“全”模擬，區(qū)別于每一步只涉及幾個抽象的概念的“電影模式”。

從人們的口頭報(bào)告中，我們就可以判斷某些事件是有意識的還是無意識的。其實(shí)，不光是口頭報(bào)告，理解也非常重要，因?yàn)樗軐⒏呒墑e的示與較低級別感知聯(lián)系在一起。但也有很多關(guān)于這個世界的知識不能用我剛才談到的那些強(qiáng)有力的假設(shè)來代表。

2017年的時候，我在論文中曾經(jīng)提到過意識先驗(yàn)，如果用因果圖來表示的話，可以把每個因子像句子一樣看成是涉及幾個變量的聯(lián)合分布。

高級語言會有一個驚人的特性，那就是我可以在一句話中做出隱蔽性的預(yù)測。例如，“如果我扔一個球，這個球會掉在地上”

另外還可以做一個只涉及少數(shù)幾個概念的強(qiáng)有力的預(yù)測，不同于通常的邊際獨(dú)立假設(shè)，我們假設(shè)高級變量是獨(dú)立的。

這些都與我剛才談到的注意力的概念有關(guān)，因?yàn)楫?dāng)你想要對這樣一個稀疏的圖表進(jìn)行推理時，一個合理的方法是一次只關(guān)注一個或幾個因素。

關(guān)于事物在分布上可能如何變化的假設(shè)也非常重要，因?yàn)樗軌蛱峁┝艘恍耙庾R處理”的強(qiáng)大力量。

想象這樣一個畫面：有一個原始數(shù)據(jù)，它有一個非常復(fù)雜的聯(lián)合分布，我們將用兩個層次來表示它。然后將四分之一的原始數(shù)據(jù)映射到抽象空間，根據(jù)這個假設(shè)，當(dāng)分布發(fā)生變化時會發(fā)生什么？

其實(shí)，在抽象空間中，更改是局部化的，可能只需要修改一個變量、一個條件或一個因素。因此，學(xué)習(xí)如何適應(yīng)修改后的分布變得容易得多，如果以正確的方式表示信息，就可以快速傳輸。

這些變化是怎么造成的呢？很可能是因?yàn)橐粋€Agent在全局中做了一些事情。由于物理行為在空間和時間上都是局部化的，Agent只能以局部化的方式做事情。

例如，如果我戴上墨鏡，在較高的水平上，只能看到一點(diǎn)點(diǎn)變化，但在較低的水平，變化非常大，因?yàn)樗械南袼囟加胁煌穆?lián)合分布。

分布變了之后會發(fā)生什么呢？一般機(jī)器學(xué)習(xí)模型訓(xùn)練都假設(shè)使用的數(shù)據(jù)是服從獨(dú)立同分布，但這顯然不符合實(shí)際情況。于是，我們使用一個元學(xué)習(xí)目標(biāo)來學(xué)習(xí)如何將獲得的知識模塊化，并找到其中的因果關(guān)系。
具體而言，我們在簡單的設(shè)置中嘗試了這個想法，首先，用兩個變量a和b，通過改變分布來學(xué)習(xí)，對其中一個變量的干預(yù)，在這種情況下，我們發(fā)現(xiàn)了學(xué)習(xí)的速度。

這個發(fā)現(xiàn)是一個很好的線索，意味著你是否有正確的假設(shè)，是否有正確的高級變量集。關(guān)于A和B誰是誰的原因，我們最近在理論方面擴(kuò)展了這項(xiàng)工作，證明了什么時候可以收斂到正確的因果假說。譯者注：論文是《一個元轉(zhuǎn)移的目標(biāo)學(xué)習(xí)解開因果機(jī)制》
地址：https://openreview.net/forum?id=ryxWIgBFPS

最后，提一下我想提的工作，一篇叫做《Recurrent Independent Mechanisms》的論文里面重新定義了一個新的recurrent neural net架構(gòu)，在這個架構(gòu)中，把recurrent net 分解成更小的模塊，在每個模塊里面，它是完全連接在一起的，并不是一個同質(zhì)的網(wǎng)絡(luò)。模塊之間，有一個注意力機(jī)制，當(dāng)然，你也可以認(rèn)為這是意識的集中地。

總結(jié)一下，在前面的演講中，我試圖為深度學(xué)習(xí)勾勒出一個研究方向，為深度學(xué)習(xí)捕捉「系統(tǒng)1」的知識。我發(fā)現(xiàn)這里面有很多有趣的研究方面，例如系統(tǒng)之外的東西、事物的分布、知識的呈現(xiàn)方式......
解決這些問題，知識先驗(yàn)是一個非常好的想法，可以讓知識分解重組然后對應(yīng)依賴性的知識，并且能夠涉及非常少的變量。顯然，這非常有趣，因?yàn)樗试S一個Agent能夠快速的適應(yīng)分布的變化。

（雷鋒網(wǎng)）、（雷鋒網(wǎng)）（雷鋒網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。