0
雷鋒網(wǎng) AI 科技評論按：我們都知道，深度學習的三駕馬車獲得了 2018 年的圖靈獎，這是對深度學習的技術(shù)成功以及三人貢獻的最佳肯定。最近幾年里，Geoffrey Hinton 帶來了知識蒸餾和膠囊網(wǎng)絡，Yann LeCun 在繼續(xù)研究 CV+機器人的同時，也堅持和 Gary Marcus 打網(wǎng)絡口水仗。
那么 Yoshua Bengio 在做什么呢？最近 IEEE Spectrum 電子雜志找到 Bengio 對他進行了一次采訪（Yann LeCun 在推特上轉(zhuǎn)發(fā)了這篇演講，而且大段引述了采訪中的 Bengio 的原話，表達他對 Bengio 的贊同）。
Bengio 也隨后在 NeurIPS 2019 的全體演講中更深入、更細致地介紹了他的想法和現(xiàn)階段的研究成果，演講主題為《From System 1 Deep Learning to System 2 Deep Learning》，內(nèi)容簡介與 PPT 下載見文末。
雷鋒網(wǎng) AI 科技評論首先把 IEEE Spectrum 電子雜志采訪編譯如下。
記者：現(xiàn)在有很多人都在討論深度學習的限制，你有什么看法？
Bengio：很多面向大眾的信息渠道都不理解學術(shù)人員做科研的方式，不管是針對 AI 領(lǐng)域還是其他學科，其實，我們研究和理解當前的理論和方法的不足之處，是為了能探索我們的智力工具之外的更大的空間。深度學習的研究人員們想要找到深度學習的效果并不如我們預想的那么好的場景，這樣我們就可以知道還缺了什么、還要探索哪些新方向。
不幸的是這個過程被 Gary Marcus 這樣的人找茬了，然后從他的嘴里說出來就變成了「你們看，我就說深度學習不行吧」。不管他怎么說，像我這樣的研究人員們其實都在想方設法拓展深度學習的能力范圍。當我說到 AI 系統(tǒng)需要有能力理解因果關(guān)系的時候，我的意思也不是說要用因果關(guān)系把深度學習推翻，我想要做的是給我們當前的工具箱里再添一些新東西。
作為一個科學家，對我來說真正重要的是還需要探索哪些新方向才能解決問題。誰對誰錯、誰站了誰的隊這種事情我并不關(guān)心。
（Gary Marcus 后來對此解釋道：「在 Yoshua 的話里我好像是一個完全反對深度學習的人，實際上我是混合派，我還是看好深度學習的，但我認為它應該和其它的方法結(jié)合使用。深度學習是一個挺不錯的工具，但它肯定不是唯一的工具?！梗?/p>
記者：你如何評價深度學習的當前狀態(tài)？
Bengio：過去二十多年里我們對深度學習的研究進度可以這樣評價：直到今天，這些系統(tǒng)能達到的智慧程度都沒法和一個 2 歲的小孩相提并論。不過，我們的算法在感知任務里可能能達到一些更低級的動物的水平。我們現(xiàn)在也有越來越多的工具可以幫助一個系統(tǒng)探索它所在的環(huán)境，所以這些系統(tǒng)的智力水平也在慢慢地逐步提升。
如今有一個主要的爭論是，高層次的認知是由哪些基礎(chǔ)組件構(gòu)成的？我們猜測因果關(guān)系是其中一個組件，另外還有推理、規(guī)劃、想象力、歸因。在傳統(tǒng) AI 中，嘗試解決這些問題的方法是邏輯和符號。有人提出我們現(xiàn)在也可以用傳統(tǒng) AI 的方式來做，不過可能要做一些改進。
也有一些人和我有一樣的想法，我們覺得應該在過去這些年設計的深度學習工具的基礎(chǔ)上實現(xiàn)這些功能，這和人類做推理的方式更相似；而人類做推理的方式是和純粹的邏輯系統(tǒng)、基于搜索的執(zhí)行方式完全不同的。
記者：我們要如何創(chuàng)造和人類的推理方式類似的功能呢？
Bengio：注意力機制讓我們可以把計算能力集中在某幾個物體、某幾個計算上。人類的這種工作方式是「有意識的處理過程」中的尤其重要的一個部分。當人有意識地關(guān)注某件事時，你的注意力在很少的幾個元素上，可能就只是某個念頭，然后會轉(zhuǎn)向下一個念頭。這種過程和標準的神經(jīng)網(wǎng)絡完全不同，神經(jīng)網(wǎng)絡的處理方式是大規(guī)模的并行化處理。在深入學習引入注意力機制之后，我們在計算機視覺、翻譯、存儲方面都有很大的進步，而我覺得這只不過是仿大腦的這種新的計算形式的開始而已。
需要說明的是，我們距離解決這些問題還遠，但我們手里已經(jīng)有不少工具，已經(jīng)可以動起來了。我也沒覺得這會很容易。2017 年的時候我寫過一篇論文《The Consciousness Prior》（意識先驗，https://arxiv.org/abs/1709.08568），里面就提出了這個問題。我有好幾個學生就在研究這個問題，我也知道這需要付出長期的努力。
記者：人類智慧中還有哪些方面是你希望能在 AI 中重現(xiàn)的？
Bengio：我們對神經(jīng)網(wǎng)絡的能力有過一些想象，在其中，推理能力、記憶能力、想象力其實是人腦思考這同一件事的三個不同的部分。你假想自己在過去或者未來做什么事、產(chǎn)生什么后果，隨著你假想的時間倒流或者前進，你實際上在做推理。如果你預計到未來會發(fā)生什么不好的事情，你會現(xiàn)在就采取一些措施改變事情發(fā)生的軌跡，這就是規(guī)劃了。記憶力也用到了，因為你需要回憶你知道的信息來做出決策。你會選出當前的重要的事情，以及選出過去的相關(guān)的事情。
注意力是其中的一個關(guān)鍵的基礎(chǔ)功能。比方說我正在把一本書翻譯成另外一個語言。每翻譯一個詞，我需要仔細閱讀的是書里的很小很小一部分內(nèi)容。注意力就可以幫我們拋棄很多不相關(guān)的細節(jié)，關(guān)注真正重要的東西。能夠挑出相關(guān)的、重要的元素，這就是注意力的作用。
記者：這種想法很棒，但它要怎么用在機器學習里呢？
Bengio：我們不需要告訴神經(jīng)網(wǎng)絡要把注意力放在什么東西上，這正是神經(jīng)網(wǎng)絡的魅力所在。它能夠?qū)W習，它能自己學會要給一組元素里的每一個分配多少注意、多少權(quán)重。
記者：最近你在因果關(guān)系方面的研究和這些之間有沒有什么關(guān)系？
Bengio：人類在推理時用到的高層次概念，在我看來很可能是一些帶有因果關(guān)系的變量。人類做推理并不是基于像素這種細枝末節(jié)的元素的，而是門、把手、門開著、門關(guān)了這樣的概念。因果關(guān)系在機器學習的下一步發(fā)展中非常重要。
而且因果關(guān)系也和做深度學習的人都關(guān)心的另一個話題有關(guān)。人類有一種系統(tǒng)性泛化的能力，可以把已經(jīng)知道的概念推廣到更多的事情上，不同的概念用新的方式融合之后可以得到全新的東西。今天的機器學習還做不到這一點。當前的機器學習都是在某個特定的數(shù)據(jù)集上做訓練，在一種情境下訓練模型，然后在另一種情境（比如另一個國家里）使用模型，這樣經(jīng)常會帶來問題。我們需要泛化能力，需要遷移學習。我們面前的一個重大挑戰(zhàn)就是把模型遷移到一個新環(huán)境以后，如何保證它能繼續(xù)正常工作、或者能快速適應。
記者：這種適應能力的關(guān)鍵是什么？
Bengio：元學習是近期的一個熱門話題，就是「學習如何學習」。我在 1991 年的時候也寫論文討論過這個概念，不過一直到最近幾年我們才終于有了足夠的計算能力可以實現(xiàn)這種東西；它們需要消耗很多的計算能力。
它的核心思想是，為了能夠泛化到一個新的環(huán)境，就需要練習如何泛化到新環(huán)境。這種思想很簡單，其實小孩就一直是這樣的，從家里的一個房間走到另一個房間，環(huán)境不是固定的，一直在改變，小孩就逐漸學會了適應。為了能高效地適應，小孩還需要用到他們以前學到的知識。我們對這種能力的理解正在逐漸加深，也在嘗試構(gòu)建工具來復制這種能力。
有一些聲音批評深度學習需要大量的數(shù)據(jù)，如果想要在一個任務上訓練深度學習模型的話確實是這樣的。而小孩只需要很少的數(shù)據(jù)就可以學習，他們能重復利用以前學習過的東西。但更重要的是，他們利用了適應、泛化的能力。
記者：我們能很快在真實世界看到這些想法嗎？
Bengio：還不行。我剛才談到的這些都是非?；A(chǔ)的科學研究，都是在非常簡單的問題上做驗證。不用覺得遺憾，現(xiàn)在我們的進度就是只到這里。我們現(xiàn)在先檢驗這些想法，然后不斷提出新的假說。它們都沒辦法很快就用在工業(yè)界。
不過有兩個來自工業(yè)界的、對他們造成實際困擾的限制是這些研究可以起到作用的。第一個是，構(gòu)建一些對環(huán)境中的變化更魯棒的系統(tǒng)；第二，如何構(gòu)建自然語言處理系統(tǒng)、對話系統(tǒng)、虛擬助手？目前的這些基于深度學習技術(shù)、達成了非常高的表現(xiàn)的系統(tǒng)的問題在于，雖然它們都是用海量數(shù)據(jù)訓練出來的，但是它們并不完全理解它們說的話是什么意思。Gary Marcus 這樣的人會跳出來說：「這不就說明了深度學習不行嗎」，而我這樣的人就會說：「這很有意思，我們來解決這個挑戰(zhàn)吧。」
記者：有沒有辦法把聊天機器人做得更好？
Bengio：最近有個點子叫做「有依據(jù)的語言學習」（grounded language learning），吸引了很多研究人員的注意力。它的核心是提出 AI 系統(tǒng)不應該僅僅通過文本學習，它應該同時學習（認識）這個世界的運行方式以及學習如何用語言描述世界。我們可以問問自己，如果一個小孩只愿意從書本上了解世界，我們會覺得他能對世界建立起完整的了解嗎？我覺得是很難的。
這和「有意識知識」和「無意識知識」之間也有一些關(guān)系，「無意識知識」就是那些我們知道但是講不出來的東西。一個典型的例子是物理直覺，一個兩歲的小孩就能建立起物理規(guī)律的直覺，不需要學習牛頓的萬有引力定律就有重力的概念。現(xiàn)在已經(jīng)有一些研究人員在嘗試構(gòu)建能和環(huán)境互動、探索基本物理規(guī)律的系統(tǒng)。
記者：基本物理規(guī)律為什么能對對話系統(tǒng)起到幫助呢？
Bengio：對話系統(tǒng)的問題在于，它們通常都是不了解提到的那個詞的復雜性的。比如有這樣一句話，「Jim 想把臺燈裝進他的皮箱里，但是它太大了。」我們?nèi)祟愑谐ＷR，明白「太大了會導致裝不進去」的只能是臺燈，就能確認「它」的指代，能正確理解這個句子。這些知識的確有辦法用語言描述，但對人類來說這些常識，比如一個箱子一般是什么尺寸，是不會總掛在嘴邊的。
我們希望語言理解系統(tǒng)也能對這個世界有更多的了解。目前來說，AI 研究人員們都在抄近道，但抄近道是沒法真正解決問題的，AI 系統(tǒng)最終還是需要建立起一個世界運行的模型。
（采訪完）
加拿大當?shù)貢r間 12 月 11 日下午，Yoshua Bengio 在 NeurIPS 2019 現(xiàn)場進行演講。清華大學唐杰老師對 Bengio 演講內(nèi)容做了轉(zhuǎn)述總結(jié)，雷鋒網(wǎng) AI 科技評論摘錄如下。
《From System 1 Deep Learning to System 2 Deep Learning》
Yoshua 認為，AI 作為本世紀的驚人進步，僅僅依靠增加數(shù)據(jù)集、模型大小、電腦速度是否就足夠了呢？實際上 AI 距真正的人工智能還差的很遠！
Yoshua 的第一個觀點，是指人的認知系統(tǒng)包含兩個子系統(tǒng)（這是認知理論中大家共識的觀點）：System1 直覺系統(tǒng)，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情；System2 是邏輯分析系統(tǒng)，是有意識的、帶邏輯、規(guī)劃、推理以及可以語言表達的系統(tǒng)，這是未來深度學習需要著重考慮的。當然 Yoshua 也提到計算機作為 Agent 實現(xiàn) AI，需要從計算機角度考慮，比如更好的模型和知識搜索等。
對于如何用深度學習來實現(xiàn) System2？
Yoshua 認為，對于計算機來說，最關(guān)鍵的是處理數(shù)據(jù)分布中的變化。對于 System 2 來說，基本的要素包括：注意力和意識。注意力（Attention）實際在目前的深度學習模型中已經(jīng)有大量的實現(xiàn)和探討，比如 GAT（圖注意力機制）等；意識這部分則比較難，其實意識最關(guān)鍵的是定義到怎樣的邊界。Yoshua 提到意識先驗可以使用稀疏因子圖模型來實現(xiàn)，這是一個思路，實現(xiàn)了因果關(guān)系。從整體的理論框架方面可以考慮元學習（Meta-learning）、局部修正假設（localized change hypothesis）、因果發(fā)現(xiàn)（causal discovery），最后架構(gòu)方面可以考慮如何學習不同對象的操作。
對于處理數(shù)據(jù)分布，傳統(tǒng)機器學習都是基于 IID（independent and identically distributed），也就是獨立同分布的假設，但實際現(xiàn)狀是很多真實場景下我們感興趣的數(shù)據(jù)往往是出現(xiàn)次數(shù)非常少的數(shù)據(jù)，也就是我們在處理時需要關(guān)注更多的是 OOD（out of distribution），也就是在數(shù)據(jù)中出現(xiàn)較少的分布，當然這需要我們在機器學習算法中有新的數(shù)據(jù)假設。尤其是從 Agent 的角度來考慮，需要考慮哪些是影響數(shù)據(jù)分布變化的因素，以及不同分布的可組合性等方法如何對現(xiàn)在的 IID 和 OOD 進行泛化。相對傳統(tǒng)的符號 AI 系統(tǒng)，當前的 AI 需要更多具有泛化能力的機器學習能力。
注意力機制是最近幾年深度學習發(fā)展的一個重要技術(shù)，最近幾年在很多系統(tǒng)中都有大量應用，注意力機制可以看做實現(xiàn)意識的第一步，在人類大腦中有自上而下的注意力和自下而上的注意力。
從認知角度來說，意識是一個很復雜的機制，Global Workspace Theory 是 1988 年 Baars 等人提出的一個認知神經(jīng)理論，其核心思想就是意識內(nèi)容在各種不同認知過程中全局存在，包括 Attention、 Evaluation、 Memory and verbal report。這些概念聽起來有點抽象，后來 Dehaene、Changeux and colleagues 等人提出了一個 Global Workspace Architecture 的實現(xiàn)模型。Global workspace theory 和前面介紹的 System2 很相似，其他和意識相關(guān)的認知理論還包括 Multiple drafts theory，這是 Daniel Dennett 在 1991 年提出的一個理論。
機器學習和意識模型相結(jié)合的關(guān)鍵是如何在機器學習中實現(xiàn)意識，或者說意識相關(guān)的理論/模型如何幫助機器學習。比如可以基于意識理論構(gòu)造一些假設，然后用機器學習的方法來驗證這些假設。當然從人的角度來看意識，高層次的表示可以說是語言，這需要把人的兩個認知系統(tǒng) System1 和 System2 有機地結(jié)合起來，也就是說把低層次的表示和高層次的決策結(jié)合起來。
Yoshua 還提到了前意識/意識先驗。具體可以使用稀疏因子圖，稀疏因子圖不是一個新的事，基本思路是圖模型的統(tǒng)一模型，因子圖的好處是可以把有向圖和無向圖都統(tǒng)一起來。稀疏因子圖可以用來學習變量之間的因果關(guān)系，從而構(gòu)造變量之間的因果關(guān)系（找到真正的因果關(guān)系，而不是給不同變量給一個權(quán)重，這是為什么考慮稀疏的原因）。
元學習（學習學習的模型）是可能實現(xiàn)機器學習到 OOD 和模型快速遷移的一個辦法。說到 OOD，究其原因是有行為的變化，或者是用戶行為對于數(shù)據(jù)的干預。元學習的知識表示可以有效幫助克服 OOD，比如通過元遷移學習到變量之間的因果關(guān)系，這里的挑戰(zhàn)是如何學習到未知干預變量的因果特性。最后是如何學習樣本的可能操作，類似自動機器學習，但這里是在對象的不同操作層面。
PPT 下載見 https://www.yanxishe.com/resourceDetail/1140
via spectrum.ieee.org & 學術(shù)頭條公眾號，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
