0
雷鋒網(wǎng) AI 科技評(píng)論按：近日，深度學(xué)習(xí)三駕馬車之一的 Yann LeCun 教授與斯坦福大學(xué) NLP 掌門人 Christopher Manning 教授共同出席了斯坦福 AI 實(shí)驗(yàn)室所舉辦的 AI 沙龍，一同討論了關(guān)于「什么是我們應(yīng)該加入到深度學(xué)習(xí)系統(tǒng)中的先驗(yàn)知識(shí)」的話題。盡管兩位教授對(duì)此話題有著不同的觀點(diǎn)，但是大牛之間思想的碰撞總能帶給大家很多啟發(fā)。
沙龍中所討論的主題是目前 AI 研究中很重要的一個(gè)問題：神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)設(shè)計(jì)，以及這些結(jié)構(gòu)是如何與某些假設(shè)和歸納性先驗(yàn)知識(shí)相對(duì)應(yīng)的。事實(shí)上，去年就有研究者將「語(yǔ)言結(jié)構(gòu)的回歸」作為 2017 年四大 NLP 深度學(xué)習(xí)研究趨勢(shì)之一。
Manning 教授提倡將更多的語(yǔ)言結(jié)構(gòu)融入到深度學(xué)習(xí)系統(tǒng)中。而 LeCun 則認(rèn)為簡(jiǎn)單而強(qiáng)大神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就能夠執(zhí)行復(fù)雜的任務(wù)，而不需要大量針對(duì)特定任務(wù)的特征工程方法。出于這個(gè)原因，兩個(gè)人之間的學(xué)術(shù)理念有很大的分歧。對(duì)此，一個(gè) Twitter 上的評(píng)論認(rèn)為，他們兩個(gè)就是 AI 領(lǐng)域中的蝙蝠俠大戰(zhàn)超人。
然而，LeCun 和 Manning 之間互相認(rèn)同的地方可能超出大家的預(yù)期。LeCun 最著名的貢獻(xiàn)（卷積神經(jīng)網(wǎng)絡(luò)）是完全基于先驗(yàn)知識(shí)的：圖像處理系統(tǒng)應(yīng)該具有平移不變性。這個(gè)基本假設(shè)也體現(xiàn)在了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)中（權(quán)值共享）。而對(duì)于 Manning 而言，他曾經(jīng)公開表示，深度學(xué)習(xí)的復(fù)興對(duì)于 NLP 來(lái)說(shuō)是一件好事。
盡管兩位教授在這次討論中得到了很多共識(shí)，但是同樣也存在很多分歧。完整內(nèi)容可以觀看討論視頻：https://youtu.be/fKk9KhGRBdI 。下面雷鋒網(wǎng) AI 科技評(píng)論編譯了整個(gè)討論中出現(xiàn)的主要話題。
在 Manning 和 LeCun 的開場(chǎng)發(fā)言中，兩個(gè)人就確立了主要分歧。
Manning 認(rèn)為結(jié)構(gòu)是「必要的善」（necessary good），他提出我們應(yīng)該對(duì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)持積極的態(tài)度。相比于沒有結(jié)構(gòu)設(shè)計(jì)的系統(tǒng)，一個(gè)精心設(shè)計(jì)的系統(tǒng)能夠從更少的數(shù)據(jù)中學(xué)到更多的知識(shí)，并且能夠在更高的抽象層次上學(xué)習(xí)。
相反，LeCun 將結(jié)構(gòu)描述為「必要的惡」(necessary evil)，他警告說(shuō)：使用結(jié)構(gòu)需要我們做出某些假設(shè)，而這些假設(shè)總會(huì)在某些數(shù)據(jù)上是錯(cuò)誤的，而且可能在不久的將來(lái)過時(shí)。同時(shí)還舉例說(shuō)，ConvNet 可能在 10 年之內(nèi)就會(huì)過時(shí)。
盡管存在分歧，但是我們應(yīng)該注意到，LeCun 和 Manning 至少同意結(jié)構(gòu)是「必要的」，盡管他們對(duì)這種必要性持相反的態(tài)度。
Manning 認(rèn)為加入更多結(jié)構(gòu)設(shè)計(jì)是正確的，而且有是有道理的，比如，語(yǔ)言本質(zhì)上就是遞歸的，因此 NLP 系統(tǒng)的結(jié)構(gòu)也應(yīng)該如此！比如，遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，也叫做 Tree-RNN）在 NLP 中取得了成功，它就提出了遞歸語(yǔ)義合成性作為先驗(yàn)知識(shí)。然而，Manning 也承認(rèn)，在實(shí)踐中很難做出正確的結(jié)構(gòu)假設(shè)，同時(shí)這些假設(shè)也不總是能轉(zhuǎn)化為性能提升。
LeCun 對(duì)結(jié)構(gòu)設(shè)計(jì)的理想化程度則低得多。在討論過程中，他多次提到各種類型的結(jié)構(gòu)（比如，殘差連接，卷積等），認(rèn)為它們僅僅是為了網(wǎng)絡(luò)能夠優(yōu)化到足夠工作的程度所需的「元級(jí)基礎(chǔ)」（meta-level substrate）。他認(rèn)為，一個(gè)沒有任何結(jié)構(gòu)限制的類似網(wǎng)絡(luò)結(jié)構(gòu)也可以很好的工作，只是可能需要更長(zhǎng)時(shí)間的訓(xùn)練。
LeCun 和 Manning 都注意到了目前 AI 研究在整個(gè) AI 發(fā)展的歷史軌跡中所處的位置。在過去的幾十年里，基于眾多先驗(yàn)知識(shí)的方法已經(jīng)過時(shí)，目前的深度學(xué)習(xí)研究更傾向于將嚴(yán)格監(jiān)督端到端學(xué)習(xí)視為主導(dǎo)范式（由大數(shù)據(jù)和豐富的計(jì)算資源所支持）。
LeCun 和 Manning 都一再?gòu)?qiáng)調(diào)這種范式的局限性，例如在記憶，計(jì)劃，遷移學(xué)習(xí)，世界知識(shí)和多步推理方面都存在問題。同時(shí)他們都對(duì)目前通過結(jié)構(gòu)設(shè)計(jì)以解決這些問題的方法表達(dá)了積極態(tài)度。
然而，Manning 更進(jìn)一步，斷言現(xiàn)代深度學(xué)習(xí)的大數(shù)據(jù)大計(jì)算范式實(shí)際上已經(jīng)「顛覆了計(jì)算語(yǔ)言學(xué)領(lǐng)域」并且「偏離了軌道」。他認(rèn)為，如果你能夠得到大量的數(shù)據(jù)和計(jì)算資源，你就能夠通過構(gòu)建簡(jiǎn)單但效率低下的系統(tǒng)獲得成功，而這個(gè)系統(tǒng)只需最表層的「最近鄰學(xué)習(xí)」。這阻礙了研究人員建立良好的學(xué)習(xí)系統(tǒng)：使用較少的數(shù)據(jù)，在較高抽象層次學(xué)習(xí)表示。他說(shuō)這對(duì)整個(gè)領(lǐng)域都是不利的。而解決這個(gè)問題的答案就是，加入適當(dāng)?shù)慕Y(jié)構(gòu)，使系統(tǒng)能夠在正確的抽象層次上有效的學(xué)習(xí)概念。
盡管兩位教授有分歧，但是并不確定 LeCun 究竟是如何認(rèn)為 Manning 聲稱的深度學(xué)習(xí)在某種程度上「顛覆了這個(gè)領(lǐng)域」的。然而，LeCun 確實(shí)同意深度學(xué)習(xí)缺少一些基本的原理（想了解更多，請(qǐng)參閱他的CVPR 2015的演講，「深度學(xué)習(xí)有什么問題？」）。
盡管討論涉及了當(dāng)今人工智能技術(shù)的許多核心局限性，但其中有一個(gè)特別迫切的且特殊的挑戰(zhàn)，也就是無(wú)監(jiān)督學(xué)習(xí)，或者至少是少監(jiān)督學(xué)習(xí)。
兩位教授都舉了一些例子：人類能夠進(jìn)行小樣本學(xué)習(xí)（few-shot learning），人類能夠通過觀察了解世界，而無(wú)須任務(wù)或者外部獎(jiǎng)勵(lì)。并且人類還可以在沒有明確監(jiān)督的情況下學(xué)習(xí)具有離散結(jié)構(gòu)的抽象概念（例如對(duì)象分類）。
他們認(rèn)為，這些無(wú)監(jiān)督學(xué)習(xí)能力對(duì) AI 的進(jìn)步至關(guān)重要。但是，在結(jié)構(gòu)應(yīng)該在無(wú)監(jiān)督學(xué)習(xí)革命中扮演什么角色的問題上，LeCun 和 Manning 產(chǎn)生了分歧。
Manning 認(rèn)為加強(qiáng)結(jié)構(gòu)是解鎖無(wú)監(jiān)督學(xué)習(xí)的關(guān)鍵。他說(shuō)，如果我們?yōu)闄C(jī)器提供適當(dāng)?shù)慕Y(jié)構(gòu)工具，以在適當(dāng)?shù)某橄髮蛹?jí)上學(xué)習(xí)，那么他們就能夠在較少的監(jiān)督下學(xué)習(xí)。
相反，LeCun 認(rèn)為，如果能夠進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，那就不需要使用結(jié)構(gòu)。比如，LeCun 舉例說(shuō)人類的大腦并沒有任何先天的卷積結(jié)構(gòu)，大腦并不需要這種結(jié)構(gòu)，因?yàn)樽鳛橐粋€(gè)高效的無(wú)監(jiān)督學(xué)習(xí)器，即使沒有卷積權(quán)值共享的約束，大腦同樣可以學(xué)習(xí)大量相同的低級(jí)圖像特征（如方向邊緣檢測(cè)器）作為 ConvNet。他總結(jié)說(shuō)，對(duì)于我們目前的神經(jīng)網(wǎng)絡(luò)架構(gòu)使用更多的結(jié)構(gòu)可能是徒勞的，因?yàn)橐坏┪覀冮_發(fā)出了更好的無(wú)監(jiān)督學(xué)習(xí)方法，那些結(jié)構(gòu)設(shè)計(jì)就會(huì)過時(shí)。
兩者觀點(diǎn)之間的差異很微妙，也許就是蛋生雞還是雞生蛋的區(qū)別。Manning 認(rèn)為結(jié)構(gòu)是實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)的關(guān)鍵，而 LeCun 則將無(wú)監(jiān)督學(xué)習(xí)當(dāng)作學(xué)習(xí)結(jié)構(gòu)的一個(gè)長(zhǎng)期目標(biāo)。
在討論過程中，很明顯至少有兩種類型的「結(jié)構(gòu)」：作為先驗(yàn)嵌入到模型中結(jié)構(gòu)（例如，ConvNet 中的卷積假設(shè)，或者遞歸神經(jīng)網(wǎng)絡(luò)中的遞歸假設(shè)），和通過機(jī)器動(dòng)態(tài)學(xué)習(xí)和計(jì)算出的結(jié)構(gòu)（比如，通過膠囊網(wǎng)絡(luò)中動(dòng)態(tài)路由計(jì)算出的結(jié)構(gòu)，或注意力機(jī)制計(jì)算的關(guān)注區(qū)域）。兩者之間沒有一個(gè)簡(jiǎn)單的區(qū)分方法，Manning 和 LeCun 在 ConvNet 層級(jí)結(jié)構(gòu)應(yīng)該屬于哪種結(jié)構(gòu)的問題上持有不同的意見。
LeCun 一再反對(duì)硬連接先驗(yàn)（hard-wired prior），它認(rèn)為所有結(jié)構(gòu)都應(yīng)該從環(huán)境中學(xué)習(xí)。雖然 Manning 同意應(yīng)該從環(huán)境中學(xué)習(xí)到很多結(jié)構(gòu)，但他也認(rèn)為我們（AI 系統(tǒng)的設(shè)計(jì)者）應(yīng)該在提供這種結(jié)構(gòu)方面起到一定的作用。雖然我們不應(yīng)該回到人類設(shè)計(jì)復(fù)雜的系統(tǒng)（如 Chomskyan 文法）的時(shí)代，但他說(shuō)，我們應(yīng)該為機(jī)器提供正確的「基礎(chǔ)和腳手架」以更有效地學(xué)習(xí)。
LeCun 和 Manning 認(rèn)為理想情況下，獎(jiǎng)勵(lì)應(yīng)該是天生的，也就是說(shuō)，正確地理解世界就是它自己的獎(jiǎng)勵(lì)。比如，人類不斷的構(gòu)建自己的世界模型，并根據(jù)外部觀察對(duì)其進(jìn)行修改。
相比之下，今天大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)從外部提供的與特定任務(wù)密切相關(guān)的獎(jiǎng)勵(lì)中學(xué)習(xí)。Manning 認(rèn)為目前這些目標(biāo)函數(shù)定義的太過膚淺，他指出：如果將目標(biāo)函數(shù)定義在如此低的水平，我們將永遠(yuǎn)不會(huì)建立能夠?qū)W習(xí)抽象概念的 AI 系統(tǒng)。LeCun 認(rèn)為獎(jiǎng)勵(lì)需要是本質(zhì)的，豐富的，而不是從特定任務(wù)的獎(jiǎng)勵(lì)中學(xué)習(xí)，AI 系統(tǒng)應(yīng)該通過不斷預(yù)測(cè)「一切事物」來(lái)學(xué)習(xí)，而不需要訓(xùn)練標(biāo)簽或者任務(wù)定義。
在討論的最后幾分鐘里，LeCun 可能有些挑釁，他認(rèn)為語(yǔ)言「不那么復(fù)雜」，也不是實(shí)現(xiàn)通用智能的關(guān)鍵。為了支持他這一觀點(diǎn)，他說(shuō)猩猩幾乎像人類一樣聰明，但他們并沒有語(yǔ)言。Manning 則捍衛(wèi)語(yǔ)言的重要性作為回應(yīng)，他認(rèn)為：語(yǔ)言對(duì)通用智能至關(guān)重要，因?yàn)檎Z(yǔ)言是將人智能共享并轉(zhuǎn)化為社會(huì)智能的渠道。
在總長(zhǎng)一個(gè)小時(shí)的對(duì)話里，兩人還討論了許多其它的論文和學(xué)術(shù)思想，更多內(nèi)容可以參見英文原博客 http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html ，以及現(xiàn)場(chǎng)視頻 https://youtu.be/fKk9KhGRBdI 。
via abigailsee，雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
