0
| 本文作者： 我在思考中 | 2022-04-12 10:29 |
作者 | Sepp Hochreiter
解讀 | Antonio
編輯 | 陳彩嫻
人類包含意識、認知、決策等等在內(nèi)的智慧能力，似乎從人類有記錄的那一刻起，就吸引著無數(shù)哲學家的思索。與之類似，從AI誕生的那一刻，科學家們則在憧憬：AI 如何能夠達到像人類一樣的智能？
近期，LSTM 提出者和奠基者，奧地利人工智能高級研究所（IARAI）創(chuàng)始人，曾獲得IEEE CIS 2021 年神經(jīng)網(wǎng)絡先驅(qū)獎（Neural Networks Pioneer Award）的Sepp Hochreiter教授在《ACM通訊》上對目前AI達到的智能水平發(fā)表了看法。
Sepp Hochreiter 指出，目前 AI 的發(fā)展正以廣義 AI（Broad AI）為目標。他強調(diào)，將以往基于邏輯的符號AI和現(xiàn)有的基于數(shù)據(jù)的神經(jīng)AI結合的雙向AI（bilateral AI）是最有希望實現(xiàn)廣義 AI 的方式。
深度神經(jīng)網(wǎng)絡是現(xiàn)在 AI 的主流實現(xiàn)方式。盡管它可以實現(xiàn)驚人的性能，但就和人的智能比較而言，它仍然存在很多的缺陷。Hochreiter 教授援引紐約大學認知科學家 Gary Marcus 曾經(jīng)對于神經(jīng)網(wǎng)絡的批判，認為：（1）神經(jīng)網(wǎng)絡極度需要數(shù)據(jù)（data hungry）；（2）有限的遷移能力、也無法有效地遷移到新的任務或者數(shù)據(jù)分布上去；（3）對于世界知識或者先驗知識無法充分地融合進去。
也因此，Hochreiter教授警示道，決策者對于這些模型在真實數(shù)據(jù)的應用領域的效果存疑，因為真實場景下的數(shù)據(jù)總是變化著的、帶噪聲的、甚至數(shù)據(jù)稀缺的。事實上，在需求很大但安全性和可解釋性占很大考量的醫(yī)療、航空、無人駕駛等領域，深度學習技術的應用仍舊有限。
盡管如此，Hochreiter教授也指出，當下的 AI 已經(jīng)在試圖克服這些缺陷，并且以“廣義AI”（broad AI）作為當下AI的新目標。
什么樣的系統(tǒng)是廣義AI呢？
它區(qū)別于現(xiàn)有的、專門針對特定任務設計的狹義AI（narrow AI），而更加強調(diào)技能習得和問題解決的能力（skill acquisition and problem solving）。這一觀點來自任職于Google、Keras作者Fran?ois Chollet曾在一篇論文中提到對于智能的定義。Chollet認為處于智能第二階梯（下圖）的廣義AI應該具有以下重要的特征：知識遷移和互動、魯棒性、抽象和推理的能力、高效性。而廣義AI充分利用感知與料（sensory perception）、以往經(jīng)驗和學習到的技能成功勝任不同的任務。
圖注：不同層次的AI對應的能力
Hochreiter教授認為現(xiàn)有的架構、網(wǎng)絡或者方法在一定程度上是達到了Broad AI的要求的。他列舉了使用對比學習進行自監(jiān)督訓練的學習方式來表明遷移性；充分利用上下文和以往經(jīng)驗的Modern Hopfield networks；以及融合了知識和推理的神經(jīng)-符號計算模型。
現(xiàn)有的可以有效提高網(wǎng)絡遷移性的模型學習方式莫過于小樣本學習。它僅僅使用少量的訓練數(shù)據(jù)就可以取得不錯的性能。而這要歸功于它已有的“先驗知識”或者“經(jīng)驗”。這些先驗知識往往得益于預訓練任務——包含大規(guī)模的數(shù)據(jù)和基礎模型（foundation model）。而這樣數(shù)據(jù)往往是通過對比學習、自監(jiān)督訓練的方式進行提取有用的表征。一旦預訓練模型學好之后，該任務上習得的后驗知識變成下游新的任務的先驗知識，使得模型很好地遷移到新的情境、顧客、產(chǎn)品、流程、數(shù)據(jù)等上面。
Hochreiter教授特別提到了在視覺-語言跨模態(tài)領域的對比學習預訓練方法——CLIP。CLIP是OpenAI去年發(fā)表在ICML上的一項工作，它使用一個簡單的預訓練任務，即圖文匹配，通過對比學習的方式來學習更為強大的圖像表征。該任務使用了4千萬從網(wǎng)上收集來的圖文對來進行訓練。
圖注：CLIP利用圖文匹配的方式進行訓練
意料之中的驚訝在于，它之后無需任何數(shù)據(jù)訓練就可以在30多個計算機視覺任務上實現(xiàn)和之前全監(jiān)督的方式可比的性能，實現(xiàn)了卓越的“零樣本學習”。而正如 Hochreiter 教授所稱贊，這種高度的遷移性和魯棒性是部署在擁有真實數(shù)據(jù)的工業(yè)界十分青睞的特點。
事實上，自從CLIP發(fā)明之后，后續(xù)很多遷移學習的工作都是基于CLIP的。不夸張地說，它絕對是視覺語言統(tǒng)一的不可或缺的一環(huán)，有些類似于 Bert 之于 NLP 任務。而現(xiàn)今流行的 Prompt learning（提示學習）的方法很多也在借鑒 CLIP，或者在CLIP的框架下。
廣義 AI 還應充分利用上下文環(huán)境和以往的經(jīng)驗，這和記憶息息相關。這一點或許Hochreiter教授有很好的發(fā)言權，他畢竟是長短時記憶網(wǎng)絡的發(fā)明者之一。而在認知科學中，有學者曾經(jīng)提出過概念短時記憶，它描述的是當人類在接受到一個刺激時候，比如一幅圖、一個單詞，他會快速地將這些刺激轉(zhuǎn)化到一個抽象的概念范疇，并把它關聯(lián)到和長時記憶相關的信息?！按碳?概念化-關聯(lián)”這個過程幾乎是無意識地發(fā)生，但對于我們理解日常事物、語言交流有著非常重要的作用。
圖注：“刺激-概念化-關聯(lián)”的認知過程
關于這一點，Hochreiter列舉了Modern Hopfield networks（MHN）的工作，事實上這篇工作也在他本人的指導下完成的。Hopfield神經(jīng)網(wǎng)絡早在1982年就被提出，它是一種結合存儲系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡，模擬了人類記憶的模型。MHN認為Transformer中的自注意力機制是帶有連續(xù)狀態(tài)的Hopfield網(wǎng)絡的一種更新規(guī)則，并且從Hopfield網(wǎng)絡的角度對自注意力做了新的解釋。其中和記憶相關的一部分解釋在于它挖掘了數(shù)據(jù)中的相關性結構（covariance structure），即如何使特征同時出現(xiàn)在數(shù)據(jù)中。MHN會放大這種共現(xiàn)。這種相關性可以被認為是觸發(fā)了記憶中的關聯(lián)部分，從而有效地利用了已有的知識。
Hochreiter指出，MHN可以發(fā)掘豐富的數(shù)據(jù)間的相關關系，這一優(yōu)勢可以避免當代方法容易遭遇的“捷徑學習”（shot-cut learning）的風險。“捷徑學習”是指模型學習到的并非真正用于決策的“特征”，而只是找到了一些特殊的相關性，如飛機總是出現(xiàn)在圖片的上半部分等。（詳情參考AI科技評論過往介紹：深度學習敗于“捷徑”）
神經(jīng)網(wǎng)絡與符號系統(tǒng)能夠更好地促進 AI 模型對世界知識與抽象推理等能力的融合。
基于理性主義的符號系統(tǒng)立足于邏輯和符號表征，直接將人類的推理方式編碼到機器中，它的優(yōu)勢在于抽象能力強大、使用較少的數(shù)據(jù)就可以達到比較好的結果。不過受限于現(xiàn)實世界知識的復雜多樣以及非結構化，很難將這些完美無缺地編碼到機器可讀的規(guī)則中。
而基于經(jīng)驗主義的神經(jīng)網(wǎng)絡直接利用大量的數(shù)據(jù)，通過隱式（無監(jiān)督）或者顯式（監(jiān)督）地指導模型學習到數(shù)據(jù)有用的表征，無需設計復雜的規(guī)則，就可以達到驚異的性能。不過，神經(jīng)網(wǎng)絡也面臨著解釋性弱、數(shù)據(jù)饑餓等難題。
將二者有機地結合也是AI領域?qū)W者經(jīng)常思考的一個問題。有趣的是，這也可以聯(lián)想到人類歷史的觀念之爭中，理性主義和感性主義的此消彼長同樣是一個爭議性的話題。
Hochreiter教授則認為已經(jīng)發(fā)展了一段時間的圖神經(jīng)網(wǎng)絡（GNN）是這一方向的代表。這也是來自發(fā)表在IJCAI’20上的一篇調(diào)查的意見，它將GNN歸類為類型1的神經(jīng)-符號系統(tǒng)。文章認為二者都有如下共同之處：都在尋求神經(jīng)網(wǎng)絡輸入的豐富的向量化表示；都采用了一種樹和圖的結構去表征數(shù)據(jù)和它們之間的關系。Hochreiter教授認為它們在分子屬性、社交網(wǎng)絡建模、工程領域的預測等等強調(diào)動態(tài)交互和推理領域都有很好的表現(xiàn)。
圖注：GNN圖結構示意圖
Hochreiter強調(diào)，實現(xiàn)廣義AI需要神經(jīng)-符號系統(tǒng)的結合，以達到一種雙向AI（bilateral AI）。而AI研究者也應該朝著具有更強的技能習得和問題解決能力的AI系統(tǒng)努力。他還展望道，歐洲在這兩方面都有傳統(tǒng)的優(yōu)勢，因而要利用這些優(yōu)勢，積極地尋求廣義AI的解決方案。
參考資料:
Hochreiter, Sepp. "Toward a broad AI." Communications of the ACM 65.4 (2022): 56-57.
Chollet, F. On the Measure of Intelligence (2019); ArXiv:1911.01547.
Luís C. Lamb, Artur d'Avila Garcez, Marco Gori, Marcelo O.R. Prates, Pedro H.C. Avelar, and Moshe Y. Vardi. 2021. Graph neural networks meet neural-symbolic computing: a survey and perspective. In IJCAI'20. Article 679, 4877–4884.
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
