0
| 本文作者： 我在思考中 | 2022-02-28 10:34 |
如何突破當(dāng)代人工智能（AI）的瓶頸？不同學(xué)者存在不同觀點。
總體來看可以概括為兩類，其一監(jiān)督學(xué)習(xí)者，提倡通過改善數(shù)據(jù)標(biāo)簽質(zhì)量，從而完善監(jiān)督學(xué)習(xí)。代表人物有發(fā)起“以數(shù)據(jù)為中心AI”革命的吳恩達，提倡設(shè)計“合成數(shù)據(jù)自帶所有標(biāo)簽”的Rev Lebaredian。
其二，無監(jiān)督學(xué)者，例如Yann LeCun，提倡下一代AI系統(tǒng)將不再依賴于精心標(biāo)注的數(shù)據(jù)集。
近日，Yann LeCun在meta AI（原Facebook）官方博客上以及IEEE采訪中，深度闡述了他的自監(jiān)督學(xué)習(xí)思路，他認(rèn)為AI想要突破現(xiàn)在的瓶頸，必須讓機器學(xué)習(xí)世界模型，從而能夠填補缺失的信息，預(yù)測將要發(fā)生的事情，并預(yù)測行動的影響。
這雖然不是革命性的想法，但卻是革命性的行動。正如LeCun在在多次演講中提到：這場革命將是無監(jiān)督的（THE REVOLUTION WILL NOT BE SUPERVISED）。具體而言這種革命性體現(xiàn)在對兩個問題的思考：
第一，我們應(yīng)該使用什么樣的學(xué)習(xí)范式來訓(xùn)練世界模型？
第二，世界模型應(yīng)該使用什么樣的架構(gòu)？
同時，他也提到：監(jiān)督學(xué)習(xí)的局限性有時會被誤以為是深度學(xué)習(xí)的局限性，這些限制可以通過自監(jiān)督學(xué)習(xí)來克服。
以下是LeCun對自監(jiān)督的思考與世界模型設(shè)計，內(nèi)容來源于meta AI與IEEE，AI科技評論做了不改變原意的編譯。
LeCun提到，人類和動物能夠通過觀察，簡單的交互，以及無監(jiān)督的方式學(xué)習(xí)世界知識，因此可以假設(shè)，這里面蘊含的潛在能力構(gòu)成了常識的基礎(chǔ)。這種常識能夠讓人類在陌生的環(huán)境下完成任務(wù)，例如一位年輕的司機，從來沒有在雪地里開過車，但是他卻知道如果車開的太猛，輪胎會打滑。
早在幾十年前，就有學(xué)者研究人類、動物甚至智能系統(tǒng)如何“借力”世界模型，自我學(xué)習(xí)。因此，當(dāng)前AI也面臨著重新設(shè)計學(xué)習(xí)范式和架構(gòu)，使機器能夠以自我監(jiān)督的方式學(xué)習(xí)世界模型，然后使用這些模型進行預(yù)測、推理和規(guī)劃。
世界模型需要融合不同的學(xué)科的觀點，包括但不限于認(rèn)知科學(xué)、系統(tǒng)神經(jīng)科學(xué)、最優(yōu)控制、強化學(xué)習(xí)以及 "傳統(tǒng) "人工智能。必須將它們與機器學(xué)習(xí)的新概念相結(jié)合，如自監(jiān)督學(xué)習(xí)和聯(lián)合嵌入架構(gòu)（joint-embedding architectures）。
在上述世界模型思想的基礎(chǔ)上，LeCun 提出了自主智能機構(gòu)，由六個獨立模塊組成，且假設(shè)每個都可微：可以容易地計算一些目標(biāo)函數(shù)，以及相對應(yīng)的梯度估計，并將梯度信息傳播到上游模塊。
自主智能的系統(tǒng)架構(gòu)：配置器（configurator）是核心，從其他模塊獲取輸入。
配置器的角色是控制。給定一個要執(zhí)行的任務(wù)，它會通過調(diào)整參數(shù)預(yù)先配置感知模塊、世界模型，以及計算成本和添加參與者（actor）。
感知模塊能夠接收信息，估計現(xiàn)實世界。對于一個特定的任務(wù)，只有一小部分感知到的世界狀態(tài)是相關(guān)和有用的。配置器為感知模塊提供動力，從感知中提取與任務(wù)相關(guān)的信息。
世界模型模塊是最復(fù)雜的部分，具有雙重作用。1.估計感知模塊無法得到的缺失信息；2.合理預(yù)測世界的未來狀態(tài)，其中包括世界的自然演變以及參與者行動的影響。世界模型是現(xiàn)實世界的模擬器，由于世界充滿了不確定性，該模型必須能夠處理多種可能的預(yù)測。直觀的例子是：一個接近十字路口的司機可能會放慢汽車行駛的速度，防止另一輛接近十字路口的車沒有按規(guī)矩停在停車標(biāo)志上。
成本模塊用來計算預(yù)測智能體（agent）的不合適程度。由兩部分組成：內(nèi)在成本（ intrinsic cost），特征是不可訓(xùn)練，但能實時計算“不適”：智能體損害、違反硬編碼行為等；評價者（critic），它是一個可訓(xùn)練的模塊，預(yù)測內(nèi)在成本的未來值。
LeCun表示：成本模塊是基本的行為驅(qū)動和內(nèi)在動機的所在。因此，它將考慮到內(nèi)在成本：不浪費能源，以及任務(wù)的具體消耗。成本模塊是可分的，成本的梯度可以通過其他模塊反向傳播，用于規(guī)劃、推理或?qū)W習(xí)。
短期記憶模塊可以記錄當(dāng)前情況，預(yù)測世界狀態(tài)，以及相關(guān)成本。
世界模型架構(gòu)的核心在于預(yù)測。
構(gòu)建世界模型的一個關(guān)鍵挑戰(zhàn)是如何使該模型能夠表示多個模糊的預(yù)測。現(xiàn)實世界并不是完全可以預(yù)測的：一個特定的情況可能有多種演變的方式，并且許多與情況相關(guān)的細(xì)節(jié)與手頭的任務(wù)無關(guān)。比如，我可能需要預(yù)測我開車時周圍的汽車會做什么，但我不需要預(yù)測道路附近樹木中個別葉子的詳細(xì)位置。那么，世界模型如何學(xué)習(xí)現(xiàn)實世界的抽象表示，做到保留重要的細(xì)節(jié)、忽略不相關(guān)的細(xì)節(jié)，并且可以在抽象表示的空間中進行預(yù)測呢？
解決方案的一個關(guān)鍵要素是聯(lián)合嵌入預(yù)測架構(gòu) (Joint Embedding Predictive Architecture ，JEPA)。JEPA 捕獲兩個輸入（x 和 y）之間的依存關(guān)系。例如，x 可以是一段視頻，y 可以是視頻的下一段。輸入 x 和 y 被饋送到可訓(xùn)練的編碼器，這些編碼器提取它們的抽象表示，即 sx 和 sy。預(yù)測器模塊被訓(xùn)練為從 sx 預(yù)測 sy。預(yù)測器可以使用潛在變量 z 來表示 sy 中存在但 sx 中不存在的信息。JEPA 以兩種方式處理預(yù)測中的不確定性：（1）編碼器可能會選擇丟棄難以預(yù)測的有關(guān) y 的信息；（2）當(dāng)潛在變量 z 在一個集合上變化時，將導(dǎo)致預(yù)測在一個集合上變化一組似是而非的預(yù)測。
那么，我們?nèi)绾斡?xùn)練 JEPA 呢？
截至目前為止，研究者所使用的唯一方法就是“對比”，包括顯示兼容 x 和 y 的示例，以及許多 x 和不兼容 y 的示例。但是當(dāng)表示是高維狀態(tài)時，這是相當(dāng)不切實際的。
過去兩年還出現(xiàn)了另一種訓(xùn)練策略：正則化方法。當(dāng)應(yīng)用于 JEPA 訓(xùn)練時，該方法使用了四個標(biāo)準(zhǔn)：
使 x 的表示最大限度地提供關(guān)于 x 的信息
使 y 的表示最大限度地提供關(guān)于 y 的信息
使 y 的表示可以從 x 的表示中最大程度地預(yù)測
使預(yù)測器使用盡可能少的潛在變量信息來表示預(yù)測中的不確定性
這些標(biāo)準(zhǔn)可以以各種方式轉(zhuǎn)化為可微的成本函數(shù)。一種方法是 VICReg 方法，即方差/變量（Variance）、不變性（Invariance）、協(xié)方差正則化(Covariance Regularization）。在 VICReg 中，x 和 y 表示的信息內(nèi)容通過將其分量的方差保持在閾值之上并通過使這些分量盡可能地相互獨立來最大化。同時，該模型試圖使 y 的表示可以從 x 的表示中預(yù)測。此外，潛變量的信息內(nèi)容通過使其離散、低維、稀疏或噪聲來最小化。
JEPA 的美妙之處在于它自然地產(chǎn)生了輸入的信息抽象表示，消除了不相關(guān)的細(xì)節(jié)，并且可以執(zhí)行預(yù)測。這使得 JEPA 可以相互堆疊，以便學(xué)習(xí)具有更高抽象級別的表示，可以進行長期預(yù)測。
例如，一個場景可以在高層次上描述為“廚師正在制作可麗餅”。它可以預(yù)測廚師會去取面粉、牛奶和雞蛋，將食材混合，把面糊舀進鍋里，將面糊油炸，并翻轉(zhuǎn)可麗餅，然后不斷重復(fù)該過程。在較低層次的表達上，這個場景可能是倒一勺面糊并舀均勻，且將其鋪在鍋周圍。一直持續(xù)到每一毫秒的廚師的手的精確軌跡。在低層次的手部軌跡上，我們的世界模型只能進行短期的準(zhǔn)確預(yù)測。但在更高的抽象層次上，它可以做出長期的預(yù)測。
分層 JEPA 可用于在多個抽象級別和多個時間尺度上執(zhí)行預(yù)測。訓(xùn)練方式主要是通過被動觀察，很少通過互動。
嬰兒在出生后的頭幾個月主要通過觀察來了解世界是如何運作的。她了解到世界是三維的，知道有些物體會擺在其他物體的前面，當(dāng)一個物體被遮擋時，它仍然存在。最終，在大約 9 個月大的時候，嬰兒學(xué)會了直觀的物理學(xué)——例如，不受支撐的物體會因重力而落下。
分層 JEPA 的愿景在于它可以通過觀看視頻和與環(huán)境交互來了解世界是如何運作的。通過訓(xùn)練自己來預(yù)測視頻中會發(fā)生什么，它可以生成對世界的分層表示。通過在世界上采取行動并觀察結(jié)果，世界模型將學(xué)會預(yù)測其行動的后果，進而能夠推理和計劃。
通過將分層 JEPA 訓(xùn)練為世界模型，一個智能體（機器人）就可以執(zhí)行復(fù)雜動作的分層規(guī)劃，將復(fù)雜任務(wù)分解為一系列不太復(fù)雜和不太抽象的子任務(wù)，一直到對效應(yīng)器（effector）的低級動作。
一個典型的感知-行動情節(jié)如上。該圖說明了兩級層次結(jié)構(gòu)的情況。感知模塊提取世界狀態(tài)的分層表示（圖中 s1[0]=Enc1(x) 和 s2[0]=Enc2(s[0])）。然后，在假設(shè)二級行動器提出的一系列抽象動作的情況下，多次應(yīng)用二級預(yù)測器來預(yù)測未來狀態(tài)。行動器優(yōu)化二級動作序列以將總成本最小化（圖中的C（s2 [4]））。
這個過程類似于最優(yōu)控制中的模型預(yù)測控制。對第二級潛在變量的多個繪圖重復(fù)該過程，這可能會產(chǎn)生不同的高級場景。由此產(chǎn)生的高級動作并不構(gòu)成真正的動作，而只是定義了低級狀態(tài)序列必須滿足的約束（例如，食材是否正確混合？）。它們確實構(gòu)成了子目標(biāo)。整個過程在低層重復(fù)：運行低層預(yù)測器，優(yōu)化低層動作序列以將上層的中間成本最小化，并對低層潛在變量的多個繪圖重復(fù)該過程。一旦該過程完成，智能體將第一個低級動作輸出到效應(yīng)器，整個情節(jié)可以重復(fù)。
如果我們成功構(gòu)建了一個這樣的模型，那么所有的模塊都是可微的，因此整個動作優(yōu)化過程可以使用基于梯度的方法來執(zhí)行。
LeCun 的愿景需要更深入的探索，而且前方還有許多艱巨的挑戰(zhàn)。其中最有趣又最困難的一項挑戰(zhàn)是為世界模型將架構(gòu)和訓(xùn)練細(xì)節(jié)實例化。我們甚至可以說，訓(xùn)練世界模型是未來幾十年人工智能可以真正取得進展的主要挑戰(zhàn)。
但是架構(gòu)的許多其他方面仍有待定義，包括如何精確地訓(xùn)練Critic（Critic網(wǎng)絡(luò)的作用是衡量一個Actor在某狀態(tài)下的優(yōu)劣），如何構(gòu)建和訓(xùn)練配置器，以及如何使用短期記憶來跟蹤世界狀態(tài)和存儲世界狀態(tài)與行動的歷史，用內(nèi)在成本來調(diào)整Critic。
LeCun 和其他 Meta AI 的研究人員期待在未來數(shù)月和數(shù)年內(nèi)探索這些內(nèi)容，并與該領(lǐng)域的其他人交流想法和學(xué)習(xí)。創(chuàng)造可以像人類一樣有效地學(xué)習(xí)和理解的機器是一項長期的科學(xué)努力——而且不能保證成功。但我們相信，基礎(chǔ)研究將繼續(xù)加深對思想和機器的理解，并將帶來更多造福人類的人工智能突破成果。
IEEE Spectrum：您曾說過，監(jiān)督學(xué)習(xí)的局限性有時會被誤認(rèn)為是深度學(xué)習(xí)的內(nèi)在局限，那哪些限制可以通過自監(jiān)督學(xué)習(xí)來克服呢？
Yann LeCun：監(jiān)督學(xué)習(xí)在一些結(jié)構(gòu)穩(wěn)定的領(lǐng)域中表現(xiàn)很出色。在這些領(lǐng)域中，你可以收集大量的標(biāo)記數(shù)據(jù)，并且在部署過程中可以看到，這些輸入類型與訓(xùn)練過程中使用的輸入類型沒有太大區(qū)別。要收集大量且相對沒有偏差的標(biāo)記數(shù)據(jù)是很難的。我所說的不一定是社會偏差，而是說系統(tǒng)不應(yīng)該使用數(shù)據(jù)中的相關(guān)性。一個非常著名的例子是，當(dāng)你在訓(xùn)練一個能夠識別奶牛的系統(tǒng)時，若訓(xùn)練中用的都是草場上的奶牛，那么系統(tǒng)將把草作為奶牛的背景。如果再給它一頭在海灘上的奶牛，它可能就很難識別出了。
自監(jiān)督學(xué)習(xí) (SSL) 允許我們訓(xùn)練系統(tǒng)以獨立于任務(wù)的方式學(xué)習(xí)良好的輸入表示。因為 SSL 訓(xùn)練使用未標(biāo)記的數(shù)據(jù)，所以我們可以使用非常大的訓(xùn)練集，并讓系統(tǒng)學(xué)習(xí)更穩(wěn)健和更完整的輸入表示。然后，它只需要少量的標(biāo)記數(shù)據(jù)就能在監(jiān)督任務(wù)上獲得良好的性能。這大大減少了純監(jiān)督學(xué)習(xí)所特有的標(biāo)記數(shù)據(jù)量，并使系統(tǒng)更加穩(wěn)健，能夠更好地處理與標(biāo)記訓(xùn)練樣本不同的輸入。它有時還會降低系統(tǒng)對數(shù)據(jù)偏差的敏感性——關(guān)于這一改進，我們將在未來幾周內(nèi)分享更多關(guān)于研究的見解。
現(xiàn)在在實際的 AI 系統(tǒng)中正在發(fā)生的事情是，我們正在轉(zhuǎn)向使用 SSL 對大量未標(biāo)記數(shù)據(jù)進行預(yù)訓(xùn)練的更大架構(gòu)。這些可用于各種任務(wù)。例如，Meta AI 現(xiàn)在擁有可以處理幾百種語言的語言翻譯系統(tǒng)。這是一個單一的神經(jīng)網(wǎng)絡(luò)！我們還有多語種語音識別系統(tǒng)。這些系統(tǒng)可以處理幾乎沒有數(shù)據(jù)的語言，更不用說帶注釋的數(shù)據(jù)了。
IEEE Spectrum：其他行業(yè)先驅(qū)說，人工智能的前進方向是通過更好的數(shù)據(jù)標(biāo)記來改進監(jiān)督學(xué)習(xí)。吳恩達最近和我談到了以數(shù)據(jù)為中心的AI，英偉達 的 Rev Lebaredian 和我談到了帶有所有標(biāo)簽的合成數(shù)據(jù)。該領(lǐng)域是否存在關(guān)于前進道路的分歧？
LeCun：我不認(rèn)為存在哲學(xué)上的分歧。SSL 預(yù)訓(xùn)練是 NLP 中非常標(biāo)準(zhǔn)的做法。它在語音識別方面表現(xiàn)出了出色的性能改進，并且在視覺方面開始變得越來越有用。然而，“經(jīng)典”監(jiān)督學(xué)習(xí)仍有許多未開發(fā)的應(yīng)用，因此人們當(dāng)然應(yīng)該盡可能使用合成數(shù)據(jù)和監(jiān)督學(xué)習(xí)。據(jù)說英偉達也正在積極開發(fā) SSL。
早在 2000 年代中期，Geoff Hinton、Yoshua Bengio 和我就確信，我們能夠訓(xùn)練非常大和非常深的神經(jīng)網(wǎng)絡(luò)的唯一方法是通過自監(jiān)督（或無監(jiān)督）學(xué)習(xí)。這也是吳恩達開始對深度學(xué)習(xí)感興趣的時候。他當(dāng)時的工作也集中在我們現(xiàn)在稱之為自監(jiān)督的方法上。
IEEE Spectrum：自監(jiān)督學(xué)習(xí)如何促成具有常識的 AI 系統(tǒng)？常識能把 AI 系統(tǒng)帶向人類水平的智能多遠(yuǎn)？
LeCun：我認(rèn)為，一旦我們弄清楚如何讓機器像人類和動物一樣學(xué)習(xí)世界是如何運作的，人工智能就會取得重大進展：這主要是通過觀察，并在觀察中采取行動。我們了解世界是如何運作的，因為我們已經(jīng)了解了世界的內(nèi)部模型，該模型使我們能夠填補缺失的信息，預(yù)測將要發(fā)生的事情，并預(yù)測我們行動的影響。我們的世界模型使我們能夠感知、解釋、推理、提前計劃和行動。
但機器如何學(xué)習(xí)世界模型呢？這歸結(jié)為兩個問題：我們應(yīng)該使用什么學(xué)習(xí)范式來訓(xùn)練世界模型？世界模型應(yīng)該使用什么架構(gòu)？
對于第一個問題，我的答案是 SSL（自監(jiān)督學(xué)習(xí)）。一個例子是讓機器觀看視頻，暫停視頻，然后讓機器學(xué)習(xí)視頻中接下來會發(fā)生什么的表示。在這樣做的過程中，機器可以學(xué)習(xí)大量關(guān)于世界如何運作的背景知識，可能類似于嬰兒和動物在生命的最初幾周和幾個月內(nèi)的學(xué)習(xí)方式。
對于第二個問題，我的答案是一種新型的深度宏架構(gòu)，我稱之為分層聯(lián)合嵌入預(yù)測架構(gòu)（H-JEPA）。簡單解釋，JEPA 不是預(yù)測視頻剪輯的未來幀，而是學(xué)習(xí)視頻剪輯的抽象表示和剪輯的未來，以便后者能夠基于對前者的理解很容易地預(yù)測。這可以使用非對比 SSL 方法的一些最新發(fā)展來實現(xiàn)，特別是我和我的同事最近提出的一種稱為“VICReg”的方法。
IEEE Spectrum：幾周前，你回復(fù)了在OpenAI任職的 Ilya Sutskever 的一條推文，他在推文中推測，今天的大型神經(jīng)網(wǎng)絡(luò)可能有意識。你的回答是響亮的“不”。在您看來，構(gòu)建一個有意識的神經(jīng)網(wǎng)絡(luò)需要什么？那個系統(tǒng)會是什么樣子的？
LeCun：首先，意識是一個非常模糊的概念。一些哲學(xué)家、神經(jīng)科學(xué)家和認(rèn)知科學(xué)家認(rèn)為這只是一種幻覺，我非常接近這種觀點。
但我對導(dǎo)致意識錯覺的原因有一個猜測。我的假設(shè)是，我們的前額葉皮質(zhì)中有一個單一的世界模型“引擎”。該世界模型可根據(jù)當(dāng)前情況進行配置。我們是帆船的舵手；我們的世界模型模擬了我們船周圍的空氣和水流。我們建了一張木桌；我們的世界模型想象切割木頭和組裝它們的結(jié)果，等等。
我們的大腦中需要一個模塊，我稱之為“配置器”，它為我們設(shè)定目標(biāo)和子目標(biāo)，配置我們的世界模型來模擬當(dāng)前的情況，并啟動我們的感知系統(tǒng)以提取相關(guān)信息并丟棄贅余信息。監(jiān)督配置器的存在可能是讓我們產(chǎn)生意識錯覺的原因。但有趣的是：我們需要這個配置器，因為我們只有一個世界模型引擎。如果我們的大腦足夠大，可以容納許多世界模型，我們就不需要意識。所以，從這個意義上說，意識是我們大腦局限的結(jié)果！
IEEE Spectrum：自監(jiān)督學(xué)習(xí)在元宇宙的構(gòu)建中可以扮演什么角色？
LeCun：深度學(xué)習(xí)在虛擬世界中有很多具體的應(yīng)用，比如 VR 護目鏡和 AR 眼鏡的運動跟蹤，捕捉和重新合成身體運動和面部表情等等。
元宇宙中人工智能驅(qū)動的新創(chuàng)意工具有很多機會，可以讓每個人在虛擬世界和現(xiàn)實世界中創(chuàng)造新事物。但元宇宙也有一個“純AI”的應(yīng)用：虛擬 AI 助手。我們應(yīng)該有虛擬的 AI 助手，可以在日常生活中幫助我們，回答我們的任何問題，并幫助我們處理每天轟炸我們的海量信息。為此，我們需要我們的 AI 系統(tǒng)對世界如何運作（無論是物理還是虛擬）有一定的了解，有一定的推理和計劃能力，以及一定程度的常識。簡而言之，我們需要弄清楚如何構(gòu)建可以像人類一樣學(xué)習(xí)的自主 AI 系統(tǒng)。這需要時間。但是Meta在這條賽道上已經(jīng)走了很長時間。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
