雷鋒網 AI 科技評論按：曾任 Uber 人工智能實驗室負責人、紐約大學心理學教授 Gary Marcus 今年 1 月發(fā)表過一篇潑冷水文章，提醒領域內的研究者注意深度學習的種種問題 （https://arxiv.org/abs/1801.00631），并緊接著又發(fā)了一篇討論人工智能的天賦的文章（https://arxiv.org/abs/1801.05667）。AAAI 前主席、人工智能長期研究者俄勒岡州立大學榮譽教授 Thomas G. Dietterich 近期也沿著這個話題發(fā)表了一篇公開文章，闡釋了自己的不同觀點。雷鋒網 AI 科技評論全文翻譯如下。

Gary Marcus 近日的文章中繼續(xù)著他關于機器學習的先天性討論。正當我有某種與他相背的觀點冒出時，我想到，他一定會提出一個有趣的問題，從廣義的AI 中間層來看，怎樣先天性的知識、結構、和算法才是必須具備的？從這個角度，我會用一個簡單的「先天性 KSA（innate knowledge, structure, algorithm）」來表示那些需要在AI系統(tǒng)學習過程中建立的知識、結構和算法。于是，當這個系統(tǒng)與實際經驗相結合以后，它就會變成具有更廣泛能力的 AI 系統(tǒng)。

 Marcus 主要關心那些具有和人類一樣廣泛能力的 AI 系統(tǒng)。在他論文的最后部分，他描繪了兩種方法論，想要通過它們來說明先天性 KSA 這個概念中需要的是什么內容：這兩種方法論是「簡化」策略和「自上而下」的策略。谷歌 DeepMind 的 AlphaZero 系統(tǒng)作為一個簡化策略的例子很好地說明了這個策略的意義。這個策略的方法論過程是通過在 AI 系統(tǒng)構建一個或者幾個更小的任務集，然后逐步擴大任務集，并且在這個過程里，根據需要去添加或者移除 KSA。之后如果任務集變得足夠廣，那么我們就希望能夠找到精通所有任務的最小的 KSA，用它來構成我們想要理解的「先天性 KSA」。（Marcus 叫這個過程「簡化」，因為為了創(chuàng)造 AlphaZero，DeepMind 團隊刪除了 AlphaGo Zero 的某些部分，例如棋盤上的旋轉和映射。也許叫「任務驅動最小主義」會更好。）

「自上而下」策略包括研究人類（或其他智慧生物）自身的 KSA 來確定他們的先天性 KSA，把這些編碼進 AI 系統(tǒng)，然后測試這些系統(tǒng)，看看系統(tǒng)能否精通我們希望他們精通的任務種類。（「自上而下」不是一個好名字，也許我們應該叫它「從生物學上遷移」。）

說到這里，很快我們就清楚，這兩種策略都不是特別有效。簡化策略偏向增加那些和已經精通的任務相似的任務，就像我們看到的，AlphaZero之所以選擇國際象棋和日本象棋，是因為它們都是雙玩家、信息完備、零和博弈的棋盤游戲。而當中存在一種困境，新任務只不過是和現(xiàn)存的任務同構，在 KSA 中沒有產生新的東西。你可以認為一般的機器學習框架，比如多類別分類器、多標簽分類器、多例分類器、上下文推理和強化學習是這個方法論的典型結果：我們發(fā)現(xiàn)了一個任務集，其中的所有任務都能被一個一般的機器解決，然后因為這個想法太吸引人，以至于我們不再把機器往更功能更加完善的地方推廣。作為工程方法論，這可以說差強人意，但它仍回答不了基本的先天性 KSA 問題。

（注，Marcus 質疑「確定最小 KSA 需要制造一個人類級別的 AI 系統(tǒng)」這個命題的重要性，但是我認為這是關乎先天性的最重要科學問題。Marcus 不斷提醒我們需要認識了解先天性的 KSA，我也贊同這點。然而科學上存在的問題是，KSA 需要什么？如何將其實現(xiàn)？機器學習相關研究人員有三個動機去尋找最小 KSA。第一，我們試圖定位這個基本的科學問題所在的位置。第二，任何不作要求的額外 KSA 一定是能夠或者應當被學習過的。作為一個機器學習相關的研究人員，他會試圖讓 AI 系統(tǒng)盡可能學得多。第三，所有沒有學習到的 KSA 必須手動編程。實踐顯示我們不是非常擅長這類編程。計算機視覺最新的前沿來自用機器學習表征方法來代替手動編輯中間層表征方法，比如 SIFT 和 HoG。）

「從生物學遷移」策略的效果甚至更差。因為無論是生物學家，神經科學家，或者是認知心理學家，都不可能從現(xiàn)有生物學系統(tǒng)中準確表述什么是 KSA。我們可以這樣定義 KSA，「社會要素以及他們訂立契約的狀態(tài)」（Marcus，引用自 Elizabeth Spelke），但是在表述一個 AI 系統(tǒng)的能力時，這一點也不明顯。這些能力是在人類（通常是嬰兒）使用自身一個小的任務集下測量得到的。在 AI 系統(tǒng)中表示這些小的任務集是比較容易的，但這樣測得的 KSA 對于之后的學習通常是沒有什么幫助的。Marcus 頻繁引用卷積神經網絡（CNN）的發(fā)展成果作為這個方法論發(fā)展的閃光點。CNNs 的起源通常要追溯到 Fukushima 的神經感知機（1980），神經感知機最早是由 Hubel 和 Wiesel 發(fā)表的關于視覺皮層結構的假設所激發(fā)的想法。但即使在最初的論文中，F(xiàn)ukushima 也提醒到「我們對圖像識別在腦中的機制知之甚少，而且似乎不大可能只從傳統(tǒng)的生理學實驗去了解它。所以我們試著稍微從不一樣的角度接近這個問題。如果我們能做一個神經網絡模型，它能像人類一樣識別圖像，那么這個模型就會給我們一個很有力的線索去理解大腦的神經機制?！褂谑俏覀冇^察到，在 CNNs 的例子中，就算我們希望這個模型能幫助我們理解神經科學，但是事實上，模型當中的結構最初還是由數學上的要求推動的，而不是相反。

 還存在第三種目前「認知體系結構」的研究團體（例如，John Anderson，Allen Newell，John Laird，詳見 https://en.wikipedia.org/wiki/Cognitive_architecture  ）在追求的方法論。在這個方法論中，他們提出計算體系結構，并通過在各式各樣的生理學實驗上關于人類表現(xiàn)的量化預測來對這個體系結構進行評價。每一個新的實驗在現(xiàn)有的體系結構中施加一個額外的約束，引起體系結構的改變。在這些體系結構中，學習過程扮演的角色不斷變化。盡管其他形式的學習已經借由把他們視為額外的任務被組合起來了，但我們主要的關注點仍然集中到技巧的學習和短時記憶的模型上。這個方法論的缺點在于它通常需要我們?yōu)槊恳粋€任務編寫新「程序」。從這個意義上來看，認知體系結構和計算機結構是相似的。他們限制計算的組織和執(zhí)行方式，但程序員依舊要寫一個程序來表現(xiàn)任務。盡管他們提供了一個有趣的平臺來研究這些問題，但大多數的任務已經建模進成人的行為里了，因此體系結構就不用直接去處理先天性 KSA 問題了。

 理解先天性（或者至少說其是主要的）知識的第四種方法論是概率編程。近年來我們已經見證了編程語言發(fā)展上的巨大進步，這使得我們容易去定義靈活且復雜的概率模型并且讓它們切合數據的要求(http://dippl.org/  )。這種近似的優(yōu)點在于，貝葉斯統(tǒng)計為我們提供了一個學習的優(yōu)美理論。而模型分析和可識別性這兩個工具能夠用于證實已經學習到的結構的語義學內含。因此，不像神經網絡，這種方法使得已經學習到的系數的值能被標注上有用的意義。但是，就像深度神經網絡和認知體系結構一樣，每一樣新的應用都要求我們編寫一個新的程序。

 目前研究進展到這個狀態(tài)，我認為這似乎是因為我們缺少一個研究先天性 KSA 的強大的方法論。其中至少有三個困難點。第一，先天性 KSA 能夠有各種形式。它能被編碼進算法中的程序結構，系統(tǒng)中的數據結構，或者是明確的陳述性知識（邏輯型或者概率型）。對于兩個不同系統(tǒng)是否表示相同的 KSA 這個問題，我們存在一定的困難。比如，通過利用隨機梯度下降，近期的幾項研究(https://arxiv.org/abs/1709.01953；https://arxiv.org/abs/1710.10345  )顯示我們無疑偏向于查找較為平坦的極小值（這被認為是非常一般的性質）。第二，我們在機器學習上關于「經驗」的概念趨于狹隘和同質化。在監(jiān)督學習中，我們通常假設定長特征向量（或者定維圖像）。在強化學習中，我們同樣假設一個固定結構的狀態(tài)（作為一個定維目標）和獎勵機制，并且還會假設馬爾科夫性質。第三，我們的決策模型使得中間過程非常粗糙。我們即能研究單智能體馬爾科夫決策過程（MDPs），又能研究單智能體部分可觀察 MDPs，還能研究多智能體隨機博弈。但單智能體模型對于社交建模顯然是不合適的，同時，多智能體博弈雖然適用范圍廣，但卻很難找到有效算法去學習和解決問題。

研究問題中，一個額外的并發(fā)癥是 AI 領域的研究人員并不是都在試圖建立人類級別的認知系統(tǒng)。幾乎每一個子領域，AI 研究人員都在試圖建立擁有某幾項超越人類能力的系統(tǒng)。比如，網站搜索引擎也是 AI 系統(tǒng)，它的的存儲能力和計算速度都大大超過人類，但是他們對我們的寫出的和說出的咨詢信息的理解卻常常出錯。為了在數學上證明理論或者證明關于計算機編程的修正項的理論，一些研究人員試圖建立一個理論證明系統(tǒng)。為了使這些系統(tǒng)能達到和學習過程互助的程度，和先天性 KSA 一樣的問題也出現(xiàn)了，但由于這些任務和生物系統(tǒng)有很大的不同，「從生物學上遷移」策略也不能應用。

為了進步，我們需要克服這些方法論挑戰(zhàn)。我贊賞 DeepMind 為建立一個能在多樣的任務挑戰(zhàn)環(huán)境下表現(xiàn)的系統(tǒng)所做的努力。我也深受那些目標定在「終身學習」的系統(tǒng)的鼓勵，這些系統(tǒng)必須學著如何在一系列的任務挑戰(zhàn)中表現(xiàn)（不能忘記如何在先前的任務中的表現(xiàn)）。也許通過提升這些任務的多樣性和復雜性，我們能學到更多關于先天性 KSA 的知識。

但是，我也擔心關于「任務」的整個概念被誤導。AI 研究通常認為智能行為是在定義好的的任務上的一個個行為組成的（我近似地將其稱為「任務主義」）。但實際上卻與此相反，人類的經歷不是能夠一段段映射到一個可區(qū)分的任務集合中的。并且，人類行為的中間過程能夠看作為是在同時進行著許多不同的任務的。任何一個做過生理學實驗的人都能切實感受到其中所帶來陰影，實驗過程中，他們要努力將實驗目標的任務從盤根錯節(jié)的任務群中分離出來。而我們在 AI 上的挑戰(zhàn)正相反，要如何才能從一個個分立的人工任務過渡到諸多任務完全混雜的日常生活行為上來呢？

via medium.com/@tdietterich，雷鋒網 AI 科技評論編譯

相關文章：

別忽視深度學習的種種問題，Gary Marcus 潑冷水義不容辭

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。