雷鋒網(wǎng) AI 科技評(píng)論按：曾任 Uber 人工智能實(shí)驗(yàn)室負(fù)責(zé)人、紐約大學(xué)心理學(xué)教授 Gary Marcus 今年 1 月發(fā)表過(guò)一篇潑冷水文章，提醒領(lǐng)域內(nèi)的研究者注意深度學(xué)習(xí)的種種問(wèn)題 （https://arxiv.org/abs/1801.00631），并緊接著又發(fā)了一篇討論人工智能的天賦的文章（https://arxiv.org/abs/1801.05667）。AAAI 前主席、人工智能長(zhǎng)期研究者俄勒岡州立大學(xué)榮譽(yù)教授 Thomas G. Dietterich 近期也沿著這個(gè)話題發(fā)表了一篇公開文章，闡釋了自己的不同觀點(diǎn)。雷鋒網(wǎng) AI 科技評(píng)論全文翻譯如下。

Gary Marcus 近日的文章中繼續(xù)著他關(guān)于機(jī)器學(xué)習(xí)的先天性討論。正當(dāng)我有某種與他相背的觀點(diǎn)冒出時(shí)，我想到，他一定會(huì)提出一個(gè)有趣的問(wèn)題，從廣義的AI 中間層來(lái)看，怎樣先天性的知識(shí)、結(jié)構(gòu)、和算法才是必須具備的？從這個(gè)角度，我會(huì)用一個(gè)簡(jiǎn)單的「先天性 KSA（innate knowledge, structure, algorithm）」來(lái)表示那些需要在AI系統(tǒng)學(xué)習(xí)過(guò)程中建立的知識(shí)、結(jié)構(gòu)和算法。于是，當(dāng)這個(gè)系統(tǒng)與實(shí)際經(jīng)驗(yàn)相結(jié)合以后，它就會(huì)變成具有更廣泛能力的 AI 系統(tǒng)。

 Marcus 主要關(guān)心那些具有和人類一樣廣泛能力的 AI 系統(tǒng)。在他論文的最后部分，他描繪了兩種方法論，想要通過(guò)它們來(lái)說(shuō)明先天性 KSA 這個(gè)概念中需要的是什么內(nèi)容：這兩種方法論是「簡(jiǎn)化」策略和「自上而下」的策略。谷歌 DeepMind 的 AlphaZero 系統(tǒng)作為一個(gè)簡(jiǎn)化策略的例子很好地說(shuō)明了這個(gè)策略的意義。這個(gè)策略的方法論過(guò)程是通過(guò)在 AI 系統(tǒng)構(gòu)建一個(gè)或者幾個(gè)更小的任務(wù)集，然后逐步擴(kuò)大任務(wù)集，并且在這個(gè)過(guò)程里，根據(jù)需要去添加或者移除 KSA。之后如果任務(wù)集變得足夠廣，那么我們就希望能夠找到精通所有任務(wù)的最小的 KSA，用它來(lái)構(gòu)成我們想要理解的「先天性 KSA」。（Marcus 叫這個(gè)過(guò)程「簡(jiǎn)化」，因?yàn)闉榱藙?chuàng)造 AlphaZero，DeepMind 團(tuán)隊(duì)刪除了 AlphaGo Zero 的某些部分，例如棋盤上的旋轉(zhuǎn)和映射。也許叫「任務(wù)驅(qū)動(dòng)最小主義」會(huì)更好。）

「自上而下」策略包括研究人類（或其他智慧生物）自身的 KSA 來(lái)確定他們的先天性 KSA，把這些編碼進(jìn) AI 系統(tǒng)，然后測(cè)試這些系統(tǒng)，看看系統(tǒng)能否精通我們希望他們精通的任務(wù)種類。（「自上而下」不是一個(gè)好名字，也許我們應(yīng)該叫它「從生物學(xué)上遷移」。）

說(shuō)到這里，很快我們就清楚，這兩種策略都不是特別有效。簡(jiǎn)化策略偏向增加那些和已經(jīng)精通的任務(wù)相似的任務(wù)，就像我們看到的，AlphaZero之所以選擇國(guó)際象棋和日本象棋，是因?yàn)樗鼈兌际请p玩家、信息完備、零和博弈的棋盤游戲。而當(dāng)中存在一種困境，新任務(wù)只不過(guò)是和現(xiàn)存的任務(wù)同構(gòu)，在 KSA 中沒(méi)有產(chǎn)生新的東西。你可以認(rèn)為一般的機(jī)器學(xué)習(xí)框架，比如多類別分類器、多標(biāo)簽分類器、多例分類器、上下文推理和強(qiáng)化學(xué)習(xí)是這個(gè)方法論的典型結(jié)果：我們發(fā)現(xiàn)了一個(gè)任務(wù)集，其中的所有任務(wù)都能被一個(gè)一般的機(jī)器解決，然后因?yàn)檫@個(gè)想法太吸引人，以至于我們不再把機(jī)器往更功能更加完善的地方推廣。作為工程方法論，這可以說(shuō)差強(qiáng)人意，但它仍回答不了基本的先天性 KSA 問(wèn)題。

（注，Marcus 質(zhì)疑「確定最小 KSA 需要制造一個(gè)人類級(jí)別的 AI 系統(tǒng)」這個(gè)命題的重要性，但是我認(rèn)為這是關(guān)乎先天性的最重要科學(xué)問(wèn)題。Marcus 不斷提醒我們需要認(rèn)識(shí)了解先天性的 KSA，我也贊同這點(diǎn)。然而科學(xué)上存在的問(wèn)題是，KSA 需要什么？如何將其實(shí)現(xiàn)？機(jī)器學(xué)習(xí)相關(guān)研究人員有三個(gè)動(dòng)機(jī)去尋找最小 KSA。第一，我們?cè)噲D定位這個(gè)基本的科學(xué)問(wèn)題所在的位置。第二，任何不作要求的額外 KSA 一定是能夠或者應(yīng)當(dāng)被學(xué)習(xí)過(guò)的。作為一個(gè)機(jī)器學(xué)習(xí)相關(guān)的研究人員，他會(huì)試圖讓 AI 系統(tǒng)盡可能學(xué)得多。第三，所有沒(méi)有學(xué)習(xí)到的 KSA 必須手動(dòng)編程。實(shí)踐顯示我們不是非常擅長(zhǎng)這類編程。計(jì)算機(jī)視覺(jué)最新的前沿來(lái)自用機(jī)器學(xué)習(xí)表征方法來(lái)代替手動(dòng)編輯中間層表征方法，比如 SIFT 和 HoG。）

「從生物學(xué)遷移」策略的效果甚至更差。因?yàn)闊o(wú)論是生物學(xué)家，神經(jīng)科學(xué)家，或者是認(rèn)知心理學(xué)家，都不可能從現(xiàn)有生物學(xué)系統(tǒng)中準(zhǔn)確表述什么是 KSA。我們可以這樣定義 KSA，「社會(huì)要素以及他們訂立契約的狀態(tài)」（Marcus，引用自 Elizabeth Spelke），但是在表述一個(gè) AI 系統(tǒng)的能力時(shí)，這一點(diǎn)也不明顯。這些能力是在人類（通常是嬰兒）使用自身一個(gè)小的任務(wù)集下測(cè)量得到的。在 AI 系統(tǒng)中表示這些小的任務(wù)集是比較容易的，但這樣測(cè)得的 KSA 對(duì)于之后的學(xué)習(xí)通常是沒(méi)有什么幫助的。Marcus 頻繁引用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的發(fā)展成果作為這個(gè)方法論發(fā)展的閃光點(diǎn)。CNNs 的起源通常要追溯到 Fukushima 的神經(jīng)感知機(jī)（1980），神經(jīng)感知機(jī)最早是由 Hubel 和 Wiesel 發(fā)表的關(guān)于視覺(jué)皮層結(jié)構(gòu)的假設(shè)所激發(fā)的想法。但即使在最初的論文中，F(xiàn)ukushima 也提醒到「我們對(duì)圖像識(shí)別在腦中的機(jī)制知之甚少，而且似乎不大可能只從傳統(tǒng)的生理學(xué)實(shí)驗(yàn)去了解它。所以我們?cè)囍晕牟灰粯拥慕嵌冉咏@個(gè)問(wèn)題。如果我們能做一個(gè)神經(jīng)網(wǎng)絡(luò)模型，它能像人類一樣識(shí)別圖像，那么這個(gè)模型就會(huì)給我們一個(gè)很有力的線索去理解大腦的神經(jīng)機(jī)制?！褂谑俏覀冇^察到，在 CNNs 的例子中，就算我們希望這個(gè)模型能幫助我們理解神經(jīng)科學(xué)，但是事實(shí)上，模型當(dāng)中的結(jié)構(gòu)最初還是由數(shù)學(xué)上的要求推動(dòng)的，而不是相反。

 還存在第三種目前「認(rèn)知體系結(jié)構(gòu)」的研究團(tuán)體（例如，John Anderson，Allen Newell，John Laird，詳見(jiàn) https://en.wikipedia.org/wiki/Cognitive_architecture  ）在追求的方法論。在這個(gè)方法論中，他們提出計(jì)算體系結(jié)構(gòu)，并通過(guò)在各式各樣的生理學(xué)實(shí)驗(yàn)上關(guān)于人類表現(xiàn)的量化預(yù)測(cè)來(lái)對(duì)這個(gè)體系結(jié)構(gòu)進(jìn)行評(píng)價(jià)。每一個(gè)新的實(shí)驗(yàn)在現(xiàn)有的體系結(jié)構(gòu)中施加一個(gè)額外的約束，引起體系結(jié)構(gòu)的改變。在這些體系結(jié)構(gòu)中，學(xué)習(xí)過(guò)程扮演的角色不斷變化。盡管其他形式的學(xué)習(xí)已經(jīng)借由把他們視為額外的任務(wù)被組合起來(lái)了，但我們主要的關(guān)注點(diǎn)仍然集中到技巧的學(xué)習(xí)和短時(shí)記憶的模型上。這個(gè)方法論的缺點(diǎn)在于它通常需要我們?yōu)槊恳粋€(gè)任務(wù)編寫新「程序」。從這個(gè)意義上來(lái)看，認(rèn)知體系結(jié)構(gòu)和計(jì)算機(jī)結(jié)構(gòu)是相似的。他們限制計(jì)算的組織和執(zhí)行方式，但程序員依舊要寫一個(gè)程序來(lái)表現(xiàn)任務(wù)。盡管他們提供了一個(gè)有趣的平臺(tái)來(lái)研究這些問(wèn)題，但大多數(shù)的任務(wù)已經(jīng)建模進(jìn)成人的行為里了，因此體系結(jié)構(gòu)就不用直接去處理先天性 KSA 問(wèn)題了。

 理解先天性（或者至少說(shuō)其是主要的）知識(shí)的第四種方法論是概率編程。近年來(lái)我們已經(jīng)見(jiàn)證了編程語(yǔ)言發(fā)展上的巨大進(jìn)步，這使得我們?nèi)菀兹ザx靈活且復(fù)雜的概率模型并且讓它們切合數(shù)據(jù)的要求(http://dippl.org/  )。這種近似的優(yōu)點(diǎn)在于，貝葉斯統(tǒng)計(jì)為我們提供了一個(gè)學(xué)習(xí)的優(yōu)美理論。而模型分析和可識(shí)別性這兩個(gè)工具能夠用于證實(shí)已經(jīng)學(xué)習(xí)到的結(jié)構(gòu)的語(yǔ)義學(xué)內(nèi)含。因此，不像神經(jīng)網(wǎng)絡(luò)，這種方法使得已經(jīng)學(xué)習(xí)到的系數(shù)的值能被標(biāo)注上有用的意義。但是，就像深度神經(jīng)網(wǎng)絡(luò)和認(rèn)知體系結(jié)構(gòu)一樣，每一樣新的應(yīng)用都要求我們編寫一個(gè)新的程序。

 目前研究進(jìn)展到這個(gè)狀態(tài)，我認(rèn)為這似乎是因?yàn)槲覀內(nèi)鄙僖粋€(gè)研究先天性 KSA 的強(qiáng)大的方法論。其中至少有三個(gè)困難點(diǎn)。第一，先天性 KSA 能夠有各種形式。它能被編碼進(jìn)算法中的程序結(jié)構(gòu)，系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)，或者是明確的陳述性知識(shí)（邏輯型或者概率型）。對(duì)于兩個(gè)不同系統(tǒng)是否表示相同的 KSA 這個(gè)問(wèn)題，我們存在一定的困難。比如，通過(guò)利用隨機(jī)梯度下降，近期的幾項(xiàng)研究(https://arxiv.org/abs/1709.01953；https://arxiv.org/abs/1710.10345  )顯示我們無(wú)疑偏向于查找較為平坦的極小值（這被認(rèn)為是非常一般的性質(zhì)）。第二，我們?cè)跈C(jī)器學(xué)習(xí)上關(guān)于「經(jīng)驗(yàn)」的概念趨于狹隘和同質(zhì)化。在監(jiān)督學(xué)習(xí)中，我們通常假設(shè)定長(zhǎng)特征向量（或者定維圖像）。在強(qiáng)化學(xué)習(xí)中，我們同樣假設(shè)一個(gè)固定結(jié)構(gòu)的狀態(tài)（作為一個(gè)定維目標(biāo)）和獎(jiǎng)勵(lì)機(jī)制，并且還會(huì)假設(shè)馬爾科夫性質(zhì)。第三，我們的決策模型使得中間過(guò)程非常粗糙。我們即能研究單智能體馬爾科夫決策過(guò)程（MDPs），又能研究單智能體部分可觀察 MDPs，還能研究多智能體隨機(jī)博弈。但單智能體模型對(duì)于社交建模顯然是不合適的，同時(shí)，多智能體博弈雖然適用范圍廣，但卻很難找到有效算法去學(xué)習(xí)和解決問(wèn)題。

研究問(wèn)題中，一個(gè)額外的并發(fā)癥是 AI 領(lǐng)域的研究人員并不是都在試圖建立人類級(jí)別的認(rèn)知系統(tǒng)。幾乎每一個(gè)子領(lǐng)域，AI 研究人員都在試圖建立擁有某幾項(xiàng)超越人類能力的系統(tǒng)。比如，網(wǎng)站搜索引擎也是 AI 系統(tǒng)，它的的存儲(chǔ)能力和計(jì)算速度都大大超過(guò)人類，但是他們對(duì)我們的寫出的和說(shuō)出的咨詢信息的理解卻常常出錯(cuò)。為了在數(shù)學(xué)上證明理論或者證明關(guān)于計(jì)算機(jī)編程的修正項(xiàng)的理論，一些研究人員試圖建立一個(gè)理論證明系統(tǒng)。為了使這些系統(tǒng)能達(dá)到和學(xué)習(xí)過(guò)程互助的程度，和先天性 KSA 一樣的問(wèn)題也出現(xiàn)了，但由于這些任務(wù)和生物系統(tǒng)有很大的不同，「從生物學(xué)上遷移」策略也不能應(yīng)用。

為了進(jìn)步，我們需要克服這些方法論挑戰(zhàn)。我贊賞 DeepMind 為建立一個(gè)能在多樣的任務(wù)挑戰(zhàn)環(huán)境下表現(xiàn)的系統(tǒng)所做的努力。我也深受那些目標(biāo)定在「終身學(xué)習(xí)」的系統(tǒng)的鼓勵(lì)，這些系統(tǒng)必須學(xué)著如何在一系列的任務(wù)挑戰(zhàn)中表現(xiàn)（不能忘記如何在先前的任務(wù)中的表現(xiàn)）。也許通過(guò)提升這些任務(wù)的多樣性和復(fù)雜性，我們能學(xué)到更多關(guān)于先天性 KSA 的知識(shí)。

但是，我也擔(dān)心關(guān)于「任務(wù)」的整個(gè)概念被誤導(dǎo)。AI 研究通常認(rèn)為智能行為是在定義好的的任務(wù)上的一個(gè)個(gè)行為組成的（我近似地將其稱為「任務(wù)主義」）。但實(shí)際上卻與此相反，人類的經(jīng)歷不是能夠一段段映射到一個(gè)可區(qū)分的任務(wù)集合中的。并且，人類行為的中間過(guò)程能夠看作為是在同時(shí)進(jìn)行著許多不同的任務(wù)的。任何一個(gè)做過(guò)生理學(xué)實(shí)驗(yàn)的人都能切實(shí)感受到其中所帶來(lái)陰影，實(shí)驗(yàn)過(guò)程中，他們要努力將實(shí)驗(yàn)?zāi)繕?biāo)的任務(wù)從盤根錯(cuò)節(jié)的任務(wù)群中分離出來(lái)。而我們?cè)?AI 上的挑戰(zhàn)正相反，要如何才能從一個(gè)個(gè)分立的人工任務(wù)過(guò)渡到諸多任務(wù)完全混雜的日常生活行為上來(lái)呢？

via medium.com/@tdietterich，雷鋒網(wǎng) AI 科技評(píng)論編譯

相關(guān)文章：

別忽視深度學(xué)習(xí)的種種問(wèn)題，Gary Marcus 潑冷水義不容辭

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。