0
雷鋒網(wǎng) AI 科技評(píng)論按：深度學(xué)習(xí)的研究者們一直希望給神經(jīng)網(wǎng)絡(luò)加上顯式的泛化能力，以便讓它完成更困難的任務(wù)。DeepMind 近期也在這個(gè)方向上展開(kāi)了研究并在 JAIR（Journal of Artificial Intelligence Research）雜志發(fā)表了論文，也在博客中以一個(gè)踢足球?yàn)橐咏榻B了論文的主要內(nèi)容。雷鋒網(wǎng) AI 科技評(píng)論把博客內(nèi)容編譯如下。
假想你在踢足球。球到了你腳下，然后你打算把球傳給沒(méi)人盯防的前鋒。這個(gè)看起來(lái)簡(jiǎn)單的動(dòng)作，其實(shí)需要兩種不同的思維。
首先，你需要認(rèn)識(shí)到自己腳下有一個(gè)足球。這個(gè)認(rèn)知?jiǎng)幼餍枰庇X(jué)式的認(rèn)識(shí)思維：你很難詳細(xì)描述你是如何知道腳下有一個(gè)足球的，你只是看到了這個(gè)球而已。然后，你打算把球傳給某一個(gè)前鋒，做出這樣的決策需要概念思維。這個(gè)決策是基于你自己的判斷做出的：之所以你打算把球傳給這個(gè)前鋒，是因?yàn)闆](méi)人盯防他。
這兩種思維之間的區(qū)別讓 DeepMind 的研究人員們感到非常有趣，因?yàn)檫@兩種不同的思維剛好對(duì)應(yīng)了兩種不同的機(jī)器學(xué)習(xí)方法，那就是深度學(xué)習(xí)和符號(hào)程序生成（symbolic program synthesis）。深度學(xué)習(xí)的核心是直覺(jué)式的認(rèn)知思維，而符號(hào)程序生成關(guān)注的是概念式的、基于規(guī)則的思維。兩種系統(tǒng)各有所長(zhǎng)，深度學(xué)習(xí)對(duì)有噪聲數(shù)據(jù)的魯棒性不錯(cuò)，但是難以解釋，并且需要很多數(shù)據(jù)來(lái)訓(xùn)練；而符號(hào)化的系統(tǒng)解釋起來(lái)就要簡(jiǎn)單得多，需要的訓(xùn)練數(shù)據(jù)也少得多，但是處理有噪聲的數(shù)據(jù)就非常困難。人類的認(rèn)知過(guò)程當(dāng)然可以無(wú)縫銜接這兩種不同的思考方式，但是在單個(gè) AI 系統(tǒng)中同樣實(shí)現(xiàn)這兩種思維就不是一件簡(jiǎn)單的任務(wù)了。
DeepMind 的論文《Learning Explanatory Rules from Noisy Data》就研究了這個(gè)問(wèn)題，表明在一個(gè)系統(tǒng)中綜合直覺(jué)感知思考和可解釋概念推理是可能的。這篇論文也發(fā)表在了 JAIR 雜志上。論文中介紹的系統(tǒng)，「?ILP」，對(duì)噪聲魯棒、能高效地利用數(shù)據(jù)，而且能夠產(chǎn)生可解釋的規(guī)則。
在論文中，DeepMind 演示了 ?ILP 在歸納任務(wù)中的表現(xiàn)。展示給系統(tǒng)的是成對(duì)的數(shù)字的圖像，系統(tǒng)要做的是輸出一個(gè)標(biāo)簽（0 或者 1）來(lái)表示左側(cè)圖中的數(shù)字是否小于右側(cè)圖中的數(shù)字。解決這樣的任務(wù)就同時(shí)需要前面提到的兩種思維：識(shí)別圖像中的具體是哪個(gè)數(shù)字需要直覺(jué)性的認(rèn)知思維，而足夠泛化地理解「小于」關(guān)系則需要概念思維。
對(duì)于一個(gè)標(biāo)準(zhǔn)的深度學(xué)習(xí)模型來(lái)說(shuō)（比如帶有 MLP 的卷積神經(jīng)網(wǎng)絡(luò)），如果給它足夠的數(shù)據(jù)，它也能很快學(xué)會(huì)解決這個(gè)問(wèn)題。一旦訓(xùn)練結(jié)束，給它看從未見(jiàn)過(guò)的對(duì)象對(duì)，它也能正確分類?？墒侨绻胍苷_地泛化，還是需要每一對(duì)數(shù)字都有很多個(gè)樣本用來(lái)訓(xùn)練才行。這樣的模型很善于做視覺(jué)任務(wù)的泛化：只要它看過(guò)所有測(cè)試集里有的每對(duì)數(shù)字（如下圖綠色區(qū)域），它就能泛化到新的圖像上。但是它做不了符號(hào)化思維的泛化：如果有一對(duì)數(shù)字是它沒(méi)有見(jiàn)過(guò)的（如下圖藍(lán)色區(qū)域），它就沒(méi)辦法泛化。Gary Marcus 和 Joel Grus 等研究者最近也在文章中指出了這一點(diǎn)，令人深思。
?ILP 和標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的不同之處就是在于它能以符號(hào)化的方式泛化，而且它也和標(biāo)準(zhǔn)的符號(hào)化程序不一樣，它可以泛化它的視覺(jué)能力。它從樣本中學(xué)習(xí)到的顯式程序是可閱讀的、可解釋的、可驗(yàn)證的。對(duì) ?ILP 來(lái)說(shuō)，給它樣本集中的一部分（和需要的結(jié)果），它就能產(chǎn)生一個(gè)可以滿足它們的程序。它會(huì)用梯度下降搜索整個(gè)程序空間。如果程序的輸出和參考數(shù)據(jù)中得到的理想輸出不一致，系統(tǒng)就會(huì)引導(dǎo)程序更新，讓輸出更符合數(shù)據(jù)。
論文中介紹的系統(tǒng) ?ILP 可以符號(hào)化地泛化。當(dāng)它看過(guò)「x<y」、「y<z」、「x<z」的樣本之后，它就會(huì)考慮「<」這個(gè)關(guān)系有可能是傳遞性的。當(dāng)它確認(rèn)了這個(gè)通用規(guī)則之后，它就可以把它用在一對(duì)以前從來(lái)沒(méi)有見(jiàn)過(guò)的數(shù)字上。
DeepMind 的研究人員們認(rèn)為，他們的這項(xiàng)成果某種程度上回答了「在深度神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)符號(hào)化泛化有沒(méi)有可能」這個(gè)問(wèn)題。在未來(lái)的研究中，他們還打算把類似 ?ILP 這樣的系統(tǒng)集成到強(qiáng)化學(xué)習(xí)智能體和更大的深度學(xué)習(xí)模型中。他們希望賦予智能體新的能力，不僅要能夠推理，還要懂得做出即時(shí)反應(yīng)。
論文地址：http://www.jair.org/media/5714/live-5714-10391-jair.pdf
via DeepMind Blog，雷鋒網(wǎng) AI 科技評(píng)論編譯
相關(guān)文章：
李飛飛：在物體識(shí)別之后，計(jì)算機(jī)視覺(jué)還要多久才能理解這個(gè)世界 | IROS 2017
DeepMind 開(kāi)源虛擬實(shí)驗(yàn)室 Psychlab，利用認(rèn)知心理學(xué)對(duì)智能體進(jìn)行研究
DeepMind眼中的神經(jīng)科學(xué)研究：人工智能進(jìn)步的另一個(gè)重要支點(diǎn)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
