DeepMind已經(jīng)建立了一個可以像常規(guī)的圖靈機(jī)一樣訪問外部存儲器的“神經(jīng)網(wǎng)絡(luò)圖靈機(jī)”。其結(jié)果是這個“神經(jīng)網(wǎng)絡(luò)圖靈機(jī)”可以模擬人類大腦的短期記憶。

在神經(jīng)系統(tǒng)科學(xué)領(lǐng)域中，其中一個最大的挑戰(zhàn)就是要了解人類大腦的短期工作記憶。與此同時，計算機(jī)科學(xué)家們也熱愛在硅片中重現(xiàn)同樣的記憶。

Google在今年年初曾花費4億美金收購的創(chuàng)業(yè)公司DeepMind在今天公布了一臺原型電腦，這臺原型電腦可以試圖模仿一些人類大腦的短期工作記憶的特性。這臺新的計算機(jī)具備一種神經(jīng)網(wǎng)絡(luò)類型，它可以適應(yīng)與外部存儲器共同工作。其結(jié)果是這臺計算機(jī)可以存儲記憶并能在之后檢索它們從而執(zhí)行一些有邏輯性的任務(wù)，除此以外，它也可以被訓(xùn)練去做一些事情。

DeepMind在人們已經(jīng)有著悠久探索歷史的短期記憶方面取得了突破性進(jìn)展。在20世紀(jì)50年代，美國認(rèn)知心理學(xué)家George Miller進(jìn)行了一項在腦科學(xué)的歷史中非常著名的實驗。George Miller對人類大腦工作記憶的能力十分感興趣，他開始著手測量人類大腦的實驗并邀請了大批的學(xué)生參與這項實驗。

George Miller的實驗結(jié)果顯示，短期記憶的能力不能由它包含的信息量來確定。反而George Miller的實驗結(jié)果顯示出工作記憶是以“塊”的形式來存儲信息，并且大約可以存儲7個。

這提出了一個奇怪的問題：這個“塊”是什么？在Miller的實驗中，一個塊可以是一個單一的數(shù)字，如“4”，一個字母如“Q”，一個詞或一個詞組。所以每個塊都可以表示任何從一個非常小的信息量變成一個非常復(fù)雜的想法的東西，它等效于大量的信息。

但是，無論一個單獨的塊能表示多少信息，人類的大腦也只能存儲七個塊在工作記憶中。

這里有一個例子。請仔細(xì)看下面的句子：“This book is a thrilling read with a complex plot and lifelike characters ”。

這句話是由大約7塊信息組成的，顯然這句話在任何普通讀者看來都是可以理解的。

與此相反的是，嘗試讀讀這句話：“This book about the Roman Empire during the first years of Augustus Caesar’s rein at the end of the Roman Republic, describes the events following the bloody Battle of Actium in 31 BC when the young emperor defeated Mark Antony and Cleopatra by comprehensively outmaneuvering them in a major naval engagement “。

這句話至少包含20塊信息。所以，如果你發(fā)現(xiàn)它更難以閱讀，不用驚訝。人類的大腦在工作記憶中確實很難以處理這類信息。

在認(rèn)知科學(xué)領(lǐng)域，理解句子的組成部分，并將其存儲在工作記憶中的能力被稱為變量綁定。這是將一塊數(shù)據(jù)取出，將其分配給記憶，并反復(fù)執(zhí)行此操作的能力。

在90年代和00年代期間，計算機(jī)科學(xué)家多次試圖設(shè)計算法、電路和神經(jīng)網(wǎng)絡(luò)，希望其可以執(zhí)行上述操作。這樣的計算機(jī)應(yīng)該能夠分析一些簡單的句子例如“瑪麗告訴約翰”，所以在這樣的情況下，計算機(jī)可以區(qū)分出瑪麗是說話的角色，說話這個動作和約翰這個傾聽的角色。

DeepMind的人員透露，早期的機(jī)器的性能非常有限，而他們的架構(gòu)借鑒了之前的技術(shù)并加強(qiáng)了它。

他們開始重新定義神經(jīng)網(wǎng)絡(luò)的本質(zhì)。至今，神經(jīng)網(wǎng)絡(luò)已成為相互關(guān)聯(lián)的“神經(jīng)元”模式，它有能力改變相互連接的強(qiáng)度來響應(yīng)外部輸入。這是一種學(xué)習(xí)的形式，讓他們發(fā)現(xiàn)不同的輸入之間的相似之處。

但是，計算的基本過程包含一個重要的附加因素。在計算的過程中，外部存儲器需要可以被讀取和寫入。在圖靈著名的計算機(jī)說明中，存儲器就像是一個電報紙條，通過計算機(jī)來回傳遞并存儲各種各樣的符號供稍后處理。

這種類型的可讀和可寫的存儲器中不存在常規(guī)的神經(jīng)網(wǎng)絡(luò)。因此，他們僅僅添加了一個。這使得神經(jīng)網(wǎng)絡(luò)可以在其存儲器中存儲變量并返回給它們在之后的計算中使用。

這類似于一臺普通的計算機(jī)可能把數(shù)字3和數(shù)字4輸入進(jìn)內(nèi)部寄存器，之后將它們合在一起生成7。區(qū)別在于神經(jīng)網(wǎng)絡(luò)可以存儲更復(fù)雜的表示變量的模式。

由于這種形式的計算與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有不同的特點，DeepMind給它起了一個新的名字——他們稱之為神經(jīng)體統(tǒng)圖靈機(jī)，而且第一款產(chǎn)品已建成。神經(jīng)系統(tǒng)圖靈機(jī)與常規(guī)神經(jīng)網(wǎng)絡(luò)類似，它通過接受外部世界輸入的信息來學(xué)習(xí)，但它也會學(xué)習(xí)如何存儲這種信息以及何時進(jìn)行檢索。

DeepMind的工作包括：首先構(gòu)建設(shè)備，然后進(jìn)行實驗。他們的實驗中包含了一些測試，看看神經(jīng)系統(tǒng)圖靈機(jī)能否執(zhí)行特定的任務(wù)，它可以再擴(kuò)展這個能力從而實現(xiàn)更大或更復(fù)雜的任務(wù)。

事實證明，神經(jīng)系統(tǒng)圖靈機(jī)已經(jīng)學(xué)會了完美復(fù)制的序列長度為20左右的信息。然后在復(fù)制序列長度為30和50的信息時，也很少出現(xiàn)錯誤。對于長度為120的序列，錯誤開始增多。

他們比較了它們的神經(jīng)體統(tǒng)圖靈機(jī)的與常規(guī)的神經(jīng)網(wǎng)絡(luò)的性能。區(qū)別是很顯著的。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)會復(fù)制序列長度是20的信息時幾乎是完美的。但是，當(dāng)涉及到那些更長的序列時，錯誤會立刻增多。處理長度為120的序列時幾乎是不可識別的。

DeepMind團(tuán)隊也測試了神經(jīng)體統(tǒng)圖靈機(jī)執(zhí)行其他任務(wù)的能力。例如，其中之一相當(dāng)于是復(fù)?。涸撊蝿?wù)是復(fù)制序列，然后重復(fù)該序列一定的次數(shù)，并結(jié)束于一個預(yù)定的標(biāo)記。這一次，該神經(jīng)系統(tǒng)圖靈機(jī)的表現(xiàn)顯著優(yōu)于常規(guī)的神經(jīng)網(wǎng)絡(luò)。

這是一個令人印象深刻的產(chǎn)品。DeepMind的實驗表明，神經(jīng)系統(tǒng)圖靈機(jī)能夠從數(shù)據(jù)中學(xué)習(xí)簡單的算法，并使用這些算法來擴(kuò)展它的能力。

大腦的這種重新編碼能力是人工智能的關(guān)鍵要素之一。除非電腦能復(fù)制人類大腦的這種能力后，否則它永遠(yuǎn)都比不上人腦的表現(xiàn)。 

Google旗下的DeepMind曾表示，他們的目標(biāo)是“解決智慧”。如果此解決方案可以達(dá)到人類的智力水平，那么最好的測試就是看神經(jīng)系統(tǒng)圖靈機(jī)能否具有人類大腦重新編碼的能力。 

via technologyreview

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。