對人類神經(jīng)網(wǎng)絡(luò)的理解越來越在左右人工智能的未來研究，連Deepmind也不例外。

2017年10月2日，《NATURE NEUROSCIENCE》發(fā)表了Deepmind的一篇《The hippocampus as a predictive map》的論文。這篇論文中，Deepmind通過對主管人類長期記憶行為的“海馬體”（hippocampus）神經(jīng)元活動(dòng)的研究，進(jìn)一步提出了可以轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)架構(gòu)的“預(yù)測圖”理論。

在博客中，Deepmind這樣寫到：

“傳統(tǒng)觀點(diǎn)認(rèn)為海馬體只表示動(dòng)物的現(xiàn)狀，尤其在執(zhí)行走迷宮之類的空間任務(wù)中。這種觀點(diǎn)在發(fā)現(xiàn)嚙齒動(dòng)物的海馬體中的“位置細(xì)胞”后被廣泛傳播，當(dāng)動(dòng)物處于特定位置時(shí)，它們會選擇性地放電。雖然這個(gè)理論解釋了許多神經(jīng)生理學(xué)發(fā)現(xiàn)，但并不完全解釋為什么海馬體也參與其他功能，包括記憶，關(guān)系推理和決策等。

我們認(rèn)為，海馬體用它們預(yù)測到的未來狀態(tài)來展示代表每一種情況。例如，如果你要下班回家（你當(dāng)前的狀態(tài)），你的海馬體可能會預(yù)測你很可能很快會通勤回家，到學(xué)校接孩子，或者更長遠(yuǎn)一點(diǎn)——到家了。海馬體預(yù)測這些后期狀態(tài)來表現(xiàn)出當(dāng)前的狀態(tài)，從而傳達(dá)了對未來事件的摘要表達(dá)，也就是我們正式說的“后續(xù)表征”（Sucessor Representation）。我們認(rèn)為，這種具體形式的預(yù)測圖可以讓大腦在獎(jiǎng)勵(lì)不斷變化的環(huán)境中快速適應(yīng)，而無需運(yùn)行代價(jià)昂貴的未來模擬。

這一理論啟發(fā)我們在新算法中結(jié)合了基于模型的算法的靈活性和無模型算法中的高效性，由于計(jì)算只是簡單的加權(quán)相加，因此該算法的計(jì)算效率與無模型算法相當(dāng)，同時(shí)，通過分離獎(jiǎng)勵(lì)期望與期望狀態(tài)（預(yù)測地圖），該算法可以通過簡單的更新獎(jiǎng)勵(lì)期望值并保持狀態(tài)期望值不變，從而快速適應(yīng)獎(jiǎng)勵(lì)變化?！?/p>

（老鼠在探索方形房間時(shí)記錄下來的海馬體每個(gè)位置細(xì)胞的活動(dòng)及放電率的變化）

這并不是Deepmind的第一篇神經(jīng)科學(xué)用于人工智能的論文，在此之前Deepmind就表過至少兩篇?jiǎng)?chuàng)始人Hassabis為作者的神經(jīng)科學(xué)論文（參見雷鋒網(wǎng)之前文章：《DeepMind眼中的神經(jīng)科學(xué)研究：人工智能進(jìn)步的另一個(gè)重要支點(diǎn)》），這篇文章作者中雖然不包括Hassabis，但相對于前兩篇論文更加具體，對未來的研究也更具有指導(dǎo)意義。

神經(jīng)網(wǎng)絡(luò)發(fā)展史

人工智能的發(fā)展與神經(jīng)系統(tǒng)有著千絲萬縷的聯(lián)系。在1943年，Warren McCulloch和Walter Pitts的《 神經(jīng)活動(dòng)內(nèi)在想法的邏輯演算 》第一次提出了如何讓人造神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)邏輯功能，這也奠定了神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)基礎(chǔ)和開啟了人們模擬人腦神經(jīng)系統(tǒng)開發(fā)人工智能（雖然當(dāng)時(shí)還沒有這個(gè)詞）的早期嘗試。

模仿人類神經(jīng)系統(tǒng)的問題是：人類大腦神經(jīng)系統(tǒng)實(shí)在太復(fù)雜了。在人類大腦神經(jīng)系統(tǒng)中包含10^11（10的11次方）的神經(jīng)元，即便現(xiàn)在也難以模擬。在1958年，F(xiàn)rank Rosenblatt通過解剖大鼠的大腦發(fā)布了一個(gè)模仿神經(jīng)元的感知機(jī)，當(dāng)時(shí)有研究者認(rèn)為，只要神經(jīng)元足夠多、網(wǎng)絡(luò)連接足夠復(fù)雜，感知機(jī)就至少可以模擬部分人類智力，但在1969年，Marvin Minsky和Seymour Papert證明了感知機(jī)只能解決線性問題，還揭露了關(guān)于多層感知器的缺陷，這使得人工神經(jīng)網(wǎng)絡(luò)研究在人工智能領(lǐng)域很快就陷入了低谷，被基于規(guī)則和邏輯推理的專家系統(tǒng)所取代。

1974年，一位叫Geffory Hinton的年輕研究者發(fā)現(xiàn)，把多個(gè)感知機(jī)連接成一個(gè)分層的網(wǎng)絡(luò)，即可以解決Minsky的問題。這帶動(dòng)了80年代連接主義的興起，這個(gè)階段的連接理論最初被稱為分布式并行處理PDP (parallel distributed processing)，他們以人工神經(jīng)網(wǎng)絡(luò)為工具方法，引領(lǐng)著神經(jīng)科學(xué)和人工智能領(lǐng)域的發(fā)展，與行為學(xué)派和符號學(xué)派三足鼎立。

隨之而來的問題是，如果要模擬人類大腦數(shù)量如此龐大的神經(jīng)元，可能需要對幾百甚至上千個(gè)參數(shù)進(jìn)行調(diào)節(jié)，如何對這樣復(fù)雜的網(wǎng)絡(luò)進(jìn)行訓(xùn)練呢？Hinton等人的發(fā)現(xiàn)是，通過反向傳播算法可以解決多層網(wǎng)絡(luò)的訓(xùn)練問題。這一算法是用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見方法，該方法計(jì)算對網(wǎng)絡(luò)中所有權(quán)重計(jì)算損失函數(shù)的梯度。這個(gè)梯度會反饋給最優(yōu)化方法，用來更新權(quán)值以最小化損失函數(shù)。

神經(jīng)網(wǎng)絡(luò)的現(xiàn)代分類器的各個(gè)方面也受到了我們所了解的大腦的視覺系統(tǒng)的啟發(fā)。這方面研究的先驅(qū)包括Geoffrey Hinton、Yann LeCun、Yoshua Bengio等人，1998年，Yann LeCun提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN），2006年，Hinton提出了深度學(xué)習(xí)的概念并在其經(jīng)典論文《A fast learning alforithm for deep belief nets》中提出了深度信念網(wǎng)絡(luò)，帶來了深度學(xué)習(xí)直到今天的黃金時(shí)代；2009年，Yoshua Bengio提出了深度學(xué)習(xí)的常用模型堆疊自動(dòng)編碼器（Stacked Auto-Encoder,SAE），基于神經(jīng)網(wǎng)絡(luò)的研究得到進(jìn)一步發(fā)揚(yáng)光大。

然而人工智能專家基于神經(jīng)系統(tǒng)的研究和思考并沒有停止。如腦科學(xué)的研究結(jié)果表明，大腦中神經(jīng)元的信號處理機(jī)制和連接學(xué)習(xí)方式是不同的，尤其是大腦的無意識感知和自我意識功能并不需要有監(jiān)督的學(xué)習(xí)，在大腦神經(jīng)系統(tǒng)中，非監(jiān)督學(xué)習(xí)和自主學(xué)習(xí)同樣占有重要的地位，相應(yīng)地，對于無監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)的研究也成為人工智能的熱點(diǎn)之一。

而隨著深度學(xué)習(xí)和神經(jīng)科學(xué)的發(fā)展，之前對深度學(xué)習(xí)的一些基礎(chǔ)理論也在面臨著更新。例如在深度學(xué)習(xí)領(lǐng)域，神經(jīng)元是最底層的單元；而在神經(jīng)科學(xué)領(lǐng)域，神經(jīng)元并不是最底層的單位。目前的深度神經(jīng)網(wǎng)絡(luò)主要是三種結(jié)構(gòu)，即 DNN（全連接的）、CNN（卷積）和 RNN（循環(huán)），而目前的研究表明，人類神經(jīng)網(wǎng)絡(luò)可能比較類似上述三種結(jié)構(gòu)的組合，層內(nèi)更像DNN， 層間和CNN 很類似，在時(shí)間上展開就是RNN。這種結(jié)構(gòu)上的差異也導(dǎo)致了深度學(xué)習(xí)研究的復(fù)雜性。

來源： Neocortical layer 6, a review & 知乎

深度學(xué)習(xí)正在面臨一個(gè)拐點(diǎn)——一方面，基于我們最初基于人腦結(jié)構(gòu)認(rèn)識的理論研究已經(jīng)到了一個(gè)平臺期，而另一方面，如Hinton等最尖端的深度學(xué)習(xí)專家也在借助神經(jīng)科學(xué)的最新發(fā)現(xiàn)，對之前對提出的理論進(jìn)行反思，這也是近日Hinton就提出“深度學(xué)習(xí)需要推倒重來”，并表示可能要徹底放棄反向傳播的由來（參見雷鋒網(wǎng)文章：《Geffory Hinton：深度學(xué)習(xí)進(jìn)入平臺期？不，深度學(xué)習(xí)需要的是“推倒重來”》）。

在與OReilly的一次訪談中，Hinton曾經(jīng)承認(rèn)我們對人類神經(jīng)系統(tǒng)的了解并不足夠?！拔覀冋娌恢罏槭裁瓷窠?jīng)元要發(fā)脈沖。一個(gè)理論是它們想要噪聲，以便正則化，因?yàn)槲覀兊膮?shù)超過數(shù)據(jù)量。”Hinton在訪談中說道?！斑@個(gè)理論已經(jīng)出現(xiàn)有50多年了，但沒人知道它是否正確?！?br/>

神經(jīng)科學(xué)和對人腦的模仿在人工智能中曾經(jīng)起著重要的作用，而對于模仿人類大腦，是否能制造出最強(qiáng)大的人工智能，在不同人工智能學(xué)家眼里可能會有不同的答案。一個(gè)時(shí)常被提起的例子是，我們之所以能造出飛機(jī)，是因?yàn)榭諝鈩?dòng)力學(xué)的發(fā)展而并非模仿鳥類飛行的動(dòng)作，但雷鋒網(wǎng)認(rèn)為，這種從仿生到理論的循環(huán)可能是一種螺旋式的上升過程，新的神經(jīng)系統(tǒng)發(fā)現(xiàn)和研究可能會推翻之前的人工智能經(jīng)典理論，并隨之模擬出新的人工智能網(wǎng)絡(luò)和產(chǎn)生新的理論，從而推動(dòng)人工智能的研究突破瓶頸得到進(jìn)一步發(fā)展。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。