丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能 正文
發(fā)私信給岑大師
發(fā)送

0

Deepmind "預(yù)測地圖"論文背后:神經(jīng)科學(xué)或?qū)⒅ι疃葘W(xué)習(xí)迎來新突破

本文作者: 岑大師 2017-10-03 13:21
導(dǎo)語:對人類神經(jīng)網(wǎng)絡(luò)的理解越來越在左右人工智能的未來研究,連Deepmind也不例外。

對人類神經(jīng)網(wǎng)絡(luò)的理解越來越在左右人工智能的未來研究,連Deepmind也不例外。

2017年10月2日,《NATURE NEUROSCIENCE》發(fā)表了Deepmind的一篇《The hippocampus as a predictive map》的論文。這篇論文中,Deepmind通過對主管人類長期記憶行為的“海馬體”(hippocampus)神經(jīng)元活動(dòng)的研究,進(jìn)一步提出了可以轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)架構(gòu)的“預(yù)測圖”理論。

Deepmind

在博客中,Deepmind這樣寫到:

“傳統(tǒng)觀點(diǎn)認(rèn)為海馬體只表示動(dòng)物的現(xiàn)狀,尤其在執(zhí)行走迷宮之類的空間任務(wù)中。這種觀點(diǎn)在發(fā)現(xiàn)嚙齒動(dòng)物的海馬體中的“位置細(xì)胞”后被廣泛傳播,當(dāng)動(dòng)物處于特定位置時(shí),它們會選擇性地放電。雖然這個(gè)理論解釋了許多神經(jīng)生理學(xué)發(fā)現(xiàn),但并不完全解釋為什么海馬體也參與其他功能,包括記憶,關(guān)系推理和決策等。

我們認(rèn)為,海馬體用它們預(yù)測到的未來狀態(tài)來展示代表每一種情況。例如,如果你要下班回家(你當(dāng)前的狀態(tài)),你的海馬體可能會預(yù)測你很可能很快會通勤回家,到學(xué)校接孩子,或者更長遠(yuǎn)一點(diǎn)——到家了。海馬體預(yù)測這些后期狀態(tài)來表現(xiàn)出當(dāng)前的狀態(tài),從而傳達(dá)了對未來事件的摘要表達(dá),也就是我們正式說的“后續(xù)表征”(Sucessor Representation)。我們認(rèn)為,這種具體形式的預(yù)測圖可以讓大腦在獎(jiǎng)勵(lì)不斷變化的環(huán)境中快速適應(yīng),而無需運(yùn)行代價(jià)昂貴的未來模擬。

這一理論啟發(fā)我們在新算法中結(jié)合了基于模型的算法的靈活性和無模型算法中的高效性,由于計(jì)算只是簡單的加權(quán)相加,因此該算法的計(jì)算效率與無模型算法相當(dāng),同時(shí),通過分離獎(jiǎng)勵(lì)期望與期望狀態(tài)(預(yù)測地圖),該算法可以通過簡單的更新獎(jiǎng)勵(lì)期望值并保持狀態(tài)期望值不變,從而快速適應(yīng)獎(jiǎng)勵(lì)變化?!?/p>

Deepmind

(老鼠在探索方形房間時(shí)記錄下來的海馬體每個(gè)位置細(xì)胞的活動(dòng)及放電率的變化)

這并不是Deepmind的第一篇神經(jīng)科學(xué)用于人工智能的論文,在此之前Deepmind就表過至少兩篇?jiǎng)?chuàng)始人Hassabis為作者的神經(jīng)科學(xué)論文(參見雷鋒網(wǎng)之前文章:《DeepMind眼中的神經(jīng)科學(xué)研究:人工智能進(jìn)步的另一個(gè)重要支點(diǎn)》),這篇文章作者中雖然不包括Hassabis,但相對于前兩篇論文更加具體,對未來的研究也更具有指導(dǎo)意義。

神經(jīng)網(wǎng)絡(luò)發(fā)展史

人工智能的發(fā)展與神經(jīng)系統(tǒng)有著千絲萬縷的聯(lián)系。在1943年,Warren McCulloch和Walter Pitts的《 神經(jīng)活動(dòng)內(nèi)在想法的邏輯演算 》第一次提出了如何讓人造神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)邏輯功能,這也奠定了神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)基礎(chǔ)和開啟了人們模擬人腦神經(jīng)系統(tǒng)開發(fā)人工智能(雖然當(dāng)時(shí)還沒有這個(gè)詞)的早期嘗試。

模仿人類神經(jīng)系統(tǒng)的問題是:人類大腦神經(jīng)系統(tǒng)實(shí)在太復(fù)雜了。在人類大腦神經(jīng)系統(tǒng)中包含10^11(10的11次方)的神經(jīng)元,即便現(xiàn)在也難以模擬。在1958年,F(xiàn)rank Rosenblatt通過解剖大鼠的大腦發(fā)布了一個(gè)模仿神經(jīng)元的感知機(jī),當(dāng)時(shí)有研究者認(rèn)為,只要神經(jīng)元足夠多、網(wǎng)絡(luò)連接足夠復(fù)雜,感知機(jī)就至少可以模擬部分人類智力,但在1969年,Marvin Minsky和Seymour Papert證明了感知機(jī)只能解決線性問題,還揭露了關(guān)于多層感知器的缺陷,這使得人工神經(jīng)網(wǎng)絡(luò)研究在人工智能領(lǐng)域很快就陷入了低谷,被基于規(guī)則和邏輯推理的專家系統(tǒng)所取代。

1974年,一位叫Geffory Hinton的年輕研究者發(fā)現(xiàn),把多個(gè)感知機(jī)連接成一個(gè)分層的網(wǎng)絡(luò),即可以解決Minsky的問題。這帶動(dòng)了80年代連接主義的興起,這個(gè)階段的連接理論最初被稱為分布式并行處理PDP (parallel distributed processing),他們以人工神經(jīng)網(wǎng)絡(luò)為工具方法,引領(lǐng)著神經(jīng)科學(xué)和人工智能領(lǐng)域的發(fā)展,與行為學(xué)派和符號學(xué)派三足鼎立。

隨之而來的問題是,如果要模擬人類大腦數(shù)量如此龐大的神經(jīng)元,可能需要對幾百甚至上千個(gè)參數(shù)進(jìn)行調(diào)節(jié),如何對這樣復(fù)雜的網(wǎng)絡(luò)進(jìn)行訓(xùn)練呢?Hinton等人的發(fā)現(xiàn)是,通過反向傳播算法可以解決多層網(wǎng)絡(luò)的訓(xùn)練問題。這一算法是用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見方法,該方法計(jì)算對網(wǎng)絡(luò)中所有權(quán)重計(jì)算損失函數(shù)的梯度。這個(gè)梯度會反饋給最優(yōu)化方法,用來更新權(quán)值以最小化損失函數(shù)。

神經(jīng)網(wǎng)絡(luò)的現(xiàn)代分類器的各個(gè)方面也受到了我們所了解的大腦的視覺系統(tǒng)的啟發(fā)。這方面研究的先驅(qū)包括Geoffrey Hinton、Yann LeCun、Yoshua Bengio等人,1998年,Yann LeCun提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN),2006年,Hinton提出了深度學(xué)習(xí)的概念并在其經(jīng)典論文《A fast learning alforithm for deep belief nets》中提出了深度信念網(wǎng)絡(luò),帶來了深度學(xué)習(xí)直到今天的黃金時(shí)代;2009年,Yoshua Bengio提出了深度學(xué)習(xí)的常用模型堆疊自動(dòng)編碼器(Stacked Auto-Encoder,SAE),基于神經(jīng)網(wǎng)絡(luò)的研究得到進(jìn)一步發(fā)揚(yáng)光大。

然而人工智能專家基于神經(jīng)系統(tǒng)的研究和思考并沒有停止。如腦科學(xué)的研究結(jié)果表明,大腦中神經(jīng)元的信號處理機(jī)制和連接學(xué)習(xí)方式是不同的,尤其是大腦的無意識感知和自我意識功能并不需要有監(jiān)督的學(xué)習(xí),在大腦神經(jīng)系統(tǒng)中,非監(jiān)督學(xué)習(xí)和自主學(xué)習(xí)同樣占有重要的地位,相應(yīng)地,對于無監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)的研究也成為人工智能的熱點(diǎn)之一。

而隨著深度學(xué)習(xí)和神經(jīng)科學(xué)的發(fā)展,之前對深度學(xué)習(xí)的一些基礎(chǔ)理論也在面臨著更新。例如在深度學(xué)習(xí)領(lǐng)域,神經(jīng)元是最底層的單元;而在神經(jīng)科學(xué)領(lǐng)域,神經(jīng)元并不是最底層的單位。目前的深度神經(jīng)網(wǎng)絡(luò)主要是三種結(jié)構(gòu),即 DNN(全連接的)、CNN(卷積)和 RNN(循環(huán)),而目前的研究表明,人類神經(jīng)網(wǎng)絡(luò)可能比較類似上述三種結(jié)構(gòu)的組合,層內(nèi)更像DNN, 層間和CNN 很類似,在時(shí)間上展開就是RNN。這種結(jié)構(gòu)上的差異也導(dǎo)致了深度學(xué)習(xí)研究的復(fù)雜性。

Deepmind

來源: Neocortical layer 6, a review & 知乎

深度學(xué)習(xí)正在面臨一個(gè)拐點(diǎn)——一方面,基于我們最初基于人腦結(jié)構(gòu)認(rèn)識的理論研究已經(jīng)到了一個(gè)平臺期,而另一方面,如Hinton等最尖端的深度學(xué)習(xí)專家也在借助神經(jīng)科學(xué)的最新發(fā)現(xiàn),對之前對提出的理論進(jìn)行反思,這也是近日Hinton就提出“深度學(xué)習(xí)需要推倒重來”,并表示可能要徹底放棄反向傳播的由來(參見雷鋒網(wǎng)文章:《Geffory Hinton:深度學(xué)習(xí)進(jìn)入平臺期?不,深度學(xué)習(xí)需要的是“推倒重來”》)。

在與OReilly的一次訪談中,Hinton曾經(jīng)承認(rèn)我們對人類神經(jīng)系統(tǒng)的了解并不足夠?!拔覀冋娌恢罏槭裁瓷窠?jīng)元要發(fā)脈沖。一個(gè)理論是它們想要噪聲,以便正則化,因?yàn)槲覀兊膮?shù)超過數(shù)據(jù)量。”Hinton在訪談中說道?!斑@個(gè)理論已經(jīng)出現(xiàn)有50多年了,但沒人知道它是否正確?!?br/>

神經(jīng)科學(xué)和對人腦的模仿在人工智能中曾經(jīng)起著重要的作用,而對于模仿人類大腦,是否能制造出最強(qiáng)大的人工智能,在不同人工智能學(xué)家眼里可能會有不同的答案。一個(gè)時(shí)常被提起的例子是,我們之所以能造出飛機(jī),是因?yàn)榭諝鈩?dòng)力學(xué)的發(fā)展而并非模仿鳥類飛行的動(dòng)作,但雷鋒網(wǎng)認(rèn)為,這種從仿生到理論的循環(huán)可能是一種螺旋式的上升過程,新的神經(jīng)系統(tǒng)發(fā)現(xiàn)和研究可能會推翻之前的人工智能經(jīng)典理論,并隨之模擬出新的人工智能網(wǎng)絡(luò)和產(chǎn)生新的理論,從而推動(dòng)人工智能的研究突破瓶頸得到進(jìn)一步發(fā)展。

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知

Deepmind

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個(gè)人簡介
為了您的賬戶安全,請驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說