0
本文作者: 奕欣 | 2016-12-30 10:46 |
雷鋒網(wǎng)按:于爾根·施密德胡伯(Jürgen Schmidhuber)可謂深度學(xué)習(xí)的元老,他在1992年提出了多層級(jí)網(wǎng)絡(luò),利用無監(jiān)督學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的每一層,再利用反向傳播算法調(diào)優(yōu)。而在1997年,他與 Sepp Hochreiter 共同發(fā)表了一篇論文,提出了長短期記憶(LSTM)的概念。
LSTM 能夠提升神經(jīng)網(wǎng)絡(luò)接受輸入信息及訓(xùn)練數(shù)據(jù)的記憶機(jī)制,讓輸出結(jié)果得到大幅度的提升。但是,這一概念遠(yuǎn)遠(yuǎn)超越了當(dāng)時(shí)的計(jì)算機(jī)硬件水平,以至這一想法直到近年才廣為人知。比起如今更為知名的 LeCun、Ian Goodfellow、Hilton而言,施密德胡伯似乎名氣不大,但包括谷歌在內(nèi)的研究機(jī)構(gòu)都開始采用 LSTM。他曾經(jīng)表示:“沒有任何原因說明,機(jī)器不能擁有好奇心和創(chuàng)造力”,而近日Inverse對(duì)施密德胡伯進(jìn)行的一次訪談,則更能看出這位科學(xué)家對(duì)于人工智能的前瞻與展望。雷鋒網(wǎng)編譯如下,未經(jīng)許可不得轉(zhuǎn)載。
在你心中,人工智能在未來會(huì)承擔(dān)怎樣的角色?
所有的智能——不論是人類的還是人工的——都基于一個(gè)主題,那就是解決問題。長期以來,我們一直在致力于構(gòu)建一個(gè)解決通用問題的機(jī)制,不論這些問題是困難還是簡單。這個(gè)問題解決機(jī)制能夠通過先前學(xué)習(xí)的技能解決現(xiàn)有的問題,通常,機(jī)器會(huì)將新的技能增加到計(jì)算指令系統(tǒng)中,并能夠解決越來越通用的問題。當(dāng)然,如果到達(dá)我們所預(yù)想的成功,一切將會(huì)發(fā)生翻天覆地的改變,因?yàn)槊總€(gè)計(jì)算問題或每個(gè)專業(yè)性研究都將受到影響。
我想指出的一點(diǎn)是,我們?cè)缭?5年前就擁有了少量的、基礎(chǔ)的且有意識(shí)的學(xué)習(xí)系統(tǒng)?;仡櫛藭r(shí),我已經(jīng)提出通用學(xué)習(xí)系統(tǒng)由兩個(gè)模塊組成。
其中一個(gè)為遞歸網(wǎng)絡(luò)控制器,能夠?qū)W會(huì)對(duì)輸入的數(shù)據(jù)(比如視頻或平面指示牌)翻譯為具體操作。舉個(gè)例子,當(dāng)你機(jī)能不足時(shí),身體會(huì)釋放饑餓信號(hào)向你發(fā)出警告。而神經(jīng)網(wǎng)絡(luò)能夠?qū)⑦@些信號(hào)轉(zhuǎn)換為行動(dòng)的操作序列。同樣是上述情況,那么人體就會(huì)意識(shí)到自己餓了,并尋找“能夠充電”的東西(吃的),而與此同時(shí),人體還會(huì)注意不要磕碰到桌椅,以避免痛覺發(fā)出信號(hào)。
如果把人體當(dāng)作一個(gè)處理器,那么身體的人生目標(biāo)便是盡可能將愉悅感最大化,并減少痛苦。這個(gè)目標(biāo)非常簡單且具體,但很難實(shí)現(xiàn),因?yàn)槟阈枰ㄟ^大量的學(xué)習(xí)。想象一個(gè)襁褓中的嬰兒需要經(jīng)過多少年的學(xué)習(xí),才能懂得和這個(gè)世界共處。
自1990年開始,我們同樣也對(duì)機(jī)器開始做同樣的事情,即采用無監(jiān)督學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò),并進(jìn)行反向調(diào)優(yōu),這個(gè)模型能夠預(yù)測未來將要發(fā)生的事情??粗郧皥?zhí)行的操作并進(jìn)行觀察,學(xué)會(huì)預(yù)測未來——因?yàn)樗且粋€(gè)會(huì)反復(fù)出現(xiàn)的網(wǎng)絡(luò),在某種程度上可以理解為可預(yù)測的代碼。
比如,視頻里出現(xiàn)了100個(gè)蘋果掉落,而且每個(gè)蘋果掉落的方式都是相同的,那么你就能預(yù)測出蘋果掉落的方式。甚至也不需要單獨(dú)存儲(chǔ)(每個(gè)蘋果掉落的模式,因?yàn)槎际且粯拥模膊恍枰加媚隳X袋太多的內(nèi)存。
隨著與環(huán)境的交互越來越深入,大量的數(shù)據(jù)也涌入其中,無監(jiān)督模型網(wǎng)絡(luò),也就是我在1990年就提出的新模式,學(xué)會(huì)了發(fā)現(xiàn)新的規(guī)律,或是對(duì)稱性,或是反復(fù)性。它也能學(xué)會(huì)用更少的計(jì)算單元處理數(shù)據(jù),也就意味著更少的存儲(chǔ)空間與更少的時(shí)間。曾經(jīng)被譽(yù)為意識(shí)的東西,實(shí)際上在學(xué)習(xí)的推移中變成了自動(dòng)化與無意識(shí)的活動(dòng)。
隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展及學(xué)習(xí)了更多規(guī)律后,機(jī)器能夠判斷無監(jiān)督模型的解析需要多少計(jì)算量。這也是神經(jīng)網(wǎng)絡(luò)的有趣之處:從一個(gè)數(shù)字,到第一層網(wǎng)絡(luò),到能給回饋信號(hào)最大化的控制器——就像科學(xué)家突然發(fā)現(xiàn)了新的定律一樣。
當(dāng)我們身處這個(gè)世界,實(shí)際上我們會(huì)見到很多人的面孔。而這些記憶被壓縮在你的大腦里,以一個(gè)類似反向網(wǎng)絡(luò)的形式存在著?!懊娌烤幋a器”,也就意味著有一個(gè)類似刻板印象的面部數(shù)據(jù)庫。當(dāng)你遇到一個(gè)陌生人時(shí),你需要做的就是將這些新的偏差元素進(jìn)行編碼。
意識(shí)實(shí)際上可以理解為一個(gè)中間處理系統(tǒng),而這個(gè)中繼器與世界交互的過程中,它會(huì)發(fā)現(xiàn)自己本身就是與世界交互的最佳形式。
出于數(shù)據(jù)壓縮的原因,如果能設(shè)置一對(duì)神經(jīng)元,實(shí)際上對(duì)反向模型神經(jīng)的編碼非常有效。它能夠壓縮以往所有的行動(dòng)和感知,通過創(chuàng)建個(gè)性化符號(hào)及代理器的附加符號(hào)(比如手、腳還有隨便什么東西)。在尋找一個(gè)新問題的解決方案時(shí),這些神經(jīng)元會(huì)被激活,并開始處理這些問題。
這也是我們1991年所在做的事情。誠然,這是一種基本的意識(shí)形態(tài)——并沒有你自己的那么令人印象深刻,畢竟你的大腦比起人工代理器而言簡直是龐然大物。人類大概有著10萬億個(gè)連接,而當(dāng)今最大的 LSTM網(wǎng)絡(luò)也只有10億個(gè)連接。因此,你的皮質(zhì)是LSTM網(wǎng)絡(luò)的10萬倍,可以攜帶的意識(shí)自然也比我們的小小人工處理器更多。不過,我們注意到了計(jì)算界也有摩爾定律——每五年,計(jì)算成本就會(huì)便宜十倍。因此,也許只需要25年,我們就能擁有和自己大腦一樣多的連接的LSTM網(wǎng)絡(luò),而且造價(jià)也更便宜。
而這些連接自然會(huì)比我們的人工大腦所構(gòu)建的連接要慢得多。
我認(rèn)為這是可以實(shí)現(xiàn)的。在行為上,我們的人工智能有著相似的原理。當(dāng)我們把AI與其它會(huì)傷害后者的兩個(gè)代理器放在一起時(shí)——比如把它們?cè)O(shè)定為捕食者與獵物的關(guān)系——其實(shí)它們不希望受到傷害。當(dāng)一個(gè)人工智能模型遭到一次攻擊,后者的疼痛系數(shù)會(huì)顯示上升。當(dāng)然,它會(huì)學(xué)著預(yù)測與避免,比如躲在簾子后面,或模擬對(duì)方的行為。因此,從人工智能自行學(xué)習(xí)的過程中來看,你可以發(fā)現(xiàn)它并不喜歡這樣做。
當(dāng)然,這是我們觀望了很長一段時(shí)間后而得出的結(jié)論。我們的人工智能嘗試避免疼痛,并試圖追求最大化的樂趣與內(nèi)心的愉悅感——因?yàn)閮?nèi)置了一個(gè)效用函數(shù)與獎(jiǎng)勵(lì)機(jī)制,機(jī)器會(huì)讓這個(gè)目標(biāo)最大化。
當(dāng)然,人類也有這樣的獎(jiǎng)勵(lì)功能,并已經(jīng)根植于每個(gè)新生兒的體內(nèi)。這些行為至少在高等動(dòng)物上非常常見。因此,我們沒有理由相信這是不可復(fù)制的。
對(duì)呀。我經(jīng)常在想,這些內(nèi)省的思考是否源自第一原則,而我是否可以在我自己的思維中重新發(fā)現(xiàn)這些內(nèi)容。我相信自己可以做到這一點(diǎn),雖然我知道,很多人會(huì)被這種想法所欺騙,但于我而言,這仿佛是顯而易見的:或多或少與我正在做的事有關(guān)。對(duì)我來說,顯然不需要?jiǎng)e的東西來解釋意識(shí)。我也相信,理解意識(shí)的所有基本成分都已經(jīng)存在了四分之一個(gè)世紀(jì)。神經(jīng)科學(xué)的研究者們或許不知道人工智能的神經(jīng)網(wǎng)絡(luò)領(lǐng)域已經(jīng)發(fā)生了怎樣的變化,他們尚未意識(shí)到這些簡單的基本原則。但我相信,他們會(huì)更多地了解這一點(diǎn)。這也是我希望看到的。
最近在紐約,我在一次關(guān)于倫理和 AI 的會(huì)議發(fā)表了演講。一名觀眾提出了一個(gè)尖銳的問題,不過我以自己在在上世紀(jì)80年代一個(gè)小型會(huì)議上所說的原句回應(yīng)了他:“我必須承認(rèn):我的公司正在制作 androids 機(jī)器人,而我會(huì)把自己當(dāng)作原型。我可能不具有意識(shí),但我善于偽裝這一點(diǎn)。”
via inverse
【兼職召集令!】
如果你對(duì)未來充滿憧憬,喜歡探索改變世界的科技進(jìn)展,look no further!
我們需要這樣的你:
精通英語,對(duì)技術(shù)與產(chǎn)品感興趣,關(guān)注人工智能學(xué)術(shù)動(dòng)態(tài)的蘿莉&萌妹子&技術(shù)宅;
文字不求妙筆生花,但希望通俗易懂;
在這里,你會(huì)收獲:
一群來自天南地北、志同道合的小伙伴;
前沿學(xué)術(shù)科技動(dòng)態(tài),每天為自己充充電;
更高的生活品質(zhì),翻翻文章就能掙到零花錢;
有意向的小伙伴們把個(gè)人介紹/簡歷發(fā)至 guoyixin@leiphone.com,如有作品,歡迎一并附上。
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。