雷鋒網(wǎng)按：類腦計(jì)算的概念可以追溯到20世紀(jì)80年代，歷經(jīng)40年，類腦計(jì)算依舊沒有取得實(shí)際的成功，這引發(fā)了不少質(zhì)疑。不過(guò)，近來(lái)的研究可以將參數(shù)從正常神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)移到尖峰神經(jīng)元網(wǎng)絡(luò)，以解決傳統(tǒng)缺乏“學(xué)習(xí)規(guī)則”的問題。未來(lái)，尖峰神經(jīng)元網(wǎng)絡(luò)可能會(huì)成為主流。

四十年來(lái)，人們一直在努力構(gòu)建模擬大腦結(jié)構(gòu)的計(jì)算機(jī)。迄今為止，他們幾乎沒有取得任何實(shí)際的成功。但是，最近這種努力獲得了一些令人驚訝的成績(jī)。

今年La Jolla的Salk研究所的Terry Sejnowski研究實(shí)驗(yàn)室提出了一種使用標(biāo)準(zhǔn)形式的機(jī)器學(xué)習(xí)訓(xùn)練“尖峰”神經(jīng)元（Spiking Neurons）的新方法，稱為“遞歸神經(jīng)網(wǎng)絡(luò)”或“RNNs”。

Hava Siegelmann幾十年來(lái)一直在開展計(jì)算機(jī)設(shè)計(jì)的開拓性工作，他與同事一起提出了一種尖峰神經(jīng)元系統(tǒng)，可以實(shí)現(xiàn)“無(wú)監(jiān)督”學(xué)習(xí)。

神經(jīng)形態(tài)計(jì)算是指用各種方式構(gòu)建類似大腦的計(jì)算。這個(gè)概念可以追溯到20世紀(jì)80年代早期傳奇計(jì)算先驅(qū)Carver Mead，他對(duì)芯片中日益密集的晶體管集合如何最好地進(jìn)行通信十分感興趣。Mead認(rèn)為晶體管之間的布線效率需要達(dá)到一定的大腦神經(jīng)連接水平。

從那時(shí)起，已經(jīng)有許多相關(guān)的研究項(xiàng)目，其中包括IBM的Almaden研究中心在圣何塞的Winfried Wilcke，還有TrueNorth芯片，以及英特爾的Loihi項(xiàng)目等。今年早些時(shí)候， Scott Fulton III 在神經(jīng)形態(tài)計(jì)算方面有了一些有趣的進(jìn)展。

到目前為止，這些項(xiàng)目幾乎沒有取得實(shí)際成功，引發(fā)了大量的質(zhì)疑。在舊金山舉行的國(guó)際固態(tài)電路會(huì)議期間，F(xiàn)acebook的人工智能研究負(fù)責(zé)人Yann LeCun就深度學(xué)習(xí)芯片的趨勢(shì)發(fā)表了演講。他對(duì)尖峰神經(jīng)網(wǎng)絡(luò)的工作有些不屑一顧。英特爾負(fù)責(zé)管Loihi項(xiàng)目的Mike Davies在會(huì)后表達(dá)強(qiáng)烈反對(duì)。Davies對(duì)LeCun的反擊促使LeCun 在Facebook上再次攻擊尖峰神經(jīng)網(wǎng)絡(luò)。

“AFAIK，尚未有明確證據(jù)表明尖峰神經(jīng)元網(wǎng)絡(luò)（在軟件或硬件中）可以學(xué)習(xí)復(fù)雜的任務(wù)，”LeCun說(shuō)。“事實(shí)上，我不確定任何尖峰神經(jīng)網(wǎng)絡(luò)是否已經(jīng)接近現(xiàn)有普通神經(jīng)網(wǎng)絡(luò)的性能?！?/p>

但Sejnowski的實(shí)驗(yàn)室和Siegelmann在國(guó)防高級(jí)研究計(jì)劃局的生物啟發(fā)神經(jīng)和動(dòng)力系統(tǒng)實(shí)驗(yàn)室的團(tuán)隊(duì)提供了新的希望。

Salk研究所的Sejnowski 在4月與ZDNet對(duì)話時(shí)，他預(yù)測(cè)未來(lái)尖峰神經(jīng)網(wǎng)絡(luò)將發(fā)揮重要作用?！斑@將是另一次重大轉(zhuǎn)變，可能會(huì)在未來(lái)五到十年內(nèi)發(fā)生，”Sejnowski說(shuō)。

Sejnowski說(shuō)：“大腦非常有高效，其中一個(gè)使它高效的因素是它使用尖峰。如果有人能夠使用尖峰神經(jīng)元的模型，那么你需要的能量將會(huì)下降一千倍甚至更多。然后它會(huì)變得足夠便宜，無(wú)處不在，就像手機(jī)中的傳感器。“

因此，Sejnowski認(rèn)為尖峰神經(jīng)元可以成為推理的重要推動(dòng)力，推理在電源受限的邊緣計(jì)算設(shè)備（如移動(dòng)電話）上進(jìn)行預(yù)測(cè)任務(wù)。

機(jī)器學(xué)習(xí)先驅(qū)Terry Sejnowski和他在加利福尼亞州La Jolla的Salk研究所的團(tuán)隊(duì)開發(fā)了一種方法，將參數(shù)從正常神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)移到尖峰神經(jīng)元網(wǎng)絡(luò)，以解決傳統(tǒng)缺乏“學(xué)習(xí)規(guī)則”的問題。Sejnowski預(yù)測(cè)，未來(lái)幾年這種神經(jīng)形態(tài)計(jì)算將發(fā)揮重要作用。

Sejnowski實(shí)驗(yàn)室的成果由Robert Kim，Yinghao Li和Sejnowski撰寫，于3月發(fā)表，標(biāo)題為《Simple Framework for Constructing Functional Spiking Recurrent Neural Networks》，該研究發(fā)布在Bioarxiv，描述了訓(xùn)練標(biāo)準(zhǔn)遞歸神經(jīng)網(wǎng)絡(luò)或“RNN”，然后將這些參數(shù)傳遞給尖峰神經(jīng)網(wǎng)絡(luò)。這個(gè)想法是為了解決尖峰神經(jīng)元目前無(wú)法通過(guò)梯度下降（傳統(tǒng)機(jī)器學(xué)習(xí)的關(guān)鍵）進(jìn)行訓(xùn)練的情況。

換句話說(shuō)，尖峰神經(jīng)元不符合深度學(xué)習(xí)的標(biāo)準(zhǔn)學(xué)習(xí)規(guī)則。新的研究是一種所謂的“轉(zhuǎn)移學(xué)習(xí)”，在一個(gè)地方設(shè)置參數(shù)并將它們帶到一個(gè)新的地方，以克服尖峰神經(jīng)元的缺點(diǎn)。

正如作者所解釋的那樣，“尖峰信號(hào)的不可微分性質(zhì)阻止了使用基于梯度下降的方法來(lái)直接訓(xùn)練尖峰網(wǎng)絡(luò)?！?/p>

“我們的方法包括使用基于梯度下降的方法訓(xùn)練連續(xù)可變速率RNN（遞歸神經(jīng)網(wǎng)絡(luò)），并將RNN網(wǎng)絡(luò)的學(xué)習(xí)動(dòng)態(tài)以及約束以一對(duì)一的方式傳遞給尖峰網(wǎng)絡(luò)模型“。

DARPA生物啟發(fā)神經(jīng)和動(dòng)力系統(tǒng)實(shí)驗(yàn)室的Hava Siegelmann及其同事聲稱使用改進(jìn)的“投票”機(jī)制訓(xùn)練尖峰神經(jīng)元的進(jìn)展，該機(jī)制決定了各個(gè)神經(jīng)元的輸出。

 “這是一個(gè)已經(jīng)訓(xùn)練有素的網(wǎng)絡(luò)，”Sejnowski解釋道?！跋乱徊綄⑹菍?duì)尖峰進(jìn)行學(xué)習(xí)。我們認(rèn)為我們也可以解決這個(gè)問題，但現(xiàn)在還處于早期階段?！?/p>

至于誰(shuí)將能實(shí)現(xiàn)這些電路還有待觀察，盡管Sejnowski模糊地提到了像移動(dòng)基帶芯片的主要供應(yīng)商高通這樣的公司可能成為候選者的可能性。

西格爾曼集團(tuán)在DARPA的工作具有類似的性質(zhì)。題為《用于無(wú)監(jiān)督特征學(xué)習(xí)的本地連接尖峰神經(jīng)網(wǎng)絡(luò)》于4月在arXiv上發(fā)表，該論文由Daniel J. Saunders，Devdhar Patel和Hananel Hazan以及Siegelmann和Robert Kozma撰寫。

與Sejnowski的團(tuán)隊(duì)一樣，Siegelmann的團(tuán)隊(duì)觀察到問題是缺乏適當(dāng)?shù)挠?xùn)練程序或?qū)W習(xí)規(guī)則?！皩?duì)于通用機(jī)器，從頭開始對(duì)SNN進(jìn)行強(qiáng)大學(xué)習(xí)訓(xùn)練的方法很少，”他們寫道，“他們的能力具有高度的領(lǐng)域或數(shù)據(jù)集特性，為了獲得好的性能，需要大量的數(shù)據(jù)預(yù)處理和超參數(shù)調(diào)整。“

為了應(yīng)對(duì)這一挑戰(zhàn)，Siegelmann的團(tuán)隊(duì)去年開發(fā)了一個(gè)名為“BindsNET”基于Python的編程軟件包，他們?cè)谥暗难芯恐惺褂盟鼇?lái)進(jìn)行一種類似于Sejnowski團(tuán)隊(duì)的傳遞學(xué)習(xí)。（BindsNET發(fā)布在Github上。）

使用BindsNET，在當(dāng)前的工作中，Siegelmann的團(tuán)隊(duì)模擬了由尖峰神經(jīng)元組成的淺層人工神經(jīng)網(wǎng)絡(luò)。他們寫道，淺網(wǎng)絡(luò)（shallow network）類似于傳統(tǒng)機(jī)器學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)。為了解決學(xué)習(xí)規(guī)則的問題，他們使用了一種稱為“尖峰定時(shí)依賴的可塑性”或STDP（spike-timing-dependent plasticity），它作為一種投票機(jī)制，計(jì)算單個(gè)神經(jīng)元響應(yīng)數(shù)據(jù)觸發(fā)的次數(shù)，以及觸發(fā)的順序。輸入圖像數(shù)據(jù)的神經(jīng)元對(duì)其圖像類別的候選者進(jìn)行投票，并且他們的投票匯集形成圖像分類器。

著名的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)被用作測(cè)試，其中神經(jīng)元的任務(wù)是對(duì)圖像所代表的數(shù)字進(jìn)行分類。

Siegelmann＆Co報(bào)告說(shuō)，他們的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被證明比其他具有尖峰神經(jīng)元的方法更有效，這意味著它只需要更少的訓(xùn)練數(shù)據(jù)就能實(shí)現(xiàn)相同或更好的性能。在尖峰神經(jīng)元的背景下，這個(gè)論文的重大成就是創(chuàng)建一種更有效的神經(jīng)元排列，“通過(guò)學(xué)習(xí)分布式表示來(lái)劃分和功課輸入空間”。這意味著在訓(xùn)練期間只需要更少的訓(xùn)練樣例來(lái)收斂，尖峰神經(jīng)元可以更有效地向前發(fā)展。

Sejnowski團(tuán)隊(duì)和Siegelmann團(tuán)隊(duì)都表明他們的能量和智力活躍在神經(jīng)形態(tài)計(jì)算的尖峰神經(jīng)元角落。即使它還沒有動(dòng)搖懷疑論者，這個(gè)領(lǐng)域仍然值得關(guān)注。

雷鋒網(wǎng)編譯，via zdnet 

2019 年 7 月 13 日舉行的 CCF-GAIR 2019 類腦計(jì)算專場(chǎng)上，在主持人中國(guó)科學(xué)院計(jì)算所副研究員趙地的引領(lǐng)下，清華大學(xué)類腦計(jì)算研究中心主任施路平、北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授吳思、中國(guó)科學(xué)院自動(dòng)化研究所研究員余山、中國(guó)科學(xué)院半導(dǎo)體研究所副研究員劉力源將帶來(lái)五場(chǎng)精彩紛呈的主題報(bào)告，帶領(lǐng)大家走進(jìn)類腦計(jì)算的最前沿。

全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR） 由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，得到了深圳市政府的大力指導(dǎo)，是國(guó)內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級(jí)交流博覽盛會(huì)，旨在打造國(guó)內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺(tái)。更多關(guān)于大會(huì) & 購(gòu)票的詳情，歡迎登陸 https://gair.leiphone.com/gair/gair2019 進(jìn)行查看。

相關(guān)文章：

跨出類腦芯片的關(guān)鍵一步，成立僅兩年aiCTX有望先于IBM和Intel產(chǎn)業(yè)落地

一研究團(tuán)隊(duì)研發(fā)的類腦芯片所需能量是最先進(jìn)計(jì)算系統(tǒng)的1/10

想主導(dǎo)世界經(jīng)濟(jì)？必須在類腦計(jì)算這個(gè)領(lǐng)域領(lǐng)先丨CCF-GAIR 2019

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。