雷鋒網(wǎng)按：類腦計算的概念可以追溯到20世紀80年代，歷經(jīng)40年，類腦計算依舊沒有取得實際的成功，這引發(fā)了不少質(zhì)疑。不過，近來的研究可以將參數(shù)從正常神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)移到尖峰神經(jīng)元網(wǎng)絡(luò)，以解決傳統(tǒng)缺乏“學(xué)習(xí)規(guī)則”的問題。未來，尖峰神經(jīng)元網(wǎng)絡(luò)可能會成為主流。

四十年來，人們一直在努力構(gòu)建模擬大腦結(jié)構(gòu)的計算機。迄今為止，他們幾乎沒有取得任何實際的成功。但是，最近這種努力獲得了一些令人驚訝的成績。

今年La Jolla的Salk研究所的Terry Sejnowski研究實驗室提出了一種使用標準形式的機器學(xué)習(xí)訓(xùn)練“尖峰”神經(jīng)元（Spiking Neurons）的新方法，稱為“遞歸神經(jīng)網(wǎng)絡(luò)”或“RNNs”。

Hava Siegelmann幾十年來一直在開展計算機設(shè)計的開拓性工作，他與同事一起提出了一種尖峰神經(jīng)元系統(tǒng)，可以實現(xiàn)“無監(jiān)督”學(xué)習(xí)。

神經(jīng)形態(tài)計算是指用各種方式構(gòu)建類似大腦的計算。這個概念可以追溯到20世紀80年代早期傳奇計算先驅(qū)Carver Mead，他對芯片中日益密集的晶體管集合如何最好地進行通信十分感興趣。Mead認為晶體管之間的布線效率需要達到一定的大腦神經(jīng)連接水平。

從那時起，已經(jīng)有許多相關(guān)的研究項目，其中包括IBM的Almaden研究中心在圣何塞的Winfried Wilcke，還有TrueNorth芯片，以及英特爾的Loihi項目等。今年早些時候， Scott Fulton III 在神經(jīng)形態(tài)計算方面有了一些有趣的進展。

到目前為止，這些項目幾乎沒有取得實際成功，引發(fā)了大量的質(zhì)疑。在舊金山舉行的國際固態(tài)電路會議期間，F(xiàn)acebook的人工智能研究負責(zé)人Yann LeCun就深度學(xué)習(xí)芯片的趨勢發(fā)表了演講。他對尖峰神經(jīng)網(wǎng)絡(luò)的工作有些不屑一顧。英特爾負責(zé)管Loihi項目的Mike Davies在會后表達強烈反對。Davies對LeCun的反擊促使LeCun 在Facebook上再次攻擊尖峰神經(jīng)網(wǎng)絡(luò)。

“AFAIK，尚未有明確證據(jù)表明尖峰神經(jīng)元網(wǎng)絡(luò)（在軟件或硬件中）可以學(xué)習(xí)復(fù)雜的任務(wù)，”LeCun說?！笆聦嵣希也淮_定任何尖峰神經(jīng)網(wǎng)絡(luò)是否已經(jīng)接近現(xiàn)有普通神經(jīng)網(wǎng)絡(luò)的性能?！?/p>

但Sejnowski的實驗室和Siegelmann在國防高級研究計劃局的生物啟發(fā)神經(jīng)和動力系統(tǒng)實驗室的團隊提供了新的希望。

Salk研究所的Sejnowski 在4月與ZDNet對話時，他預(yù)測未來尖峰神經(jīng)網(wǎng)絡(luò)將發(fā)揮重要作用?！斑@將是另一次重大轉(zhuǎn)變，可能會在未來五到十年內(nèi)發(fā)生，”Sejnowski說。

Sejnowski說：“大腦非常有高效，其中一個使它高效的因素是它使用尖峰。如果有人能夠使用尖峰神經(jīng)元的模型，那么你需要的能量將會下降一千倍甚至更多。然后它會變得足夠便宜，無處不在，就像手機中的傳感器?！?/p>

因此，Sejnowski認為尖峰神經(jīng)元可以成為推理的重要推動力，推理在電源受限的邊緣計算設(shè)備（如移動電話）上進行預(yù)測任務(wù)。

機器學(xué)習(xí)先驅(qū)Terry Sejnowski和他在加利福尼亞州La Jolla的Salk研究所的團隊開發(fā)了一種方法，將參數(shù)從正常神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)移到尖峰神經(jīng)元網(wǎng)絡(luò)，以解決傳統(tǒng)缺乏“學(xué)習(xí)規(guī)則”的問題。Sejnowski預(yù)測，未來幾年這種神經(jīng)形態(tài)計算將發(fā)揮重要作用。

Sejnowski實驗室的成果由Robert Kim，Yinghao Li和Sejnowski撰寫，于3月發(fā)表，標題為《Simple Framework for Constructing Functional Spiking Recurrent Neural Networks》，該研究發(fā)布在Bioarxiv，描述了訓(xùn)練標準遞歸神經(jīng)網(wǎng)絡(luò)或“RNN”，然后將這些參數(shù)傳遞給尖峰神經(jīng)網(wǎng)絡(luò)。這個想法是為了解決尖峰神經(jīng)元目前無法通過梯度下降（傳統(tǒng)機器學(xué)習(xí)的關(guān)鍵）進行訓(xùn)練的情況。

換句話說，尖峰神經(jīng)元不符合深度學(xué)習(xí)的標準學(xué)習(xí)規(guī)則。新的研究是一種所謂的“轉(zhuǎn)移學(xué)習(xí)”，在一個地方設(shè)置參數(shù)并將它們帶到一個新的地方，以克服尖峰神經(jīng)元的缺點。

正如作者所解釋的那樣，“尖峰信號的不可微分性質(zhì)阻止了使用基于梯度下降的方法來直接訓(xùn)練尖峰網(wǎng)絡(luò)?！?/p>

“我們的方法包括使用基于梯度下降的方法訓(xùn)練連續(xù)可變速率RNN（遞歸神經(jīng)網(wǎng)絡(luò)），并將RNN網(wǎng)絡(luò)的學(xué)習(xí)動態(tài)以及約束以一對一的方式傳遞給尖峰網(wǎng)絡(luò)模型“。

DARPA生物啟發(fā)神經(jīng)和動力系統(tǒng)實驗室的Hava Siegelmann及其同事聲稱使用改進的“投票”機制訓(xùn)練尖峰神經(jīng)元的進展，該機制決定了各個神經(jīng)元的輸出。

 “這是一個已經(jīng)訓(xùn)練有素的網(wǎng)絡(luò)，”Sejnowski解釋道。“下一步將是對尖峰進行學(xué)習(xí)。我們認為我們也可以解決這個問題，但現(xiàn)在還處于早期階段。”

至于誰將能實現(xiàn)這些電路還有待觀察，盡管Sejnowski模糊地提到了像移動基帶芯片的主要供應(yīng)商高通這樣的公司可能成為候選者的可能性。

西格爾曼集團在DARPA的工作具有類似的性質(zhì)。題為《用于無監(jiān)督特征學(xué)習(xí)的本地連接尖峰神經(jīng)網(wǎng)絡(luò)》于4月在arXiv上發(fā)表，該論文由Daniel J. Saunders，Devdhar Patel和Hananel Hazan以及Siegelmann和Robert Kozma撰寫。

與Sejnowski的團隊一樣，Siegelmann的團隊觀察到問題是缺乏適當?shù)挠?xùn)練程序或?qū)W習(xí)規(guī)則?！皩τ谕ㄓ脵C器，從頭開始對SNN進行強大學(xué)習(xí)訓(xùn)練的方法很少，”他們寫道，“他們的能力具有高度的領(lǐng)域或數(shù)據(jù)集特性，為了獲得好的性能，需要大量的數(shù)據(jù)預(yù)處理和超參數(shù)調(diào)整?！?/p>

為了應(yīng)對這一挑戰(zhàn)，Siegelmann的團隊去年開發(fā)了一個名為“BindsNET”基于Python的編程軟件包，他們在之前的研究中使用它來進行一種類似于Sejnowski團隊的傳遞學(xué)習(xí)。（BindsNET發(fā)布在Github上。）

使用BindsNET，在當前的工作中，Siegelmann的團隊模擬了由尖峰神經(jīng)元組成的淺層人工神經(jīng)網(wǎng)絡(luò)。他們寫道，淺網(wǎng)絡(luò)（shallow network）類似于傳統(tǒng)機器學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)。為了解決學(xué)習(xí)規(guī)則的問題，他們使用了一種稱為“尖峰定時依賴的可塑性”或STDP（spike-timing-dependent plasticity），它作為一種投票機制，計算單個神經(jīng)元響應(yīng)數(shù)據(jù)觸發(fā)的次數(shù)，以及觸發(fā)的順序。輸入圖像數(shù)據(jù)的神經(jīng)元對其圖像類別的候選者進行投票，并且他們的投票匯集形成圖像分類器。

著名的MNIST手寫數(shù)字數(shù)據(jù)庫被用作測試，其中神經(jīng)元的任務(wù)是對圖像所代表的數(shù)字進行分類。

Siegelmann＆Co報告說，他們的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被證明比其他具有尖峰神經(jīng)元的方法更有效，這意味著它只需要更少的訓(xùn)練數(shù)據(jù)就能實現(xiàn)相同或更好的性能。在尖峰神經(jīng)元的背景下，這個論文的重大成就是創(chuàng)建一種更有效的神經(jīng)元排列，“通過學(xué)習(xí)分布式表示來劃分和功課輸入空間”。這意味著在訓(xùn)練期間只需要更少的訓(xùn)練樣例來收斂，尖峰神經(jīng)元可以更有效地向前發(fā)展。

Sejnowski團隊和Siegelmann團隊都表明他們的能量和智力活躍在神經(jīng)形態(tài)計算的尖峰神經(jīng)元角落。即使它還沒有動搖懷疑論者，這個領(lǐng)域仍然值得關(guān)注。

雷鋒網(wǎng)編譯，via zdnet 

2019 年 7 月 13 日舉行的 CCF-GAIR 2019 類腦計算專場上，在主持人中國科學(xué)院計算所副研究員趙地的引領(lǐng)下，清華大學(xué)類腦計算研究中心主任施路平、北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授吳思、中國科學(xué)院自動化研究所研究員余山、中國科學(xué)院半導(dǎo)體研究所副研究員劉力源將帶來五場精彩紛呈的主題報告，帶領(lǐng)大家走進類腦計算的最前沿。

全球人工智能與機器人峰會（CCF-GAIR） 由中國計算機學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實力的跨界交流合作平臺。更多關(guān)于大會 & 購票的詳情，歡迎登陸 https://gair.leiphone.com/gair/gair2019 進行查看。

相關(guān)文章：

跨出類腦芯片的關(guān)鍵一步，成立僅兩年aiCTX有望先于IBM和Intel產(chǎn)業(yè)落地

一研究團隊研發(fā)的類腦芯片所需能量是最先進計算系統(tǒng)的1/10

想主導(dǎo)世界經(jīng)濟？必須在類腦計算這個領(lǐng)域領(lǐng)先丨CCF-GAIR 2019

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。