5
本文作者: 李尊 | 2016-08-04 17:57 |
這一突破十分值得關注,因為這種相變神經元是由目前完全已知的材料組成,另外特別重要的是——這種相變神經元的尺寸能縮減至納米級。而且它們的信號傳輸速度很快,功耗確很低。另外,如同生物神經元一樣——這種相變神經元是隨機的(stochasticity),它們能一直產生稍微不同的、隨機的結果。這些人工神經元可以在低功率情況下用來檢測模式(pattern)以及發(fā)現(xiàn)大數(shù)據(jù)中的互相關聯(lián)情況,還能在花費極少能量的情形下進行高速無監(jiān)督學習。
讓我們來看一下這些相變神經元如何構建的:
像生物神經元一樣,IBM 所發(fā)明的人工神經元也有輸入端(樹突)、圍繞信號發(fā)生器(胞體、細胞核)的神經元細胞膜(磷脂雙分子層)和一個輸出端(軸突)。從脈沖電流發(fā)生器(spike generator)到輸入之間有一個反向傳播連接,可增強某些類型的輸入信號。
這種人工神經元和生物神經元的主要區(qū)別是在神經元細胞膜中,真正的神經元細胞里面會是磷脂雙分子層,本質上是用來充當電阻器和電容器——阻止電流直接通過,但同時又在吸收能量。當能量吸收到一定程度時,它就向外發(fā)射自己產生的信號。這信號沿著軸突傳導被其他神經元接收,這一過程不斷反復進行。
在 IBM 的人工神經元中,神經元細胞膜被替換成了小塊的鍺銻碲復合材料(GST材料)。GST 材料是復寫光碟的主要原料,也是一個相變材料。這意味著它能以兩種不同的相存在(晶體相或非晶體相),通過加熱(激光或者電力)能輕松的在兩者間進行轉換。相變材料因所在相不同,所具有的物理特性也相當不同:在 GST材料中非晶相不導電,晶體相卻導電。
在人工神經元中,鍺銻碲薄膜起初是非晶體相的。隨著信號的到達,薄膜逐漸變成晶體相—逐漸變得導電。最終電流通過薄膜,制造一個信號并通過該神經元的輸出端發(fā)射出去。在一定的時間后,鍺銻碲薄膜恢復為非晶體形態(tài),這個過程不斷反復進行。
IBM單個相變神經元運行過程
另外,由于各種噪聲(離子電導、熱量、背景噪聲)的存在導致生物神經元是隨機的(Stochastic)。IBM研究人員表示,人工神經元之所以同樣表現(xiàn)出了隨機特性是因為——每個GST 細胞的非晶體狀態(tài)在每次重置之后會有些許不同,隨后的晶態(tài)化過程也會不同。因此,科學家無法確認每個人工神經元會在何時發(fā)射信號。
此外,IBM 蘇黎世研究院在Nature Nanotechnology上發(fā)表了題為“隨機相變神經元(Stochastic phase-change neurons)”的相關論文。 論文地址
論文的共同作者——Manuel Le Gallo(IBM 蘇黎世研究院研究學者、ETH Zurich在讀PHD)在最近接受的采訪中提到“我們的方法是非常有效率的,特別是在處理大量數(shù)據(jù)的時候。”下面是具體的采訪內容:
Q:人工神經元到底是如何工作的呢?
Manuel Le Gallo:神經元有一個特別的功能,我們稱之為“整合和發(fā)射”。神經元就像一個蓄電池一樣——如果你不斷向神經元發(fā)送多重輸入信息,這個神經元將會整合所有的輸入信息。根據(jù)輸入信息的總量和強度,膜電位將達到一定的閾值,然后神經元就會進行“發(fā)射”或者“脈沖放電”動作。這樣的一個蓄電池可以用來執(zhí)行令人驚訝的復雜計算任務。
Q:人類大腦的運行方式是如何啟發(fā)人工神經元的發(fā)展呢?
Manuel Le Gallo:人工神經元是模仿真正的生物神經元建立的。人工神經元沒有神經元那樣完全相同的功能,但是可以通過使用這些神經元實現(xiàn)接近真正大腦一般的運算結果。通常人工神經元是基于CMOS的電路進行搭建,這也是我們所使用的電腦中的標準晶體管技術。我們研究中主要使用非CMOS設備(如相變裝置),在降低功耗和提高區(qū)域密度的情況下實現(xiàn)了同樣的功能。
Q:你對這項工作有什么貢獻?
Manuel Le Gallo:在我過去的三年的表征和模型工作中,我們團隊由此對相變設備的物理特征有了相當?shù)牧私狻_@對于在相變設備上設計神經元并理解它們的功能是至關重要的。另外,我還負責文章中部分實驗數(shù)據(jù)的工作,并對結果的分析以及解釋做出了貢獻。
Q:人工神經元能夠被應用在哪種情況下?
Manuel Le Gallo:在我們的文章中,我們演示了其如何在多重事件流中檢測其互相關系。
Q:事件指代的是?
Manuel Le Gallo:事件可以是Twitter數(shù)據(jù)、天氣數(shù)據(jù)或者互聯(lián)網(wǎng)上收集到的傳感數(shù)據(jù)等。
Q:是什么使得神經形態(tài)計算比傳統(tǒng)計算更有效率呢?
Manuel Le Gallo:在傳統(tǒng)計算中有一個單獨的內存和邏輯單元,每當要執(zhí)行計算時必須先訪問內存、獲取數(shù)據(jù),然后將數(shù)據(jù)傳輸?shù)竭壿媶卧?,再返回計算。當?shù)玫揭粋€結果時,必須把它返回到內存當中,且這個過程不斷地來回進行。因此如果你正在處理龐大數(shù)據(jù)的話,這將成為相當麻煩的問題。
而在神經網(wǎng)絡中,計算和存儲是同地協(xié)作的。你不需要建立邏輯區(qū)與內存區(qū)之間的傳輸渠道,只需要在不同的神經元之間建立適當?shù)倪B接,我們認為這是我們的方法(特別是用于處理大量的數(shù)據(jù))將會更有效的主要原因。
PS : 本文由雷鋒網(wǎng)獨家編譯,未經許可拒絕轉載!
via arsTECHNICA IBM Research Blog
雷峰網(wǎng)原創(chuàng)文章,未經授權禁止轉載。詳情見轉載須知。