1
| 本文作者： 付靜 | 2020-07-06 18:12 |
現(xiàn)在，閉上眼睛，想象面前有一張圖片，上面畫著「神經(jīng)元」，三秒后睜開眼。
如何？你腦海中的圖片是不是類似這樣？
如果幫助你勾勒出「神經(jīng)元」形態(tài)的，是以字母 D 開頭的單詞指示的、像樹枝一樣的部分，那么恭喜你，你對(duì)今天的主題「樹突」已經(jīng)有了一定認(rèn)知了。
一個(gè)神經(jīng)細(xì)胞可以有多達(dá) 1 萬根樹突。可以說，窺探人類之謎，研究樹突是重要一環(huán)。
所以，對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象建立的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN ），里面也有樹突在起作用嗎？
實(shí)際上，很多人工神經(jīng)網(wǎng)絡(luò)中樹突的信息處理功能被忽略，相比于生物神經(jīng)網(wǎng)絡(luò)，其靈活性、魯棒性、功耗都有欠缺。
基于此，科學(xué)家們研制出基于動(dòng)態(tài)憶阻器的人工樹突器件，以全新的方式構(gòu)建了人工神經(jīng)網(wǎng)絡(luò)。
2020 年 6 月 29 日，相關(guān)研究成果發(fā)表于《自然-納米技術(shù)》（Nature Nanotechnology），題為 Power-Efficient Neural Network with Artificial Dendrites（含人工樹突的節(jié)能神經(jīng)網(wǎng)絡(luò)）。
據(jù)了解，這一研究由多個(gè)團(tuán)隊(duì)聯(lián)合推進(jìn)，包括清華大學(xué)微電子研究所未來芯片技術(shù)高精尖創(chuàng)新中心（ICFC）、清華大學(xué)北京信息國(guó)家研究中心、馬薩諸塞大學(xué)阿莫斯特分校電氣與計(jì)算機(jī)工程系、清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系、加州大學(xué)圣塔芭芭拉分校電氣和計(jì)算機(jī)工程系以及阿里巴巴達(dá)摩院。
論文一開篇，研究團(tuán)隊(duì)就提到了人工神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀。
如今，人工神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于計(jì)算機(jī)視覺、語音識(shí)別、生物信息學(xué)等領(lǐng)域，在一些領(lǐng)域甚至超過了人類。然而，這并不意味著人工神經(jīng)網(wǎng)絡(luò)的已經(jīng)發(fā)展得十分成熟了——研究團(tuán)隊(duì)表示，就信息處理而言，仍然可以在生物身上尋找靈感，這一點(diǎn)易被忽視，但也是增強(qiáng)計(jì)算靈活性、降低能耗的重要方法。
根據(jù)論文，在生物神經(jīng)系統(tǒng)中，樹突作為神經(jīng)元分支，有著重要的信號(hào)傳遞和信息處理功能。樹突可以非線性地整合突觸后信號(hào)、濾除掉不重要的信息，而這點(diǎn)恰巧回答了一個(gè)問題：為什么生物神經(jīng)網(wǎng)絡(luò)可以處理相當(dāng)復(fù)雜的任務(wù)，消耗的能量還少？
綜合上述原因，研究人員將樹突作為切入點(diǎn)，將樹枝狀計(jì)算單元結(jié)合到人工神經(jīng)網(wǎng)絡(luò)中（目前大部分人工神經(jīng)網(wǎng)絡(luò)僅是將神經(jīng)元簡(jiǎn)化成了點(diǎn)模型，其計(jì)算功能簡(jiǎn)化為整合-發(fā)放 integrate-and-fire）。
確定大體方向后，就進(jìn)入了實(shí)操部分。
下圖是小鼠大腦神經(jīng)元的圖像，其中 synapse、dendrite、soma 分別代表突觸、樹突、胞體。而在該團(tuán)隊(duì)設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)中，三者也有各自的職責(zé)：
突觸（可塑性、重量）；
樹突（整合、過濾）；
胞體（整合、發(fā)放）。
研究人員設(shè)計(jì)了復(fù)雜的互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）電路，并使用三種憶阻器作為關(guān)鍵計(jì)算組件開發(fā)人造樹突，構(gòu)建了一個(gè)包含有突觸、樹突、神經(jīng)元胞體的完整神經(jīng)網(wǎng)絡(luò)。
這里需要說明的是，所謂憶阻器，是繼電阻、電容、電感后的第四種電路基本元件。斷電之后，憶阻器仍能“記憶”通過的電荷，這種特性與神經(jīng)突觸相似，使其具備獲得自主學(xué)習(xí)功能的潛力。
為評(píng)估人工樹突的計(jì)算功能和神經(jīng)網(wǎng)絡(luò)的性能，研究人員模擬了多層網(wǎng)絡(luò)執(zhí)行數(shù)字識(shí)別任務(wù)。
雷鋒網(wǎng)了解到，在計(jì)算機(jī)視覺領(lǐng)域，從噪聲背景中識(shí)別對(duì)象是一大挑戰(zhàn)。因此，研究團(tuán)隊(duì)對(duì)上述人工神經(jīng)網(wǎng)絡(luò)的性能評(píng)估基準(zhǔn)便是一個(gè)來自真實(shí)世界的具有自然干擾信息的圖像數(shù)據(jù)集——街景門牌號(hào)（SVHN）數(shù)據(jù)集。
結(jié)果表明，由于引入了樹突功能，該網(wǎng)絡(luò)在處理 SVHN 數(shù)據(jù)集時(shí)，胞體的動(dòng)態(tài)功耗降低 30 倍、準(zhǔn)確率提高至少 8%、系統(tǒng)評(píng)估整體功耗比 CPU 低 3 個(gè)量級(jí)以上，同時(shí)比典型的專用集成電路芯片的功耗低 70 倍，也就是說，引入樹突功能的人工神經(jīng)網(wǎng)絡(luò)的性能整體上有顯著提升。
正如上文所述，這一研究由多個(gè)團(tuán)隊(duì)聯(lián)合完成，但其中不得不提的便是清華大學(xué)微電子所未來芯片技術(shù)高精尖創(chuàng)新中心錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)。
據(jù)清華大學(xué)網(wǎng)站報(bào)道稱，錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)長(zhǎng)期致力于基于憶阻器的存算一體芯片技術(shù)研究，從器件性能優(yōu)化、工藝集成、電路設(shè)計(jì)及架構(gòu)與算法等多層次實(shí)現(xiàn)創(chuàng)新突破。
其中，錢鶴教授：
1990 年畢業(yè)于西安交大，獲博士學(xué)位；
1990-2006 年在中科院微電子所工作，從事 Si CMOS 工藝技術(shù)、Si CMOS/SOI 抗輻射電路和 GaN 微波功率器件等方面的研發(fā)工作；
2006-2009 年在三星半導(dǎo)體（中國(guó)）研究所工作，負(fù)責(zé)多項(xiàng)智能手機(jī)芯片應(yīng)用解決方案開發(fā)；
2009 年入職清華大學(xué)，研究方向?yàn)樽枳兇鎯?chǔ)器及其在類腦芯片上的應(yīng)用。
另外，吳華強(qiáng)教授為清華大學(xué)微納電子系副系主任、清華大學(xué)微納加工平臺(tái)主任、北京市未來芯片技術(shù)高精尖創(chuàng)新中心副主任：
2000 年本科畢業(yè)于清華大學(xué)材料系；
2005 年畢業(yè)于康奈爾大學(xué)，獲電子與計(jì)算機(jī)工程學(xué)院博士學(xué)位，后就職于 AMD 公司和 Spansion 公司工作。
2009 年入職清華大學(xué)，從事新型阻變存儲(chǔ)器研究。
與此同時(shí)，吳華強(qiáng)教授還有一個(gè) title——2019 年度“科學(xué)探索獎(jiǎng)”信息電子領(lǐng)域獲獎(jiǎng)人。
其獲獎(jiǎng)理由為：“肯定他在阻變存儲(chǔ)器領(lǐng)域取得的多項(xiàng)創(chuàng)新成果，鼓勵(lì)他進(jìn)一步研究突破傳統(tǒng)馮諾依曼架構(gòu)的存算一體技術(shù)，探索實(shí)現(xiàn)新計(jì)算機(jī)系統(tǒng)?！?/p>
今年 2 月，錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)更是與合作者在《自然》雜志發(fā)表重磅論文，宣布研制出全球首款多陣列憶阻器存算一體系統(tǒng)，能效比 GPU 高出兩個(gè)數(shù)量級(jí)。
引用來源：
https://www.nature.com/articles/s41565-020-0722-5
https://news.tsinghua.edu.cn/info/1416/80291.htm
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
