圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

本文作者：付靜

2020-03-06 18:49

導(dǎo)語：這一技術(shù)還可用于聽覺、觸覺或嗅覺感測。

利用人工神經(jīng)網(wǎng)絡(luò)在納秒級時間內(nèi)完成圖像分類，已經(jīng)成為現(xiàn)實。

近日，奧地利維也納工業(yè)大學光子學研究所 Lukas Mennel 博士等人研發(fā)的一種超高速機器視覺設(shè)備——自帶神經(jīng)網(wǎng)絡(luò)的圖像傳感器，將圖像處理速度提升了幾十萬倍。

當?shù)貢r間 2020 年 3 月 4 日，上述團隊的一篇名為 Ultrafast machine vision with 2D material neural network image sensors（基于二維材料神經(jīng)網(wǎng)絡(luò)圖像傳感器的超快機器視覺）的研究論文發(fā)表在《自然》雜志（Nature）上。

雷鋒網(wǎng)了解到，該團隊設(shè)計的視覺設(shè)備如同大腦一樣處理信息，40 納秒即可分辨出兩張不同的圖像。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

可同時獲取并分析圖像的人工神經(jīng)網(wǎng)絡(luò)

視覺是人類認識世界最重要的一個途徑，受此啟發(fā)的「機器視覺」近年來方興未艾。

所謂機器視覺，就是用機器代替人眼來做測量和判斷。但機器視覺并非只是人眼的簡單延伸，它還有人腦的一部分功能一一從圖像中提取、處理、理解信息，從而用于實際的測量和控制。

就機器視覺技術(shù)本身而言，其主要流程是——相機逐行掃描像素，然后將視頻幀轉(zhuǎn)換為數(shù)字信號，再將其傳輸?shù)接嬎銠C中進行分析。

不過其中存在的問題是，由于傳感器與處理單元之間大量數(shù)據(jù)的移動，信息往往無法得到快速的處理、決策，這也就是機器視覺經(jīng)常面臨的延遲。

考慮到上述因素，研究團隊在圖像傳感器中引入了可同時獲取并分析圖像的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN ）。

說到人工神經(jīng)網(wǎng)絡(luò)，實際上它是一種運算模型，由大量的節(jié)點（也稱神經(jīng)元）相互連接構(gòu)成。其中，作為核心的神經(jīng)元接收并處理數(shù)據(jù)，在圖像識別、智能機器人、自動控制、預(yù)測估計等領(lǐng)域發(fā)揮著重要作用。

具體來講，人工神經(jīng)網(wǎng)絡(luò)可以反復(fù)調(diào)整神經(jīng)元之間的連接強度或“突觸”，并觀察當前的行為模式是否能更好地解決問題，從而發(fā)現(xiàn)哪些模式最擅長計算解決方案。接著，人工神經(jīng)網(wǎng)絡(luò)會將這些模式設(shè)為默認值，模仿人腦學習過程。

實際上，當天《自然》雜志的 News and Views 專欄還發(fā)表了香港理工大學博士 Yang Chai 的評論文章 In-sensor computing for machine vision（機器視覺的傳感器內(nèi)計算）。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

在其文章中，Yang Chai 博士通過下面這幅圖清晰地展現(xiàn)出了兩種視覺處理方式的區(qū)別：

傳統(tǒng)及其視覺處理過程（下圖 a 部分）：傳感器收集信號，通過模數(shù)轉(zhuǎn)換器（ADC）將模擬信號轉(zhuǎn)換為數(shù)字信號，放大后輸入到外部人工神經(jīng)網(wǎng)絡(luò)，經(jīng)參數(shù)調(diào)優(yōu)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)輸入層接收編碼簡單物理元素的信號（點、線），隨后這些信號優(yōu)化為中級特征（簡單形狀），最終在輸出層上形成圖像（3D 形狀）；
Lukas Mennel 團隊圖像傳感器處理過程（下圖 b 部分）：芯片上的互連傳感器（圖中的正方形）收集信號，并用作人工神經(jīng)網(wǎng)絡(luò)識別簡單特征，減少傳感器和外部電路之間的冗余數(shù)據(jù)移動。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

發(fā)光二極管組成的神經(jīng)網(wǎng)絡(luò)

回到研究成果本身，上述傳感器實質(zhì)上是一個光電二極管神經(jīng)網(wǎng)絡(luò)，即 9 個像素的正方形陣列，每個像素有 3 個二極管。另外其光敏材料是 2D 半導(dǎo)體二硒化鎢（WSe2），這種材料對光具有調(diào)節(jié)響應(yīng)能力。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

同時，二極管的靈敏度相當于神經(jīng)網(wǎng)絡(luò)中的權(quán)重，而且其權(quán)重直接集成在圖像傳感器上。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

其具體工作流程如下圖：當圖像被投影到芯片上時，將會產(chǎn)生、組合、讀取各種二極管電流。陣列提供了一種模擬計算——每個光電二極管產(chǎn)生與入射光強度成比例的輸出電流，并且根據(jù)基爾霍夫定律（電路中電流的基本規(guī)則）沿著行或列對得到的電流求和。隨后陣列便開始進行訓(xùn)練。

據(jù)悉，由陣列產(chǎn)生的電流與預(yù)測電流（雷鋒網(wǎng)注：對于給定的任務(wù)，如果陣列正確地響應(yīng)圖像，則將產(chǎn)生所謂的預(yù)測電流）之間的差異同時也會得到分析，并將用于調(diào)整下一訓(xùn)練周期的突觸權(quán)重。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算

兩種神經(jīng)形態(tài)功能

此外，該研究團隊根據(jù)不同的神經(jīng)網(wǎng)絡(luò)算法演示了兩種神經(jīng)形態(tài)功能。

一是「分類」。3×3 像素陣列可以將圖像分類為三個字母 n、v、z，經(jīng)過訓(xùn)練的圖像傳感器可以在以納秒為單位的時間內(nèi)根據(jù)“測量對應(yīng)電路的電流是否為 0”的標準識別字母（下圖 d）。據(jù)悉，若按比例增加陣列規(guī)模，還可以識別更復(fù)雜的圖像。

圖像傳感器運行神經(jīng)網(wǎng)絡(luò)！實現(xiàn)納秒級時間內(nèi)圖像分類，或?qū)⑼七M邊緣計算