雖然我們糊狀的大腦似乎與計算機處理器中的芯片大相徑庭，但科學(xué)家對兩者的比較已經(jīng)有很長的歷史。正如阿蘭·圖靈在1952年所說:“我們對大腦像冷粥一樣的稠度不感興趣?！币簿褪钦f，媒介并不重要，重要的是計算能力。

如今，最強大的人工智能系統(tǒng)使用基于深度學(xué)習(xí)的機器學(xué)習(xí)方法，該算法通過調(diào)整大量的數(shù)據(jù)隱藏層相互連接的節(jié)點來擬合數(shù)據(jù)，這些節(jié)點形成的網(wǎng)絡(luò)被稱為深度神經(jīng)網(wǎng)絡(luò)。顧名思義，深度神經(jīng)網(wǎng)絡(luò)的靈感來自于大腦中真實的神經(jīng)網(wǎng)絡(luò)，這些深度神經(jīng)網(wǎng)絡(luò)的節(jié)點以真實的神經(jīng)元為模型。根據(jù)20世紀(jì)50年代神經(jīng)科學(xué)家對神經(jīng)元的了解，當(dāng)時一種有影響力的神經(jīng)元模型被稱為感知器，從那時起，我們對單個神經(jīng)元計算復(fù)雜性的理解逐漸加深，人們了解到生物神經(jīng)元比人工神經(jīng)元更復(fù)雜，但是復(fù)雜的程度是多少？不得而知。

一個生物神經(jīng)元可以和5到8層人工神經(jīng)網(wǎng)絡(luò)相匹敵

為了找到答案，耶路撒冷希伯來大學(xué)的David Beniaguev, Idan Segev和Michael London訓(xùn)練了一個人工深度神經(jīng)網(wǎng)絡(luò)來模擬生物神經(jīng)元的計算。該研究表明，“一個深度神經(jīng)網(wǎng)絡(luò)需要5到8層相互連接的人工神經(jīng)元來才能表示單個生物神經(jīng)元的復(fù)雜性?！?/span>

Beniaguev也沒有預(yù)料到這種復(fù)雜性，“我原以為它會更簡單，更小?！盉eniaguev如是說。他原來預(yù)計三到四層就足以捕獲單元內(nèi)執(zhí)行的計算。

在谷歌旗下的 AI 公司 DeepMind 設(shè)計決策算法的 Timothy Lillicrap 表示：“新結(jié)果表明，可能有必要重新思考，以前將大腦中的神經(jīng)元與機器學(xué)習(xí)背景下的神經(jīng)元進行不精確的比較的舊傳統(tǒng) ?！保J為“這篇論文確實有助于人們更仔細地思考這個問題，并搞清楚我們可以在多大程度上進行類比。”

人工神經(jīng)元和真實神經(jīng)元之間最基本的相似之處，在于它們處理輸入的信息的方式。這兩種神經(jīng)元都接收輸入的信號，并根據(jù)這些信息決定是否將自己的信號發(fā)送給其他神經(jīng)元。人造神經(jīng)元是依靠簡單的計算來做出決定，但數(shù)十年的研究表明，生物神經(jīng)元的這個過程相對來說更加復(fù)雜。

計算神經(jīng)科學(xué)家使用輸入-輸出函數(shù)，模擬生物神經(jīng)元的長樹枝(樹突)接收到的輸入的信息與神經(jīng)元決定發(fā)送信號之間的關(guān)系。

這項新研究的作者使用一個人工深度神經(jīng)網(wǎng)絡(luò)模仿這個函數(shù)，以確定關(guān)系的復(fù)雜程度。他們首先對老鼠的大腦皮層中的神經(jīng)元的輸入輸出功能進行了大規(guī)模模擬，這種神經(jīng)元的頂部和底部都有不同的樹突分支，被稱為錐體神經(jīng)元。然后，他們將模擬結(jié)果輸入到一個深度神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)每層最多有256個人工神經(jīng)元，他們不斷增加層數(shù)，直到在模擬神經(jīng)元的輸入和輸出之間達到毫秒級99%的準(zhǔn)確率。

最后，深度神經(jīng)網(wǎng)絡(luò)成功地預(yù)測了大腦神經(jīng)元的輸入-輸出函數(shù)的行為，結(jié)果表明：深度神經(jīng)網(wǎng)絡(luò)至少有5層相互連接的人工“神經(jīng)元”，但不超過8層。在大多數(shù)網(wǎng)絡(luò)中，一個生物神經(jīng)元就相當(dāng)于大約 1000 個人工神經(jīng)元。

神經(jīng)科學(xué)家們現(xiàn)在知道，單個神經(jīng)元的計算復(fù)雜性，比如左邊的錐體神經(jīng)元，依賴于樹突狀的分支，這些分支會受到傳入信號的轟擊。在神經(jīng)元決定是否發(fā)送自己的信號“尖峰”之前，會導(dǎo)致局部電壓的變化，以神經(jīng)元的顏色變化來表示，紅色表示高電壓，藍色表示低電壓。這個“尖峰”出現(xiàn)了三次，如圖中右側(cè)的各分支的軌跡所示，這里的顏色代表了樹突從上(紅色)到下(藍色)的位置。

——David Beniaguev

貝勒醫(yī)學(xué)院(Baylor College of Medicine)的計算神經(jīng)科學(xué)家安德烈亞斯·托利亞斯(Andreas Tolias)說:“(這個結(jié)果)為生物神經(jīng)元和人工神經(jīng)元之間搭起了橋梁?！?/span>

這一研究的其中一個作者London對人們提出了警告，他認為，“人工神經(jīng)網(wǎng)絡(luò)中有多少層和網(wǎng)絡(luò)的復(fù)雜性之間的關(guān)系并不明顯，不是直接的對應(yīng)?！币虼?，我們不能確切地說，從四層增加到五層會增加多少復(fù)雜性。我們也不能說1000 個人工神經(jīng)元就意味著生物神經(jīng)元的復(fù)雜度恰好是人工神經(jīng)元的 1000 倍。說不定，我們可以在每一層中使用成倍的人工神經(jīng)元，最后能形成只有一層的深度神經(jīng)網(wǎng)絡(luò)來擬合一個生物神經(jīng)元。當(dāng)然，算法學(xué)習(xí)可能因此需要更多的數(shù)據(jù)和學(xué)習(xí)時間。

London表示：“我們嘗試了多種不同深度和不同單元的架構(gòu)，但大多都失敗了?！?/span>

該研究的作者們分享了他們的代碼，以鼓勵其他人找到一個層次更少的解決方案。但是結(jié)果表明，找到一個能以99%的準(zhǔn)確率模擬生物神經(jīng)元的深層神經(jīng)網(wǎng)絡(luò)是很難的。因此，這些作者們相信，他們得出的結(jié)果確實為進一步的研究提供了有意義的比較。

Lillicrap認為，這一研究結(jié)果對于將圖像分類網(wǎng)絡(luò)與大腦聯(lián)系起來，或許可以提供一種新方法。圖像分類網(wǎng)絡(luò)通常需要 50 層以上，如果每個生物神經(jīng)元都近似于一個五層人工神經(jīng)網(wǎng)絡(luò)，那么一個有50層的圖像分類網(wǎng)絡(luò)就相當(dāng)于一個生物網(wǎng)絡(luò)中的10個真實神經(jīng)元。

這一研究的作者還希望他們得出的研究結(jié)果能夠被用于改進 AI 領(lǐng)域目前最先進的深度網(wǎng)絡(luò)架構(gòu)。

Segev指出，“我們建議，可以嘗試用一個代表生物神經(jīng)元的單元來替代深度神經(jīng)網(wǎng)絡(luò)中的簡單單元，使其更接近大腦的工作方式?！痹谶@種替代方案中，人工智能研究人員和工程師可以插入一個五層深度網(wǎng)絡(luò)作為“迷你網(wǎng)絡(luò)”，取代每一個人工神經(jīng)元。

有質(zhì)疑也有肯定

但有些人懷疑這一研究是否真的對人工智能有益。

冷泉港實驗室(Cold Spring Harbor Laboratory)的神經(jīng)學(xué)家安東尼·扎多爾(Anthony Zador)說，“我認為，在這種對比中是否存在實際的計算優(yōu)勢，還是一個懸而未決的問題。”“但是該研究為檢驗這一點奠定了基礎(chǔ)?！?/span>

除了人工智能的應(yīng)用之外，這篇新的論文也加深了人們對樹突樹和單個生物神經(jīng)元強大計算能力的共識。早在2003年，三位神經(jīng)科學(xué)家就表明，金字塔神經(jīng)元的樹突樹可以通過將其建模為兩層人工神經(jīng)網(wǎng)絡(luò)來進行復(fù)雜的模擬計算。在這篇新論文中，作者研究了金字塔神經(jīng)元的哪些特征（結(jié)構(gòu)）激發(fā)了5到8層深度神經(jīng)網(wǎng)絡(luò)的更大復(fù)雜性。他們得出的結(jié)論是：秘密來自于樹突，以及樹突表面接收化學(xué)信使的一種特定受體——這一發(fā)現(xiàn)與該領(lǐng)域之前的研究結(jié)果一致。

一些人認為，這一結(jié)果意味著神經(jīng)科學(xué)家應(yīng)該把對單個生物神經(jīng)元的研究放在更重要的位置。

賓夕法尼亞大學(xué)(University of Pennsylvania)的計算神經(jīng)學(xué)家康拉德·科爾丁(Konrad Kording)說：“這篇論文使得我們對樹突和單個神經(jīng)元的思考變得比以前重要得多。”

還有Lillicrap和Zador，他們認為關(guān)注一個回路中的神經(jīng)元，對于學(xué)習(xí)大腦如何使用單個神經(jīng)元的計算復(fù)雜性同樣重要。

無論如何，人工神經(jīng)網(wǎng)絡(luò)的研究可能會提供對生物神經(jīng)元以及大腦奧秘的新見解。

倫敦大學(xué)學(xué)院(University College London)的計算神經(jīng)科學(xué)家格蕾絲·林賽(Grace Lindsay)說:“從層次、深度和寬度的角度思考，這項工作讓我們對計算的復(fù)雜性有了直觀的認識。”

然而， Lindsay 也警告說，這項新研究仍然只是在對模型進行比較。 不幸的是，目前神經(jīng)科學(xué)家不可能記錄真實神經(jīng)元的完整輸入-輸出功能，所以可能有更多生物神經(jīng)元模型沒有捕捉到的東西。 換句話說，真正的神經(jīng)元可能更加復(fù)雜。

London表示：“我們不確定，5到8層是否真的是最終的極限?！?/span>

參考文章：https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。