雖然我們糊狀的大腦似乎與計(jì)算機(jī)處理器中的芯片大相徑庭，但科學(xué)家對(duì)兩者的比較已經(jīng)有很長(zhǎng)的歷史。正如阿蘭·圖靈在1952年所說(shuō):“我們對(duì)大腦像冷粥一樣的稠度不感興趣。”也就是說(shuō)，媒介并不重要，重要的是計(jì)算能力。

如今，最強(qiáng)大的人工智能系統(tǒng)使用基于深度學(xué)習(xí)的機(jī)器學(xué)習(xí)方法，該算法通過(guò)調(diào)整大量的數(shù)據(jù)隱藏層相互連接的節(jié)點(diǎn)來(lái)擬合數(shù)據(jù)，這些節(jié)點(diǎn)形成的網(wǎng)絡(luò)被稱為深度神經(jīng)網(wǎng)絡(luò)。顧名思義，深度神經(jīng)網(wǎng)絡(luò)的靈感來(lái)自于大腦中真實(shí)的神經(jīng)網(wǎng)絡(luò)，這些深度神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)以真實(shí)的神經(jīng)元為模型。根據(jù)20世紀(jì)50年代神經(jīng)科學(xué)家對(duì)神經(jīng)元的了解，當(dāng)時(shí)一種有影響力的神經(jīng)元模型被稱為感知器，從那時(shí)起，我們對(duì)單個(gè)神經(jīng)元計(jì)算復(fù)雜性的理解逐漸加深，人們了解到生物神經(jīng)元比人工神經(jīng)元更復(fù)雜，但是復(fù)雜的程度是多少？不得而知。

一個(gè)生物神經(jīng)元可以和5到8層人工神經(jīng)網(wǎng)絡(luò)相匹敵

為了找到答案，耶路撒冷希伯來(lái)大學(xué)的David Beniaguev, Idan Segev和Michael London訓(xùn)練了一個(gè)人工深度神經(jīng)網(wǎng)絡(luò)來(lái)模擬生物神經(jīng)元的計(jì)算。該研究表明，“一個(gè)深度神經(jīng)網(wǎng)絡(luò)需要5到8層相互連接的人工神經(jīng)元來(lái)才能表示單個(gè)生物神經(jīng)元的復(fù)雜性。”

Beniaguev也沒(méi)有預(yù)料到這種復(fù)雜性，“我原以為它會(huì)更簡(jiǎn)單，更小?！盉eniaguev如是說(shuō)。他原來(lái)預(yù)計(jì)三到四層就足以捕獲單元內(nèi)執(zhí)行的計(jì)算。

在谷歌旗下的 AI 公司 DeepMind 設(shè)計(jì)決策算法的 Timothy Lillicrap 表示：“新結(jié)果表明，可能有必要重新思考，以前將大腦中的神經(jīng)元與機(jī)器學(xué)習(xí)背景下的神經(jīng)元進(jìn)行不精確的比較的舊傳統(tǒng) ?！保J(rèn)為“這篇論文確實(shí)有助于人們更仔細(xì)地思考這個(gè)問(wèn)題，并搞清楚我們可以在多大程度上進(jìn)行類比?！?/span>

人工神經(jīng)元和真實(shí)神經(jīng)元之間最基本的相似之處，在于它們處理輸入的信息的方式。這兩種神經(jīng)元都接收輸入的信號(hào)，并根據(jù)這些信息決定是否將自己的信號(hào)發(fā)送給其他神經(jīng)元。人造神經(jīng)元是依靠簡(jiǎn)單的計(jì)算來(lái)做出決定，但數(shù)十年的研究表明，生物神經(jīng)元的這個(gè)過(guò)程相對(duì)來(lái)說(shuō)更加復(fù)雜。

計(jì)算神經(jīng)科學(xué)家使用輸入-輸出函數(shù)，模擬生物神經(jīng)元的長(zhǎng)樹(shù)枝(樹(shù)突)接收到的輸入的信息與神經(jīng)元決定發(fā)送信號(hào)之間的關(guān)系。

這項(xiàng)新研究的作者使用一個(gè)人工深度神經(jīng)網(wǎng)絡(luò)模仿這個(gè)函數(shù)，以確定關(guān)系的復(fù)雜程度。他們首先對(duì)老鼠的大腦皮層中的神經(jīng)元的輸入輸出功能進(jìn)行了大規(guī)模模擬，這種神經(jīng)元的頂部和底部都有不同的樹(shù)突分支，被稱為錐體神經(jīng)元。然后，他們將模擬結(jié)果輸入到一個(gè)深度神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)每層最多有256個(gè)人工神經(jīng)元，他們不斷增加層數(shù)，直到在模擬神經(jīng)元的輸入和輸出之間達(dá)到毫秒級(jí)99%的準(zhǔn)確率。

最后，深度神經(jīng)網(wǎng)絡(luò)成功地預(yù)測(cè)了大腦神經(jīng)元的輸入-輸出函數(shù)的行為，結(jié)果表明：深度神經(jīng)網(wǎng)絡(luò)至少有5層相互連接的人工“神經(jīng)元”，但不超過(guò)8層。在大多數(shù)網(wǎng)絡(luò)中，一個(gè)生物神經(jīng)元就相當(dāng)于大約 1000 個(gè)人工神經(jīng)元。

神經(jīng)科學(xué)家們現(xiàn)在知道，單個(gè)神經(jīng)元的計(jì)算復(fù)雜性，比如左邊的錐體神經(jīng)元，依賴于樹(shù)突狀的分支，這些分支會(huì)受到傳入信號(hào)的轟擊。在神經(jīng)元決定是否發(fā)送自己的信號(hào)“尖峰”之前，會(huì)導(dǎo)致局部電壓的變化，以神經(jīng)元的顏色變化來(lái)表示，紅色表示高電壓，藍(lán)色表示低電壓。這個(gè)“尖峰”出現(xiàn)了三次，如圖中右側(cè)的各分支的軌跡所示，這里的顏色代表了樹(shù)突從上(紅色)到下(藍(lán)色)的位置。

——David Beniaguev

貝勒醫(yī)學(xué)院(Baylor College of Medicine)的計(jì)算神經(jīng)科學(xué)家安德烈亞斯·托利亞斯(Andreas Tolias)說(shuō):“(這個(gè)結(jié)果)為生物神經(jīng)元和人工神經(jīng)元之間搭起了橋梁?！?/span>

這一研究的其中一個(gè)作者London對(duì)人們提出了警告，他認(rèn)為，“人工神經(jīng)網(wǎng)絡(luò)中有多少層和網(wǎng)絡(luò)的復(fù)雜性之間的關(guān)系并不明顯，不是直接的對(duì)應(yīng)?！币虼?，我們不能確切地說(shuō)，從四層增加到五層會(huì)增加多少?gòu)?fù)雜性。我們也不能說(shuō)1000 個(gè)人工神經(jīng)元就意味著生物神經(jīng)元的復(fù)雜度恰好是人工神經(jīng)元的 1000 倍。說(shuō)不定，我們可以在每一層中使用成倍的人工神經(jīng)元，最后能形成只有一層的深度神經(jīng)網(wǎng)絡(luò)來(lái)擬合一個(gè)生物神經(jīng)元。當(dāng)然，算法學(xué)習(xí)可能因此需要更多的數(shù)據(jù)和學(xué)習(xí)時(shí)間。

London表示：“我們嘗試了多種不同深度和不同單元的架構(gòu)，但大多都失敗了?！?/span>

該研究的作者們分享了他們的代碼，以鼓勵(lì)其他人找到一個(gè)層次更少的解決方案。但是結(jié)果表明，找到一個(gè)能以99%的準(zhǔn)確率模擬生物神經(jīng)元的深層神經(jīng)網(wǎng)絡(luò)是很難的。因此，這些作者們相信，他們得出的結(jié)果確實(shí)為進(jìn)一步的研究提供了有意義的比較。

Lillicrap認(rèn)為，這一研究結(jié)果對(duì)于將圖像分類網(wǎng)絡(luò)與大腦聯(lián)系起來(lái)，或許可以提供一種新方法。圖像分類網(wǎng)絡(luò)通常需要 50 層以上，如果每個(gè)生物神經(jīng)元都近似于一個(gè)五層人工神經(jīng)網(wǎng)絡(luò)，那么一個(gè)有50層的圖像分類網(wǎng)絡(luò)就相當(dāng)于一個(gè)生物網(wǎng)絡(luò)中的10個(gè)真實(shí)神經(jīng)元。

這一研究的作者還希望他們得出的研究結(jié)果能夠被用于改進(jìn) AI 領(lǐng)域目前最先進(jìn)的深度網(wǎng)絡(luò)架構(gòu)。

Segev指出，“我們建議，可以嘗試用一個(gè)代表生物神經(jīng)元的單元來(lái)替代深度神經(jīng)網(wǎng)絡(luò)中的簡(jiǎn)單單元，使其更接近大腦的工作方式。”在這種替代方案中，人工智能研究人員和工程師可以插入一個(gè)五層深度網(wǎng)絡(luò)作為“迷你網(wǎng)絡(luò)”，取代每一個(gè)人工神經(jīng)元。

有質(zhì)疑也有肯定

但有些人懷疑這一研究是否真的對(duì)人工智能有益。

冷泉港實(shí)驗(yàn)室(Cold Spring Harbor Laboratory)的神經(jīng)學(xué)家安東尼·扎多爾(Anthony Zador)說(shuō)，“我認(rèn)為，在這種對(duì)比中是否存在實(shí)際的計(jì)算優(yōu)勢(shì)，還是一個(gè)懸而未決的問(wèn)題。”“但是該研究為檢驗(yàn)這一點(diǎn)奠定了基礎(chǔ)。”

除了人工智能的應(yīng)用之外，這篇新的論文也加深了人們對(duì)樹(shù)突樹(shù)和單個(gè)生物神經(jīng)元強(qiáng)大計(jì)算能力的共識(shí)。早在2003年，三位神經(jīng)科學(xué)家就表明，金字塔神經(jīng)元的樹(shù)突樹(shù)可以通過(guò)將其建模為兩層人工神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行復(fù)雜的模擬計(jì)算。在這篇新論文中，作者研究了金字塔神經(jīng)元的哪些特征（結(jié)構(gòu)）激發(fā)了5到8層深度神經(jīng)網(wǎng)絡(luò)的更大復(fù)雜性。他們得出的結(jié)論是：秘密來(lái)自于樹(shù)突，以及樹(shù)突表面接收化學(xué)信使的一種特定受體——這一發(fā)現(xiàn)與該領(lǐng)域之前的研究結(jié)果一致。

一些人認(rèn)為，這一結(jié)果意味著神經(jīng)科學(xué)家應(yīng)該把對(duì)單個(gè)生物神經(jīng)元的研究放在更重要的位置。

賓夕法尼亞大學(xué)(University of Pennsylvania)的計(jì)算神經(jīng)學(xué)家康拉德·科爾丁(Konrad Kording)說(shuō)：“這篇論文使得我們對(duì)樹(shù)突和單個(gè)神經(jīng)元的思考變得比以前重要得多?！?/span>

還有Lillicrap和Zador，他們認(rèn)為關(guān)注一個(gè)回路中的神經(jīng)元，對(duì)于學(xué)習(xí)大腦如何使用單個(gè)神經(jīng)元的計(jì)算復(fù)雜性同樣重要。

無(wú)論如何，人工神經(jīng)網(wǎng)絡(luò)的研究可能會(huì)提供對(duì)生物神經(jīng)元以及大腦奧秘的新見(jiàn)解。

倫敦大學(xué)學(xué)院(University College London)的計(jì)算神經(jīng)科學(xué)家格蕾絲·林賽(Grace Lindsay)說(shuō):“從層次、深度和寬度的角度思考，這項(xiàng)工作讓我們對(duì)計(jì)算的復(fù)雜性有了直觀的認(rèn)識(shí)。”

然而， Lindsay 也警告說(shuō)，這項(xiàng)新研究仍然只是在對(duì)模型進(jìn)行比較。 不幸的是，目前神經(jīng)科學(xué)家不可能記錄真實(shí)神經(jīng)元的完整輸入-輸出功能，所以可能有更多生物神經(jīng)元模型沒(méi)有捕捉到的東西。 換句話說(shuō)，真正的神經(jīng)元可能更加復(fù)雜。

London表示：“我們不確定，5到8層是否真的是最終的極限?！?/span>

參考文章：https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。