0
本文作者: 李詩(shī) | 2017-08-15 12:53 |
雷鋒網(wǎng)按:2017 年 7 月 28-30 日,由 中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)主辦的高端學(xué)術(shù)活動(dòng)——中國(guó)計(jì)算機(jī)學(xué)會(huì)學(xué)科前沿講習(xí)班(CCF Advanced Disciplines Lectures,簡(jiǎn)稱(chēng) ADL)第 81 期在北京中國(guó)科學(xué)院計(jì)算技術(shù)研究所舉辦。
本期講習(xí)班由北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系主任,信息科學(xué)技術(shù)學(xué)院教授黃鐵軍主持,另有六名來(lái)自學(xué)界、業(yè)界的大牛,為現(xiàn)場(chǎng)百名學(xué)員講解了“類(lèi)腦計(jì)算”相關(guān)的前沿與應(yīng)用。雷鋒網(wǎng)亦來(lái)到現(xiàn)場(chǎng)聽(tīng)講。
北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授,計(jì)算機(jī)科學(xué)技術(shù)系主任,國(guó)家杰出青年科學(xué)基金獲得者,教育部長(zhǎng)江學(xué)者特聘教授
黃鐵軍教授回顧計(jì)算機(jī)和人工智能的發(fā)展,提出目前我們正處于神經(jīng)形態(tài)計(jì)算類(lèi)腦計(jì)算機(jī)的元年。以AI的誕生、制造強(qiáng)AI、繪制大腦地圖、神經(jīng)形態(tài)計(jì)算、AI睜開(kāi)眼睛為框架體系講解了類(lèi)腦計(jì)算。黃鐵軍認(rèn)為相比于Brain Inspired Computing(腦啟發(fā)的計(jì)算),Brain Like(仿腦)是取得突破的可行路線(xiàn),是走向“強(qiáng)人工智能”的必要階段,可能比“人工智能”(人工設(shè)計(jì)出來(lái)的智能)和“認(rèn)知科學(xué)”(理解思維的機(jī)理)更早實(shí)現(xiàn)。
雷鋒網(wǎng)對(duì)其演講全文進(jìn)行了不改變?cè)獾木庉嫞譃樯舷缕?,上篇為?a href="http://www.ozgbdpf.cn/news/201708/vK6sWh06IrBh3kkf.html" target="_self">北大計(jì)算機(jī)系黃鐵軍CCF-ADL講習(xí)班上篇:從計(jì)算機(jī)發(fā)展史講解制造超人工智能的正途——類(lèi)腦計(jì)算》,此為下文。
我們不用靠認(rèn)知科學(xué)去知道意識(shí)是什么,神經(jīng)科學(xué)才是實(shí)現(xiàn)強(qiáng)人工智能的途徑,要把人類(lèi)大腦畫(huà)出來(lái),要搞清楚是什么樣的結(jié)構(gòu)產(chǎn)生了我們高級(jí)的智能。對(duì)于這樣一個(gè)復(fù)雜的系統(tǒng),如果我們從結(jié)構(gòu)從物質(zhì)上去看的話(huà),當(dāng)然也很復(fù)雜,這個(gè)問(wèn)題難度仍然很大。
大腦本身是一個(gè)信息處理的系統(tǒng),是神經(jīng)元和神經(jīng)突觸在發(fā)揮作用。在這些層次,我們都是在看信息、信號(hào),它的復(fù)雜度是有限的,而且是可以預(yù)期的時(shí)間之內(nèi),把它搞清楚的。但是它是一個(gè)動(dòng)力學(xué)系統(tǒng),因?yàn)榇竽X是沒(méi)有意識(shí)的,這個(gè)是問(wèn)題復(fù)雜的地方。你不能只知道神經(jīng)元怎么連接的,一個(gè)照葫蘆畫(huà)瓢,僅僅畫(huà)一個(gè)形狀像,我們還要產(chǎn)生動(dòng)力學(xué),不產(chǎn)生動(dòng)力學(xué),最終是做不出智能意識(shí)的,所以這是這個(gè)問(wèn)題真正難的地方。
因?yàn)榈浇裉鞛橹梗瑢?shí)際上我們對(duì)大腦的解剖,去測(cè)量它的手段已經(jīng)有了,現(xiàn)在是怎么把這個(gè)任務(wù)變成在十年這樣一個(gè)尺度內(nèi)完成的問(wèn)題。人腦絕對(duì)不像我們一般想那樣的復(fù)雜。人腦是860億的神經(jīng)元,其實(shí)200多億是我們的大腦皮層,200多億是高級(jí)智能的物理載體。這個(gè)皮層本身就像上面,這是很多的皺褶的結(jié)構(gòu),本身不是一個(gè)隨機(jī)的,是一個(gè)有規(guī)律,有結(jié)構(gòu)的結(jié)構(gòu)。具體來(lái)說(shuō),它是由1200萬(wàn)個(gè)功能柱組成的,每一個(gè)功能柱是一萬(wàn)個(gè)神經(jīng)元左右,大家看到的把皮層展開(kāi)之后,就像一面墻,這面墻上有很多磚組成的,每一個(gè)磚我們叫功能柱,磚內(nèi)部的連接比較復(fù)雜,當(dāng)然也比較有規(guī)律,不同的磚的連接是類(lèi)似的,這面墻有這么1200萬(wàn),不到200萬(wàn)塊磚組成的。為什么這么去看這個(gè)結(jié)構(gòu)?是因?yàn)閷?lái)你可以靠大量的芯片去并列來(lái)產(chǎn)生這個(gè)結(jié)構(gòu),但是芯片之間的連接和芯片內(nèi)的連接也比較復(fù)雜。
在如何把大腦逆向描繪來(lái)方向,現(xiàn)在有很多進(jìn)展,一個(gè)是華中科技大學(xué)駱清銘教授他們2010年發(fā)的一篇論文,獲得了2014年國(guó)家自然科學(xué)二等獎(jiǎng),他們突破了單細(xì)胞分辨的全腦顯微光學(xué)切片成像,右邊是一個(gè)小鼠的大腦,整個(gè)大腦是0.5立方厘米的大小,用樹(shù)脂固定、冷凍、切片,然后去掃描,去看神經(jīng)元的連接。這個(gè)數(shù)據(jù)他們掃出來(lái)之后,就給了瑞士的人類(lèi)大腦計(jì)劃。
這是上個(gè)月,我們北大的分子醫(yī)學(xué)所陳賀平院士他們做的,雙光子顯微鏡是基金委重大儀器項(xiàng)目的成果,這種新的儀器很小,成本比較低,現(xiàn)在它的分辨率可以看清楚樹(shù)突和樹(shù)突棘的形態(tài),生產(chǎn)過(guò)程還有神經(jīng)元。類(lèi)腦計(jì)算需要一群,要一定面積之內(nèi)的這樣的神經(jīng)網(wǎng)絡(luò)圖譜。國(guó)家會(huì)投15億建一個(gè)平臺(tái),現(xiàn)在應(yīng)該是初步定了北大牽頭建這個(gè)平臺(tái),當(dāng)然北京市還要配套,幾十億要把這個(gè)系統(tǒng)建起來(lái),建起來(lái)之后去掃描,去觀察這樣一個(gè)生物的對(duì)象。
系統(tǒng)建立后,根據(jù)加工能力我們大概需要五年能做出視網(wǎng)膜,十年把視皮層做出來(lái)。第二個(gè),神經(jīng)元的模型,我們搞人工神經(jīng)網(wǎng)絡(luò)的人,得有神經(jīng)元的模型才能做人工神經(jīng)網(wǎng)絡(luò)的計(jì)算。但是生物神經(jīng)元的工程是什么?我們很多搞人工神經(jīng)網(wǎng)絡(luò)的人不知道,還有這么精細(xì)的模型。所以如果有了結(jié)構(gòu),有了單元的模型,其實(shí)我們就可以構(gòu)造一個(gè)網(wǎng)絡(luò)了,一個(gè)逼近生物的神經(jīng)網(wǎng)絡(luò)了。所以從2005年開(kāi)始,EPFL,瑞士聯(lián)邦理工學(xué)院洛桑的那個(gè)學(xué)院,他們一個(gè)組Markram做了一個(gè)模型,用了IBM的藍(lán)色基因,超級(jí)計(jì)算機(jī)上面,建了一個(gè)模型,這個(gè)模型是1萬(wàn)個(gè)神經(jīng)元,每一個(gè)神經(jīng)元,用方程盡可能的逼近生物的真實(shí)。把這樣一個(gè)模型,在超級(jí)計(jì)算機(jī)算,觀察它接受刺激的情況下,這樣的網(wǎng)絡(luò)會(huì)出現(xiàn)什么現(xiàn)象,當(dāng)時(shí)他們出現(xiàn)了Y振蕩現(xiàn)象,差不多40赫茲左右的振蕩,當(dāng)然有網(wǎng)絡(luò),有這個(gè)神經(jīng)脈沖在里面,在里面去循環(huán)就會(huì)產(chǎn)生振蕩,這個(gè)振蕩跟我們這個(gè)生物大腦是一樣的,我們都有腦電波,為什么會(huì)有腦電波,因?yàn)槟愕纳窠?jīng)網(wǎng)絡(luò)里面,有大量的神經(jīng)脈沖在傳遞。傳遞過(guò)程中,有入口有循環(huán),產(chǎn)生我們的腦電波,我們測(cè)腦波這種現(xiàn)象就是神經(jīng)網(wǎng)絡(luò)外顯出來(lái)的一種功能,我們活著我們就有腦電波,死了就沒(méi)有。這樣的網(wǎng)絡(luò)同樣會(huì)產(chǎn)生腦電波,證明這個(gè)仿真已經(jīng)接近生物的真實(shí)了。
他們?cè)?015年的時(shí)候,發(fā)明了另外一篇論文,更精細(xì)了,0.3立方毫米的大鼠腦區(qū),3萬(wàn)多個(gè)神經(jīng)元,800萬(wàn)個(gè)連接,這樣一個(gè)更精細(xì)的模型,證明實(shí)際上用計(jì)算的這種仿真的方法是可以精準(zhǔn)重現(xiàn)生物的信息處理功能的,實(shí)現(xiàn)了這樣一個(gè)目標(biāo)。
歐洲列出來(lái)的13個(gè)方向,十幾個(gè)億歐元,一大幫人做。藍(lán)色部分就是我們信息相關(guān)的,神經(jīng)信息學(xué)、大腦仿真、 高性能計(jì)算,因?yàn)闉榱俗龃笠?guī)模,一定要有更高性能的平臺(tái)。醫(yī)療信息學(xué)、神經(jīng)形態(tài)計(jì)算、神經(jīng)機(jī)器人,這都是我們說(shuō)的類(lèi)腦計(jì)算,或者是神經(jīng)形態(tài)計(jì)算。
在2013年的歐洲計(jì)劃正式啟動(dòng)是3月份,4月份美國(guó)大腦計(jì)劃提出來(lái)之后,也是很多部門(mén)參加,所以2014年的時(shí)候,NIH列了12年的規(guī)劃,大致來(lái)說(shuō),前五年研究新的技術(shù),來(lái)探測(cè)大腦的結(jié)構(gòu),比如說(shuō)列的核磁共振,電子、光學(xué)探針,功能性納米粒子、合成生物學(xué),其實(shí)都是試圖畫(huà)大腦的圖譜。后五年,用這些技術(shù)把圖譜畫(huà)出來(lái),像人類(lèi)基因圖譜一樣,把人類(lèi)的大腦圖譜畫(huà)出來(lái),人類(lèi)大腦的動(dòng)態(tài)圖,靜態(tài)圖譜像地圖,我們百度地圖把城市的路網(wǎng)畫(huà)出來(lái)了,如果把路上跑的車(chē),什么地方的車(chē)流量大,什么地方流量小,每輛車(chē)的位置,那就是動(dòng)態(tài)圖譜。大腦也一樣,不僅僅是要搞清楚神經(jīng)網(wǎng)絡(luò)的連接,而且要知道不同的神經(jīng)元之間傳遞的神經(jīng)脈沖的數(shù)據(jù)。美國(guó)也有很多企業(yè)做的有九個(gè)研究領(lǐng)域,2025年,實(shí)際上是12年的一個(gè)計(jì)劃,大腦神經(jīng)元、神經(jīng)交織細(xì)胞類(lèi)型的普查,創(chuàng)建大腦結(jié)構(gòu)圖譜,開(kāi)發(fā)新的技術(shù),不一一念了。實(shí)際上就是要畫(huà)圖,要把大腦的地圖畫(huà)出來(lái),花了很多錢(qián)。
這不是我們學(xué)科的,但是沒(méi)有這個(gè)藍(lán)圖,你構(gòu)造不出來(lái)強(qiáng)人工智能的體系結(jié)構(gòu)。從1943年人們就開(kāi)始想,既然生物神經(jīng)能做這個(gè)事,我們?yōu)槭裁床挥蒙锷窠?jīng)出發(fā)去做,去這么做。但是那個(gè)時(shí)期的技術(shù)有限。所以在2015年春天的時(shí)候,那個(gè)時(shí)候國(guó)家要做十三五,從啟動(dòng)的16個(gè)重大科技專(zhuān)項(xiàng)大概來(lái)說(shuō),這些方向已經(jīng)有想法了。這個(gè)圖是2015年春天的時(shí)候,我們幫著起草了一些政府的規(guī)劃,規(guī)劃的一個(gè)示意圖,做類(lèi)腦計(jì)算機(jī)或者神經(jīng)形態(tài)計(jì)算,我們從信息的角度,我們?cè)撟鲆恍┦裁词隆_@個(gè)事今天來(lái)看,也還是對(duì)的。從下面要做神經(jīng)形態(tài)器件,做人工神經(jīng)元、神經(jīng)突觸,基于他們做類(lèi)腦處理器,都是為了聽(tīng)起來(lái)容易明白你們到底要干嘛,還叫它類(lèi)似于CPU這種名字,本來(lái)不太準(zhǔn)確,但是完全創(chuàng)造一個(gè)新詞,別人也不知道你干什么,所以稱(chēng)為類(lèi)腦處理器,做類(lèi)腦計(jì)算機(jī),這種計(jì)算機(jī)要有視聽(tīng)感知、自主學(xué)習(xí)和自然會(huì)話(huà)這些一些高級(jí)的功能,現(xiàn)在計(jì)算機(jī)做不好,甚至于做不到,將來(lái)的計(jì)算機(jī)要能做到。為了做類(lèi)能處理器要把生物神經(jīng)系統(tǒng)的結(jié)構(gòu)解析仿真,然后我們基于那個(gè)結(jié)構(gòu)來(lái)做類(lèi)腦處理器。
左邊是一條線(xiàn),自底向上的方法,右邊說(shuō)認(rèn)知功能,盡管我個(gè)人偏左邊這樣一個(gè)思維方式,但是我們不能否定,自上而下基于功能的路線(xiàn)。如果認(rèn)知科學(xué)能夠提供一定的認(rèn)知功能的模型,改進(jìn)現(xiàn)在的機(jī)器學(xué)習(xí),做新的處理器,一樣會(huì)對(duì)后面的發(fā)展發(fā)揮作用。大致上就這么九個(gè)方向,在9月1日作為北京市腦計(jì)劃兩大部分之一,對(duì)外公布了。后來(lái)在11月份的時(shí)候,人民日?qǐng)?bào)有一個(gè)專(zhuān)版報(bào)道了北京這樣一件事,北京也北大、清華、科學(xué)院、北師大很多單位。所以大家剛才那個(gè)圖里面每一塊,都有一個(gè)單位在做。從器件開(kāi)始在做,當(dāng)然一開(kāi)始做項(xiàng)目,不可能說(shuō)全面說(shuō)上來(lái)做人腦,從一個(gè)一個(gè)點(diǎn),往最終的目標(biāo)在發(fā)展。這樣一個(gè)技術(shù)思路,本身不是新的,得到馬上會(huì)看到,因?yàn)檠芯咳炅?。我們?dāng)成一個(gè)整體大家一起行動(dòng),做一些共同的事情。但是從一種政府的季度來(lái)說(shuō),還算有點(diǎn)提前的。在2個(gè)月之后,2015年10月29日,這個(gè)文件大家在網(wǎng)上可以下載的,美國(guó)能源部一個(gè)會(huì)議,會(huì)后出的一個(gè)報(bào)告,《神經(jīng)形態(tài)計(jì)算:從材料到系統(tǒng)架構(gòu)》,材料就是剛才說(shuō)的做器件,系統(tǒng)架構(gòu)就是非馮諾伊曼新的體系結(jié)構(gòu)會(huì)是什么樣,幾十頁(yè)的報(bào)告,大家可以從網(wǎng)上下載。但是從整體上,跟剛才講的體系是類(lèi)似的,我們對(duì)這一塊,當(dāng)時(shí)有描述,我就不展開(kāi)了。
去年2016年斯坦福大學(xué)發(fā)布的人工智能2030的報(bào)告里面,對(duì)11個(gè)人工智能的發(fā)展方向的預(yù)測(cè),其中前面那幾個(gè)是目前很熱門(mén)的,大規(guī)模機(jī)器學(xué)習(xí),基于大數(shù)據(jù)的大規(guī)模機(jī)器學(xué)習(xí),深度學(xué)習(xí),強(qiáng)化學(xué)習(xí)。報(bào)告里面表述很清楚,深度學(xué)習(xí)對(duì)深度神經(jīng)網(wǎng)絡(luò),已經(jīng)對(duì)應(yīng)用地平線(xiàn)帶來(lái)一輪沖擊,這個(gè)沖擊大家已經(jīng)感覺(jué)到了。如果這些神經(jīng)形態(tài)計(jì)算,硬件系統(tǒng)能出現(xiàn)的話(huà),會(huì)帶來(lái)更大的沖擊波,這是他的一個(gè)判斷。所以下一波,基于神經(jīng)形態(tài)計(jì)算的智能,會(huì)帶來(lái)社會(huì)的影響會(huì)更大。
其實(shí)有很多的學(xué)校、很多研究所都在做神經(jīng)形態(tài)計(jì)算機(jī),其中比較有代表性的有:德國(guó)海德堡大學(xué),美國(guó)IBM公司,斯坦福大學(xué)和曼徹斯特大學(xué)。
總的來(lái)說(shuō),大家看到這張圖,實(shí)際上就是神經(jīng)形態(tài)計(jì)算系統(tǒng),在逐漸逼近大腦的過(guò)程,盡管現(xiàn)在都做了一定的簡(jiǎn)化,規(guī)模上什么都有很大的差距,但是去逼近這個(gè)生物大腦,人類(lèi)已經(jīng)邁出了很重要的一步,后面就是進(jìn)一步逼近的問(wèn)題。
IBM這件事因?yàn)槊襟w報(bào)道比較多,實(shí)際上大家可能都知道,IBM做了一個(gè)神經(jīng)形態(tài)芯片。這是2014年7月份,他們?cè)诎l(fā)表那一篇論文之前,做的媒體報(bào)道。當(dāng)時(shí)的媒體,有這么一句話(huà),IBM的長(zhǎng)遠(yuǎn)目標(biāo)是建立具有一百億個(gè)神經(jīng)元和一百萬(wàn)億突觸的神經(jīng)突觸系統(tǒng),能耗只有一千瓦,體積不到兩升。大家讀這句話(huà),實(shí)際上要逼近人腦規(guī)模,人腦功耗是20、30瓦,這個(gè)系統(tǒng)是一千瓦,體積不到兩升,人腦就是這樣一個(gè)。從物理這種指標(biāo)上,要逼近人腦,只有功耗比人腦大一些,一千瓦就是家里的小空調(diào),就是一千瓦,其實(shí)很低了。現(xiàn)在超級(jí)計(jì)算機(jī),像天河二號(hào),應(yīng)該是有16兆瓦,每年的電費(fèi)要幾個(gè)億的成本。但是我們等下看,天河二號(hào)與人腦還遠(yuǎn)著呢。但是實(shí)際上,我剛才念這句話(huà)是2014年的報(bào)道,實(shí)際上這句話(huà)是推遲7年之后說(shuō)出來(lái)的,因?yàn)檫@個(gè)目標(biāo)早在2007年已經(jīng)定下來(lái)了,只不過(guò)對(duì)媒體不敢說(shuō)。因?yàn)樗麄冏鲞@個(gè)事,也做了很多年,從2004年開(kāi)始醞釀做,到2014年,十年時(shí)間把芯片做出來(lái),還是花了很多人力、物力,包括支持經(jīng)費(fèi)做出來(lái)。在這個(gè)過(guò)程中,我想讓大家看這個(gè)圖,其實(shí)不是拍腦袋說(shuō)做一個(gè)芯片,就做一個(gè)芯片,背后有它背后的邏輯。所以你看圖里面,老鼠的,這里面小老鼠、大老鼠、貓、猴子、人腦都能看見(jiàn),這是什么東西?這是在超級(jí)計(jì)算機(jī)上做仿真,一開(kāi)始的時(shí)候,在做芯片之前,都是IBM的超級(jí)計(jì)算機(jī)速度比較快,所以超算上在算,在仿真這個(gè)大腦,當(dāng)然仿真的程度,就像剛才說(shuō)的,可能神經(jīng)元的模型不那么精細(xì),但是沿著這樣一條路線(xiàn)在做仿真,所以做了十年,到最后我要做芯片,為什么必須做一個(gè)芯片?是這樣的,當(dāng)時(shí)2007年,為了申請(qǐng)這個(gè)項(xiàng)目的時(shí)候,這個(gè)項(xiàng)目叫SyNAPSE,大家知道這是突觸的意思,但是實(shí)際上是縮寫(xiě),一個(gè)神經(jīng)形態(tài)的自適應(yīng)的、可塑性、可伸縮可擴(kuò)展的電子系統(tǒng),這么羅嗦的一句話(huà)說(shuō)到底就是一個(gè)電子大腦皮層,在2007年立項(xiàng)的時(shí)候,立的目標(biāo)就是像人腦皮層一樣,做這么一個(gè)電子實(shí)現(xiàn),電子實(shí)現(xiàn)功能一千瓦。上面那個(gè)電子的一千瓦,下面人腦20瓦,單位面積內(nèi)的神經(jīng)突觸、神經(jīng)元的數(shù)是一樣的,所以體積就一樣,是兩升。媒體那邊講2014年講的話(huà),實(shí)際上講的是2007年申請(qǐng)這個(gè)項(xiàng)目的時(shí)候,定的一個(gè)目標(biāo)。從2008年開(kāi)始做,也給了不少錢(qián),最后把這個(gè)芯片做出來(lái)。
為什么要做這個(gè)芯片?其實(shí)是因?yàn)榭砍?jí)計(jì)算機(jī)模擬,是不可能解決大腦的這種傳導(dǎo)規(guī)模的仿真。IBM用的模型,大家看到是立體模型,是最簡(jiǎn)單的一種,當(dāng)然比我們?nèi)斯ど窠?jīng)網(wǎng)絡(luò)用的MP模型要復(fù)雜一點(diǎn),就是比較簡(jiǎn)單的一種脈沖神經(jīng)網(wǎng)絡(luò)的模型。即便用這種簡(jiǎn)單的模型,他們?cè)?009年,超算上的一篇,當(dāng)時(shí)那個(gè)系統(tǒng)叫皮層模擬器軟件,那個(gè)時(shí)候按照他們的估算,這個(gè)數(shù)是公開(kāi)的,大家看,那時(shí)候做的是83分之1,人要1秒,它要83秒,模仿了4.5%的人腦,消耗了144T的內(nèi)存,0.5pflops的計(jì)算量,換算一下,如果用天河二號(hào),要把人腦規(guī)模實(shí)時(shí)的,不超過(guò)幾十赫茲的信息處理能力算出來(lái)的話(huà),需要300臺(tái)天河二號(hào),神威天湖之光,也需要100臺(tái)。所以電費(fèi)就不夠,當(dāng)然我們也沒(méi)有造出那么多超算,盡管我們是第一,我們只有一臺(tái)神威,要造100臺(tái)神威,才能用一個(gè)簡(jiǎn)化的模型,把人腦仿真出來(lái)。所以這就是我一開(kāi)始說(shuō)的,你用這個(gè)做研究的可以往下做,真要做到人腦規(guī)模,不是一條可行的路。中國(guó)再有錢(qián),也不能為了模仿仿真大腦,造100臺(tái)神威天河。
所以一定要做硬件,根據(jù)神經(jīng)網(wǎng)絡(luò)的需要做新的硬件,能逼近人腦這樣一個(gè)終極目標(biāo)。這是TureNorth芯片,這個(gè)芯片上的神經(jīng)網(wǎng)絡(luò),確實(shí)是脈沖神經(jīng)網(wǎng)絡(luò),但是做了很多的簡(jiǎn)化,這里面也有一些比較創(chuàng)新的東西。比如一個(gè)神經(jīng)元要跟幾千個(gè)神經(jīng)元通訊,怎么通訊?人腦是進(jìn)化好了,連接都已經(jīng)有專(zhuān)門(mén)的神經(jīng)纖維在聯(lián),很多就是神經(jīng)纖維,不一定是我們的神經(jīng)元。物理連接已經(jīng)進(jìn)化出來(lái)了,一個(gè)芯片怎么做?所以一個(gè)芯片內(nèi),任何一個(gè)神經(jīng)元都有可能跟其他幾千個(gè)神經(jīng)元相聯(lián),比如就設(shè)計(jì)了一個(gè)高速路由系統(tǒng),芯片內(nèi)的高速路由系統(tǒng),使得最終當(dāng)然希望剛才說(shuō)的,每秒鐘比如一個(gè)神經(jīng)元發(fā)幾十個(gè)脈沖,它都能實(shí)時(shí)送過(guò)去,類(lèi)似于這樣,從芯片設(shè)計(jì)的技術(shù)上進(jìn)行解決。這個(gè)已經(jīng)實(shí)現(xiàn)了,把大量的芯片做成版,把大量的版拼在一起,做一個(gè)裝置,是希望它能像人腦一樣的同樣的信息處理能力,這是一個(gè)。然后就是歐洲的幾個(gè)項(xiàng)目,其中藍(lán)腦計(jì)劃我剛才說(shuō)過(guò)了,是歐洲大腦計(jì)劃很重要的一個(gè)推動(dòng)力。
Spinnaker是剛才說(shuō)的英國(guó)系統(tǒng),英國(guó)這個(gè)系統(tǒng)是用AARM做的,這個(gè)實(shí)際上是去年的,去年這個(gè)系統(tǒng)是50萬(wàn)核,50萬(wàn)個(gè)ARM核,仿真400M神經(jīng)元和400B神經(jīng)突觸的一個(gè)系統(tǒng)。五個(gè)機(jī)柜具有這樣一個(gè)基礎(chǔ)能力。旋轉(zhuǎn)的輪胎是什么東西?就是體系結(jié)構(gòu),在創(chuàng)造的就是說(shuō)大家想還是剛才那樣一個(gè)問(wèn)題,一個(gè)神經(jīng)元要跟幾千個(gè)其他的神經(jīng)元通訊,通訊是中間很關(guān)鍵一個(gè)問(wèn)題,要速度,所謂的速度就是在這個(gè)地方,你能不能很高效的實(shí)現(xiàn)任意一個(gè)神經(jīng)元跟幾千個(gè)神經(jīng)元通訊,一旦設(shè)計(jì)一個(gè),有效的結(jié)構(gòu),一個(gè)體系結(jié)構(gòu),因?yàn)橄馡BM的芯片是偏內(nèi)的,高速的結(jié)構(gòu),Spinnaker每一個(gè)單元就是一個(gè)ARM的核,一個(gè)ARM處理器,處理器有64還是多少個(gè)核,這個(gè)核之間,每一個(gè)核去仿真神經(jīng)元的話(huà),要通訊,所以怎么解決通訊協(xié)議,這是它的一個(gè)專(zhuān)利。論文里面也都有報(bào)道,所以這樣一個(gè)環(huán),這些核之間連接成蜂窩狀,最終形成這樣一個(gè)形狀,每個(gè)紅點(diǎn)就是它要發(fā)射神經(jīng)脈沖了,向周邊傳遞下去。當(dāng)然每一個(gè)神經(jīng)元,你不可能連幾千個(gè),但是能完成把這個(gè)信號(hào)傳遞過(guò)去,是它的獨(dú)特地方。
所以現(xiàn)在在歐洲這兩臺(tái)機(jī)器,已經(jīng)對(duì)外服務(wù)了,大家也可以訪問(wèn),然后我現(xiàn)在有一個(gè)神經(jīng)計(jì)算的模型,我想用你的,可以用,但是不會(huì)給你開(kāi)放那么多基本資源,實(shí)驗(yàn)一下還是可以做的。還有一個(gè),剛才說(shuō)神經(jīng)元現(xiàn)在大家已經(jīng)覺(jué)得沒(méi)有什么好擔(dān)心的了,因?yàn)樯窠?jīng)元的數(shù)量,是神經(jīng)突觸數(shù)量的千分之一,所以真正大腦的復(fù)雜,物理形成構(gòu)造是怎么把神經(jīng)突觸做出來(lái)。在尋找新的物理材料,構(gòu)造新的器件,最有代表性的一種叫憶阻器,這個(gè)器件本身最初的設(shè)想,不是為了做神經(jīng)形態(tài)計(jì)算的,是我們一個(gè)華人的科學(xué)家提出來(lái)一個(gè)想法,物理上有電阻、電容、電感,他是數(shù)學(xué)家,他說(shuō)這個(gè)不完美,應(yīng)該有第四種,他其了名字叫憶阻器。第四種是根據(jù)電流的變化會(huì)改變組織的一種器件,當(dāng)時(shí)只是一個(gè)數(shù)學(xué)上的一個(gè)概念。但是在2008年的時(shí)候,找到了這種材料,具有這種特性。而這種特性,一方面可以改變組織,可以做存儲(chǔ),很快你發(fā)現(xiàn),它其實(shí)跟生物突觸的可塑性是類(lèi)似的,所以后來(lái)就把它,很多人研究這種器件來(lái)做神經(jīng)突觸。過(guò)去這些年,大概十來(lái)年突觸已經(jīng)很熱了,很多學(xué)校和單位在做突觸。這種突觸,我大概給大家形象的描述一下,將來(lái)怎么做是這樣的。這篇論文就是1971年提出來(lái),這是2014年參加指導(dǎo)一個(gè)博士后寫(xiě)的一篇論文《大腦是由憶阻器組成的》,大腦的這些百萬(wàn)億突觸,是可以用憶阻器來(lái)實(shí)現(xiàn)。當(dāng)然這么一圖,不是電路,怎么實(shí)現(xiàn)電路,實(shí)際上就是看這個(gè)圖。實(shí)際上突觸的實(shí)現(xiàn),是電流生產(chǎn)的工藝來(lái)說(shuō),其實(shí)并不復(fù)雜。
是這樣,我們剛才說(shuō)過(guò)神經(jīng)元的數(shù)量要很少,相對(duì)于突觸來(lái)說(shuō)是很少,所以神經(jīng)元會(huì)在兩邊,一排神經(jīng)元又一排神經(jīng)元,關(guān)鍵是怎么把神經(jīng)元用物理的連接連接起來(lái)。所以這兩排神經(jīng)元,橫豎的兩排神經(jīng)元,先涂上一種材料,用現(xiàn)在光刻的手段,刻成一道道線(xiàn),最終綠點(diǎn)部分就是一個(gè)一個(gè),肯定不是圓的,你刻成什么形態(tài),就是什么形態(tài),那個(gè)形狀不重要,那個(gè)材料就可以,因?yàn)槟莻€(gè)藍(lán)線(xiàn)相當(dāng)于連接神經(jīng)元的樹(shù)突和周突,那個(gè)綠的部分就是那一層材料,可以根據(jù)得出樹(shù)突上的信號(hào)傳遞,發(fā)生變化,就像神經(jīng)突觸一樣的發(fā)生連接起來(lái),強(qiáng)度會(huì)發(fā)生變化。所以用這樣一種物理材料,生產(chǎn)將來(lái)的電路,是沒(méi)有問(wèn)題的。當(dāng)然這種材料的穩(wěn)定性,是不是能,首先從數(shù)學(xué)上,模型上是可以逼近生物的,但是穩(wěn)定性、可靠性,還是要有更多的研究。這個(gè)方面我剛才說(shuō),國(guó)外有很多單位在做,國(guó)內(nèi)也有很多單位在做,比如說(shuō)北大、清華、南大、華中科大,都有很多組織再做,所以有十幾年的研究歷史,這個(gè)就是我們打一個(gè)想象的比方,就是新一代計(jì)算機(jī)的晶體管,晶體管就是剛才說(shuō)的誰(shuí)先做出來(lái),誰(shuí)能做的比較靠譜,真正變成未來(lái)產(chǎn)業(yè)的糧食,那就是未來(lái)的一個(gè)很重大的貢獻(xiàn),中國(guó)還是不能落后的。
所以就是剛才說(shuō)的,這樣一些系統(tǒng)、器件,甚至于剛才日本的火蠅全腦網(wǎng)絡(luò)都畫(huà)出來(lái)了,這樣一些標(biāo)志性的事件,我們說(shuō)去年我們可以在人類(lèi)的歷史上,其實(shí)計(jì)算機(jī)正在進(jìn)入一個(gè)新的紀(jì)元。這方面中國(guó)當(dāng)然要做,所以前那么兩三年,我經(jīng)常到處去說(shuō),我們一定得做這個(gè)東西,當(dāng)然北京市也給了不少支持,國(guó)家確實(shí)在布局?,F(xiàn)在來(lái)看,我們中國(guó)已經(jīng)進(jìn)入了發(fā)展這樣一些,快速發(fā)展的過(guò)程。所以這是7月20日,新一代人工智能?chē)?guó)務(wù)院發(fā)的總體發(fā)展規(guī)劃里面一張總圖,在網(wǎng)上可以下載規(guī)劃規(guī)劃上沒(méi)有圖,國(guó)務(wù)院發(fā)文件不會(huì)帶插圖,不是教科書(shū)。實(shí)際上這張圖原來(lái)在里面,只是發(fā)的時(shí)候,拿掉了。除了我們說(shuō)的人工智能我不展開(kāi),類(lèi)腦智能理論、量子智能理論、高級(jí)機(jī)器學(xué)習(xí)其實(shí)都在里面,在國(guó)家未來(lái)十幾年的發(fā)展過(guò)程中,這些東西都會(huì)作為很重要的內(nèi)容進(jìn)行支持。所以我們應(yīng)該已經(jīng)進(jìn)入了,關(guān)于前面這一段,也有一些國(guó)際上的總結(jié),大家今年的2月份,神經(jīng)形態(tài)計(jì)算這一部分,我是寫(xiě)的科普第三篇,大家通過(guò)計(jì)算機(jī)學(xué)會(huì)的第二期和公眾號(hào)多有,大家愿意看的,可以再看一下。
我剛才講的這些東西都是國(guó)內(nèi)外的進(jìn)展,都不是我這個(gè)實(shí)驗(yàn)室做的,我們下面講的,是實(shí)驗(yàn)室做的一些東西,跟視覺(jué)相關(guān)的。
我們習(xí)以為常的視頻概念是24幀圖像,連續(xù)形成一種連續(xù)的感覺(jué),計(jì)算機(jī)視覺(jué)也是基于視頻的。但是事實(shí)上這個(gè)事跟生物視覺(jué)距離很遠(yuǎn)。電影能夠產(chǎn)生連續(xù)影像,是因?yàn)樯镆曈X(jué)有一個(gè)視覺(jué)暫留的現(xiàn)象。生物視覺(jué)接受真實(shí)世界的刺激,從來(lái)都是一個(gè)連續(xù)過(guò)程。類(lèi)腦視覺(jué)像現(xiàn)在每秒鐘輸入30幀圖像,每幀圖像就像現(xiàn)在做的,表達(dá)每幀圖像這個(gè)方向去做。這個(gè)路子本身就是錯(cuò)的,生物本來(lái)沒(méi)這樣做,沒(méi)有說(shuō)一幅圖像, 兩幅、三幅圖像,根據(jù)圖像看差異然后還要分析這個(gè)光流,不是這樣的。生物系統(tǒng)從來(lái)得到的都是在最細(xì)的力度上,它的一個(gè)實(shí)時(shí)的連受刺激過(guò)程。
我們經(jīng)常假定大腦信息處理的模型很復(fù)雜,實(shí)際上這種復(fù)雜性,有時(shí)候是自己給自己的一種假問(wèn)題。在1978年的時(shí)候,美國(guó)科研院士提出來(lái),其實(shí)大腦皮層處理信息的機(jī)制是一樣的,我們處理視覺(jué)、處理聽(tīng)覺(jué)、處理觸覺(jué),所有的在大腦皮層里面作為一種信息處理的算法,用計(jì)算機(jī)的算法,或者具體模型是一樣的。但是對(duì)我們來(lái)說(shuō),視覺(jué)、聽(tīng)覺(jué)觸覺(jué)是不一樣的,你看見(jiàn)、你聽(tīng)見(jiàn)和你手燙這個(gè)感覺(jué)是不一樣的,但是大腦皮層接受的都是一樣,都是信號(hào)。
在感覺(jué)這樣一類(lèi),我們的智能上面,還有一些新的數(shù)據(jù),要跟大家分享。一個(gè)是到底我們?nèi)俗鳛橐粋€(gè)生物體,我們感知世界,我們的結(jié)構(gòu),所有的智能歸根到底同樣是某種結(jié)構(gòu)實(shí)現(xiàn)的,同樣是某種物質(zhì)的載體去實(shí)現(xiàn)它的。對(duì)于感知來(lái)說(shuō),我們總共有300萬(wàn)根神經(jīng),感知神經(jīng)就是眼睛、耳朵、觸覺(jué),剛才所有的這種感知,總共有300多萬(wàn)根。其中每個(gè)眼睛背后有100多萬(wàn)根,兩只眼睛200多萬(wàn)根,剩下的聽(tīng)覺(jué)、味覺(jué)、觸覺(jué)、全身的皮膚,你能感覺(jué)到熱、冷、燙,各種的感覺(jué)總共100多萬(wàn)根。眼睛為什么是心靈之窗?因?yàn)槿肟谡剂巳种K晕覀冃畔⒌墨@取,靠眼睛獲取了三分之二的信息量。如果我們的盲人,眼睛不接受信號(hào)了,視覺(jué)就沒(méi)有用了,沒(méi)有刺激了,就該怎么辦怎么辦?聽(tīng)覺(jué)或者其他的感覺(jué),就會(huì)利用那個(gè)皮層。所以盲人的手的敏感程度很高,因?yàn)槟莻€(gè)視覺(jué)的中心部分還是做了觸覺(jué)的處理、聽(tīng)覺(jué)的處理。所以他的耳朵很靈,之所以很靈,是因?yàn)楦嗟钠佑脕?lái)做聽(tīng)覺(jué)了。這也一定程度上解釋了剛才那個(gè)原理,皮層還是那個(gè)皮層,還接受不同的刺激,做不同感知的任務(wù)。背后的基理應(yīng)該是一樣的,但是這個(gè)基理到底是什么?這個(gè)事現(xiàn)在并沒(méi)有模型,比如像剛才說(shuō)的,我們的眼睛接受光,光轉(zhuǎn)化成斯擺科,轉(zhuǎn)化成神經(jīng)脈沖,通過(guò)每個(gè)眼睛100萬(wàn)根神經(jīng)纖維,送到V1,V1在后腦勺。到底我們當(dāng)然就想知道,神經(jīng)系統(tǒng)是怎么來(lái)表達(dá)和編碼這個(gè)信息,這是視覺(jué)信息處理的基本問(wèn)題。
但是光視覺(jué)系統(tǒng)消耗的能耗就是大腦的十分之一。所以睜開(kāi)眼睛是花能量的,不是睜開(kāi)眼睛說(shuō)瞎話(huà)。睜開(kāi)眼睛,你一天吃的飯為眼睛和視覺(jué)消耗掉了。所以有的時(shí)候,大家要閉目養(yǎng)神,別讓眼睛老在那睜著,歇一會(huì)兒,別在這轉(zhuǎn)化光、電,表達(dá)什么了。閉目養(yǎng)神真的能養(yǎng)神,因?yàn)槟闶×耸种坏哪芰柯?。那到底這個(gè)眼睛從接受光刺激一直到最后,比如識(shí)別出物體,甚至做出于動(dòng)作,過(guò)程的這些細(xì)節(jié),當(dāng)然這是生物視覺(jué)他們?cè)谘芯浚揖筒灰灰蝗フf(shuō)了。我們想說(shuō)什么呢?到底這個(gè)生物視覺(jué)系統(tǒng),怎么來(lái)表示信息的?類(lèi)腦計(jì)算,大腦可以做的東西很多,感知是其中的一部分,但是這一部分很重要,它是入口,入口怎么表達(dá)信息,我們都不知道的話(huà),后面的很多工作很難開(kāi)展。我們北京市的支持下,想在這方面有所進(jìn)展。
2010年的那篇論文講的,一般來(lái)說(shuō)我們傳統(tǒng)上認(rèn)為這個(gè)眼睛就像一個(gè)簡(jiǎn)單的濾波器的樣子,對(duì)圖像進(jìn)行濾波處理。實(shí)際上,事實(shí)上我們的眼睛做的事情比我們想象的要多的多。大家看這個(gè)論文的題目是《眼睛比科學(xué)家們相信的還要聰明》,實(shí)際上表達(dá)的信息的方法,絕對(duì)不是一個(gè)簡(jiǎn)單的攝像頭。所以大家比如說(shuō)現(xiàn)在熱門(mén)的無(wú)人駕駛,用一個(gè)攝像頭把自動(dòng)駕駛解決了,確實(shí)做的很不錯(cuò)。但是我們開(kāi)車(chē)的時(shí)候,我們這個(gè)生物攝像頭,能力實(shí)際上是遠(yuǎn)遠(yuǎn)強(qiáng)于我們今天的攝像頭的。所以怎么把這個(gè)生物的攝像頭這些智慧能用上,當(dāng)然想制造背后的原理。他們能給出之前,還是回到剛才說(shuō)的,現(xiàn)在告訴我們一些基本的原理,但是又不能告訴精細(xì)的定量的東西,那怎么辦呢?在北京市的指示下,我們做了一些工作,僅僅是視覺(jué)系統(tǒng)最前面這一段,眼睛,視網(wǎng)膜到V1。
另外一個(gè)實(shí)皮層,那個(gè)實(shí)際上就是V1,大腦的最初級(jí)的那個(gè)區(qū)域,需要定量中心在做的,他們做了一個(gè)模型。但是這些都是在計(jì)算機(jī)上玩的,真正的生物的部分,是我們醫(yī)學(xué)部的薄老師在做,把猴子的視網(wǎng)膜摘下來(lái),看它的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。另外一個(gè),是唐市明老師,長(zhǎng)年累月,做了很多年,他的精神像上午說(shuō)的,他不管這個(gè),當(dāng)然他也是結(jié)清,所以他也不著急說(shuō)要怎么樣。很多年觀察猴子的皮層,接受光刺激的時(shí)候會(huì)發(fā)生什么。這是一個(gè)把猴子的視網(wǎng)膜摘出來(lái)之后,他們做的掃描,掃描完之后,這一層就是視網(wǎng)膜中精細(xì)視覺(jué)那一塊的神經(jīng)網(wǎng)絡(luò),當(dāng)然這個(gè)也是書(shū)面的原因,大概只能看到一個(gè)結(jié)構(gòu),一個(gè)大致的結(jié)構(gòu),一個(gè)環(huán)形的結(jié)構(gòu)。那個(gè)一根一跟的纖維就是神經(jīng)纖維,送神經(jīng)信號(hào)的播報(bào)。這是標(biāo)記各種各樣的細(xì)胞,不同的標(biāo)記物,把它標(biāo)記出來(lái),然后把這個(gè)網(wǎng)絡(luò)給顯示出來(lái)。然后再去做這個(gè)模型的進(jìn)一步數(shù)據(jù)化,模型化,最后把這個(gè)結(jié)構(gòu)搞清楚。
這個(gè)是剛才說(shuō)的,觀察皮層,順便觀察這個(gè)皮層,這個(gè)是一個(gè)斷層。從在猴子看到一個(gè)視覺(jué)刺激的時(shí)候,從上到下一層一層的看哪些神經(jīng)元發(fā)放的,哪個(gè)神經(jīng)元和神經(jīng)元之間,誰(shuí)在傳遞信號(hào),通過(guò)什么樣的通道傳遞信號(hào),就是做這個(gè)事。為了看這個(gè)東西,怎么看?你要打開(kāi)它,不打開(kāi)它怎么看,猴子背后實(shí)際上是打開(kāi)的。但是大家不要擔(dān)心,打開(kāi)是做了手術(shù),做了麻醉,用透明罩子幫它罩上。所以把這一塊骨頭換成一個(gè)透明的玻璃,然后這個(gè)猴子照樣生活照樣吃東西,該玩玩,但是做實(shí)驗(yàn)的時(shí)候你就得坐下,該喝水還是照樣喝水。就戴上顯微鏡看它,讓它看東西,看后面那個(gè)東西。外面看到的其實(shí)就是這樣的事情,這是一個(gè)陶樂(lè)天在做,他從2004年就開(kāi)始做猴子視皮層的仿真,也做了幾十年了,留下了一些現(xiàn)象。時(shí)間關(guān)系,我就跳過(guò)去了。
我們這個(gè)組等會(huì)兒給大家演示的是做中央化的仿真,中央化仿真。就是精細(xì)視覺(jué)這一塊,我們?yōu)槭裁搓P(guān)心這一塊?眼睛和剛才的視網(wǎng)膜很復(fù)雜,所以真正把視網(wǎng)膜做出來(lái),最終大概需要至少五年的時(shí)間。我們現(xiàn)在只是把其中的精細(xì)識(shí)別,精細(xì)識(shí)別對(duì)識(shí)別信息編碼,我剛才講我們這個(gè)實(shí)驗(yàn)是是編解碼國(guó)家工作實(shí)驗(yàn)室,所以最關(guān)心的是我們研究看的時(shí)候,看清楚了,讓一個(gè)場(chǎng)景,是怎么變化的。周邊對(duì)運(yùn)動(dòng),對(duì)特殊一些形態(tài)的檢測(cè),那些也要做,但是是放在后面來(lái)做。怎么來(lái)做這個(gè)東西呢?就是回過(guò)頭來(lái),還是回到神經(jīng)中去。一個(gè)神經(jīng)元長(zhǎng)什么樣,它的形態(tài),這是剛才說(shuō)的取下猴子視網(wǎng)膜去掃描,把三維的數(shù)據(jù)掃描,一個(gè)一個(gè)識(shí)別做出來(lái),所以它長(zhǎng)什么形態(tài)。第二個(gè)做神經(jīng)元的模型,就是上午說(shuō)的方程,另外這個(gè)方程已經(jīng)可以刻畫(huà)各種神經(jīng)元的生命學(xué)行為,但是刻畫(huà)神經(jīng)元行為和每一種神經(jīng)元,具體在發(fā)生什么,你的數(shù)學(xué)工具在那個(gè)地方,但是每種神經(jīng)元有自己的特性,所以要調(diào)參數(shù)。調(diào)來(lái)調(diào)去,最近才能逼近給它一個(gè)電刺激,它能產(chǎn)生一種什么樣的脈沖模式。這個(gè)參數(shù)調(diào)好了之后,就算這個(gè)神經(jīng)元?jiǎng)澐殖鰜?lái)了。為了做的精細(xì),其實(shí)一個(gè)神經(jīng)元不是一組方程式,把這個(gè)分成很多段,所以每個(gè)里面,是一組方程組。所以一個(gè)神經(jīng)元的計(jì)算代價(jià)是很高的,大概剛才說(shuō)的一個(gè)CPU,至少一個(gè)核去算一個(gè)神經(jīng)元。
黃鐵軍老師和其實(shí)驗(yàn)室的博士生隨后對(duì)他們正在做的視覺(jué)系統(tǒng)解析項(xiàng)目做了演示。
本次課程為付費(fèi)課程,2017年8月會(huì)在AI慕課學(xué)院獨(dú)家上線(xiàn),原價(jià) 2500 元(CCF 會(huì)員)的線(xiàn)下課程現(xiàn)在限時(shí)特價(jià) 699 元預(yù)售,有興趣的學(xué)員戳:http://www.mooc.ai/course/114,或者掃描下圖二維碼觀看。
相關(guān)文章:
北大計(jì)算機(jī)系黃鐵軍CCF-ADL講習(xí)班上篇:從計(jì)算機(jī)發(fā)展史講解制造超人工智能的正途——類(lèi)腦計(jì)算
馬斯克說(shuō)的腦機(jī)結(jié)合還有多遠(yuǎn)?真正的腦機(jī)科技前沿告訴你真相 | CCF ADL 81類(lèi)腦計(jì)算前沿班回顧
重磅講座預(yù)告:黃鐵軍、陳云霽等專(zhuān)家齊聚CCF ADL,分享類(lèi)腦計(jì)算與深度學(xué)習(xí)處理器 | 開(kāi)課報(bào)名中
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。