11月初，2020年度國家科學(xué)技術(shù)獎勵名單發(fā)布，陳云霽主持的「深度學(xué)習(xí)處理器體系結(jié)構(gòu)新范式」項(xiàng)目獲得國家自然科學(xué)獎二等獎。

該獲獎項(xiàng)目的參與人均來自中國科學(xué)院計(jì)算技術(shù)研究所，除了陳云霽研究員，還有陳天石研究員、杜子?xùn)|博士、孫凝暉院士與郭崎研究員，可以說集結(jié)了人工智能與高性能計(jì)算雙領(lǐng)域的兩派高手。

計(jì)算機(jī)領(lǐng)域無人不知：陳云霽與陳天石等人開發(fā)出國際首個深度學(xué)習(xí)處理器芯片寒武紀(jì)1號，引起全球范圍內(nèi)的廣泛關(guān)注，陳云霽與陳天石也因此被國際科學(xué)頂刊Science刊文評為AI芯片的「先驅(qū)者」。

傳統(tǒng)上認(rèn)為，處理器芯片的研究創(chuàng)新偏向「從無到有」的發(fā)明系列。而這次計(jì)算所團(tuán)隊(duì)的工作獲得的是處理器芯片領(lǐng)域歷史上首個國家自然科學(xué)二等獎。國家自然科學(xué)獎是中國五個國家科學(xué)技術(shù)獎之一，授予在基礎(chǔ)研究和應(yīng)用基礎(chǔ)研究中闡明自然現(xiàn)象、特征和規(guī)律、做出重大科學(xué)發(fā)現(xiàn)的公民。

因此，AI科技評論第一時間聯(lián)系了陳云霽本人，就本次獲獎項(xiàng)目與深度學(xué)習(xí)處理器的相關(guān)研究內(nèi)容與陳云霽教授進(jìn)行了較為深入的交流。

據(jù)陳云霽介紹，他們本次獲得國家自然科學(xué)獎二等獎的項(xiàng)目主要是從理論上闡明了深度學(xué)習(xí)算法在硬件上執(zhí)行的共性基本規(guī)律，從而形成了深度學(xué)習(xí)處理器這樣一種體系結(jié)構(gòu)新范式。

例如，他們發(fā)現(xiàn)深度學(xué)習(xí)在計(jì)算上的五個最基本算子：向量、矩陣、距離、非線性函數(shù)與排序。如同樂高拼插件，基于這五個算子設(shè)計(jì)出的深度學(xué)習(xí)處理器，可以處理成千上萬、不斷演進(jìn)的深度學(xué)習(xí)算法。這為后來者在深度學(xué)習(xí)處理器方向發(fā)力做出了重要的指導(dǎo)作用。

此外，陳云霽介紹，這十多年來，他們主要在做兩件事：一是開發(fā)深度學(xué)習(xí)處理器助力人工智能計(jì)算，二是反過來，用人工智能方法指導(dǎo)芯片的設(shè)計(jì)，該方向也日益受到學(xué)者們的關(guān)注。

1、獲獎項(xiàng)目詳情

AI科技評論：能否介紹一下這次獲獎項(xiàng)目（「深度學(xué)習(xí)處理器體系結(jié)構(gòu)新范式」）的研究背景？

陳云霽：人類社會開始逐漸進(jìn)入智能時代，其中最核心的技術(shù)之一就是深度學(xué)習(xí)。深度學(xué)習(xí)對計(jì)算量的需求非常大，因?yàn)槔锩娴哪Ｐ屯且粋€大規(guī)模的多層人工神經(jīng)網(wǎng)絡(luò)。一般來說，模型的規(guī)模越大，層數(shù)越多，潛在的表達(dá)能力就越強(qiáng)。某種意義上來說，計(jì)算量與智能水平之間的關(guān)系是正相關(guān)的。那么，這就帶來一個問題：傳統(tǒng)的芯片不一定適合深度學(xué)習(xí)的計(jì)算模式。所以我們提出了深度學(xué)習(xí)處理器這樣的新體系結(jié)構(gòu)范式，用來應(yīng)對深度學(xué)習(xí)的任務(wù)。

所謂「范式」（paradigm），就是「受到廣泛認(rèn)可的模式」。比如說，CPU（中央處理器）就是一種范式，有很多企業(yè)參照 CPU 這個范式做出了各種各樣的 CPU 來。GPU（圖形處理器）也是一種范式，AMD、英偉達(dá)也是根據(jù) GPU 這種范式去設(shè)計(jì)GPU芯片。我們提出來的深度學(xué)習(xí)處理器，也是一種范式，大家可以參照這種范式去設(shè)計(jì)各種各樣的處理器芯片。

AI科技評論：深度學(xué)習(xí)處理器是您與陳天石教授共同提出來的，大概在2014年前后。這個項(xiàng)目也是沿襲了當(dāng)時的研究嗎？

陳云霽：對，是一脈相承的。最開始我們是設(shè)計(jì)了一個具體的深度學(xué)習(xí)處理器結(jié)構(gòu)，比如2014年的DianNao，是我們跟法國INRIA（法國國立計(jì)算機(jī)及自動化研究院）合作的。但一個架構(gòu)背后的基本規(guī)律與范式是什么？就是我們這個項(xiàng)目的貢獻(xiàn)。雷鋒網(wǎng)

圖注：國際首個深度學(xué)習(xí)處理器芯片寒武紀(jì)1號

AI科技評論：您是說理論上的研究突破嗎？

陳云霽：對。所謂的「范式」，就好比一個模板。具體的深度學(xué)習(xí)處理器架構(gòu)，是可以根據(jù)這個模板去衍生出來的。過去我們設(shè)計(jì)一個具體的深度學(xué)習(xí)處理器，當(dāng)然也很有意義，但可能會更偏向發(fā)明。而我們這次的工作，最主要是找到了深度學(xué)習(xí)處理器架構(gòu)背后的共性范式，有了這個范式后，其他高校與企業(yè)都可以參照這個范式去設(shè)計(jì)自己的芯片。雷鋒網(wǎng)

AI科技評論：能否具體講講范式的內(nèi)涵？

陳云霽：我們最主要是找到了深度學(xué)習(xí)算法在硬件上執(zhí)行的共性基本規(guī)律，包括計(jì)算、訪存和通信。

以計(jì)算為例。我們發(fā)現(xiàn)，你要設(shè)計(jì)一個深度學(xué)習(xí)處理器，可以設(shè)計(jì)成各種各樣，但必須至少支持五種最基本的算子：向量、矩陣、距離、非線性函數(shù)與排序。只要你支持好這五種算子，就可以支撐成千上萬種深度學(xué)習(xí)算法。雷鋒網(wǎng)

就好像樂高積木。樂高積木就是通過基本的接插件去拼出各種各樣的城堡、飛機(jī)等等，我們相當(dāng)于找到了最基本的樂高接插件。深度學(xué)習(xí)可能會不斷演進(jìn)或產(chǎn)生新的深度運(yùn)算，但沒有關(guān)系，我只要用這五個小樂高就可以把它給搭出來。所以這是我們在自然科學(xué)規(guī)律上的一個發(fā)現(xiàn)。

AI科技評論：這個項(xiàng)目大概是從什么時候開始的？

陳云霽：最早是2008年。當(dāng)時我們開始探索人工智能和芯片設(shè)計(jì)的交叉研究。我從2002年開始做芯片設(shè)計(jì)，我弟弟陳天石從2005年讀研開始研究人工智能算法。所以我們就一起探討人工智能與芯片設(shè)計(jì)的交叉結(jié)合。雷鋒網(wǎng)

AI科技評論：我們看到這個項(xiàng)目中還有杜子?xùn)|博士、孫凝暉院士與郭崎研究員，他們是從什么時候開始加進(jìn)來的？

陳云霽：最早是我和陳天石，后來孫凝暉院士、杜子?xùn)|博士與郭崎研究員陸續(xù)加進(jìn)來。深度學(xué)習(xí)處理器是一系列的工作，我們每個人都在其中做出了自己的貢獻(xiàn)。

我跟陳天石可能參與得多一點(diǎn)，方方面面都參與了。杜子?xùn)|也是比較早參與到這個工作中的，從他讀研時開始，在算子之間的融合運(yùn)算模式中起到了非常關(guān)鍵的作用。郭崎也是從2008年就開始參與，那時候他還是一個博士生，主要是在訪存方面做了一些工作。

孫凝暉院士既是我們研究所（中國科學(xué)院計(jì)算技術(shù)研究所）的學(xué)術(shù)所長，也是我們計(jì)算機(jī)體系結(jié)構(gòu)國家重點(diǎn)實(shí)驗(yàn)室的主任。我們這個工作是一個體系結(jié)構(gòu)的工作，孫院士在計(jì)算和通信的體系結(jié)構(gòu)規(guī)律的探索上都作出了很重要的貢獻(xiàn)。雷鋒網(wǎng)

AI科技評論：深度學(xué)習(xí)處理器是不是高性能計(jì)算與人工智能的結(jié)合？

陳云霽：我覺得它在很多思想與方法上將這兩個方面結(jié)合到了一起。如果時間倒退到十多年前，大家可能會覺得高性能計(jì)算與人工智能之間沒有什么直接關(guān)系，因?yàn)槟菚r候深度學(xué)習(xí)方法還不是那么流行。當(dāng)時人工智能的主流是支持向量機(jī)之類的方法，需要的計(jì)算量比較小，模型也比較小。

但現(xiàn)在不是這樣的。有一個非常有名的例子：2012年，谷歌大腦用1.6萬個CPU核去做深度學(xué)習(xí)訓(xùn)練，教系統(tǒng)如何識別人臉、貓臉等。

這是一個明顯的、高性能計(jì)算與人工智能匯聚在一起的例子，而芯片又是高性能計(jì)算中最關(guān)鍵的部分。

這也與我們計(jì)算所的長期淵源有關(guān)。上世紀(jì)80年代末，李國杰院士從國外回來，成立了國家智能計(jì)算機(jī)研究開發(fā)中心。李院士是第一任主任，后來孫院士是第二任主任。我們這些研究實(shí)際上也是沿著這個脈絡(luò)流傳下來的。這使得我們的成員對人工智能的發(fā)展脈絡(luò)有比較清晰的理解，其次是啟發(fā)我們?nèi)ニ伎既斯ぶ悄芩惴ü灿械挠?jì)算模式是什么樣的。

AI科技評論：與寒武紀(jì)相比，這個項(xiàng)目更多是一個學(xué)術(shù)研究項(xiàng)目，還是一個工業(yè)研究項(xiàng)目？

陳云霽：這完全是一個基礎(chǔ)理論研究項(xiàng)目。國家自然科學(xué)獎都是面向基礎(chǔ)科學(xué)研究?；A(chǔ)研究的一個特點(diǎn)是要促進(jìn)整個人類的進(jìn)步，尤其是對于計(jì)算所這樣一個國立科研院所來說，它應(yīng)該是通過技術(shù)研究，能夠讓國內(nèi)同行、國外的同行乃至整個社會從中受益。當(dāng)然，寒武紀(jì)1號芯片也受到了這個項(xiàng)目論文的影響。

理論上的指導(dǎo)非常重要。舉個例子，如果沒有愛因斯坦的質(zhì)能方程（E=MC^2），所有的核電站都是不存在的。所以，需要有一個基本的理論，然后大家根據(jù)這個理論去設(shè)計(jì)各種各樣的具體芯片。所以，它的目標(biāo)還是推動整個社會的進(jìn)步。

2、深度學(xué)習(xí)處理器研究觀察

AI科技評論：根據(jù)您的觀察，應(yīng)用于深度學(xué)習(xí)的處理器在體系結(jié)構(gòu)上有什么特點(diǎn)？與用于通用計(jì)算的處理器有什么相同或不同之處？

陳云霽：從計(jì)算和訪存兩個維度上來說吧。

從計(jì)算維度上看，通用計(jì)算最主要是做加減乘除，但對于深度學(xué)習(xí)處理器來說，最基本的是我剛剛講的五個算子。

從訪存的角度來看，通用 CPU 在訪問內(nèi)存時是一個通道，而深度學(xué)習(xí)算法有一個共性，是里面的數(shù)據(jù)可以分為三個流，就像小朋友放學(xué)回家、會自動排成三個路隊(duì)，比如說輸入神經(jīng)元、輸出神經(jīng)元與連接權(quán)重。

基于這些客觀規(guī)律，我們在設(shè)計(jì)深度學(xué)習(xí)處理器的部件時，就會針對性地去設(shè)計(jì)。在計(jì)算層面，我們也可以把它拆解成五種共性的基本算法。在訪存層面，它可以抽象成一個訪存數(shù)據(jù)流，最后自動聚成三個流。

從實(shí)踐的角度，具體的芯片你想怎么設(shè)計(jì)都是可以的。原先你可以把大家強(qiáng)行按在一個通道里。但我們把理論上的客觀規(guī)律告訴學(xué)術(shù)界和工業(yè)界之后，大家一般就會設(shè)計(jì)三個獨(dú)立的通道，兵分三路，那么效率肯定會提高。

AI科技評論：據(jù)您了解，您的團(tuán)隊(duì)所提出的理論影響的設(shè)計(jì)芯片的公司有哪些？

陳云霽：引用我們的發(fā)現(xiàn)的單位非常多。我們這里有一個大概的統(tǒng)計(jì)，說現(xiàn)在全球有5大洲、30個國家/地區(qū)、200個機(jī)構(gòu)在引用或跟蹤我們的工作，其中接近一半是美國的機(jī)構(gòu)，引用者包括15位中美院士和120余位ACM/IEEE Fellow。全球前一百的大學(xué)（QS排名）一大半在引用我們的工作，包括哈佛、斯坦福、麻省理工、普林斯頓等等。很多業(yè)界頂尖的芯片公司，包括英偉達(dá)、谷歌、華為、聯(lián)發(fā)科、英特爾、三星、IBM、高通、微軟、臺積電、蘋果、AMD等，都在引用我們項(xiàng)目的成果，開展相關(guān)研究。

所以深度學(xué)習(xí)領(lǐng)域最權(quán)威的教科書《Deep Learning》（又稱「花書」），由圖靈獎獲得者Yoshua Bengio所著，也引用了我們的工作。

我記得有位院士說過，做科研就兩個目標(biāo)，一個是進(jìn)教科書，一個是進(jìn)貨架。能實(shí)現(xiàn)哪一個都是很好的。對我們計(jì)算所來說，我們最期望的事情是進(jìn)教科書里。過去我們基礎(chǔ)理論的工作能夠進(jìn)教科書的還是不多的。

AI科技評論：所以您是更關(guān)注它在學(xué)術(shù)上的突破對嗎？

陳云霽：對。學(xué)術(shù)的突破也會受到我們國際同行企業(yè)的關(guān)注。舉個例子，光英偉達(dá)就引用了我們的工作超過50次，英偉達(dá)的首席科學(xué)家 Bill Dally 在他的一些核心研究中也多次引用我們的工作，而且明確地指出他們的方法跟我們之前的工作類似。包括谷歌做的第一篇深度學(xué)習(xí)處理器論文，里面的作者有一位圖靈獎得主和三位美國工程院院士，也引用了我們這個項(xiàng)目里的多個成果。

AI科技評論：您在深度學(xué)習(xí)處理器上的研究是否主要分為體系架構(gòu)設(shè)計(jì)階段與理論完善階段？還是有其他分法？

陳云霽：應(yīng)該不是這樣劃分。我們從2007年、2008年開始，就是將理論與實(shí)踐緊密結(jié)合。中科大的校訓(xùn)就是「理實(shí)交融」。一方面， 我要設(shè)計(jì)一個具體的芯片，但另一方面，我們也要找出芯片背后的規(guī)律是什么。

就拿馮諾依曼體系結(jié)構(gòu)來說。它是怎么出來的呢？是美國造了第一臺通用計(jì)算機(jī)，叫「伊尼亞克」（ENIAC）。設(shè)計(jì)ENIAC的兩個工程師，一個叫John Mauchly，一個叫Presper Eckert。造ENIAC的人當(dāng)然有很多寶貴的經(jīng)驗(yàn)，但也有很多地方?jīng)]想清楚，所以在初步建成ENIAC后，他們就請了馮·諾依曼來當(dāng)顧問。

圖注：第一臺通用計(jì)算機(jī)ENIAC

馮·諾依曼仔細(xì)分析了這臺機(jī)器的優(yōu)劣之處，然后提出了馮諾依曼架構(gòu)，在此之后，我們造計(jì)算機(jī)都按照馮諾依曼機(jī)構(gòu)來。所以從某種意義上說，沒有ENIAC，就沒有馮諾依曼架構(gòu)。但如果沒有馮諾依曼架構(gòu)，不做理論突破，只照著當(dāng)年的ENIAC，就沒有現(xiàn)在的計(jì)算機(jī)，因?yàn)楫?dāng)時的ENIAC有很多問題。

我舉個例子。如果你想聽歌，聽完歌后看電影，換個App就行，不需要將手機(jī)拆開、電路板拆開重組。但那個時候的ENIAC不是這樣的。你想讓它干別的事，得把機(jī)器里面的電線管子拔來插去，弄半天才能換個任務(wù)。然后馮·諾依曼總結(jié)了ENIAC的得失，進(jìn)行了科學(xué)探索，形成了馮·諾依曼架構(gòu)，才形成了我們現(xiàn)在計(jì)算機(jī)的最基本范式。

AI科技評論：所以從2008年開始，你們就是理論與實(shí)踐雙管齊下。

陳云霽：對，我們一直都是這樣。理論與實(shí)踐要相互印證。我記得毛主席的實(shí)踐論里面就談到，認(rèn)識的第一次飛躍是從感性認(rèn)識到理性認(rèn)識，然后第二次飛躍再從理性回到實(shí)踐中，如此螺旋交替上升。理論與實(shí)踐是密不可分的。

AI科技評論：您會怎樣劃分您在深度學(xué)習(xí)處理器上的研究內(nèi)容？

陳云霽：這十多年來，我們其實(shí)就干了兩件事，一個是開發(fā)深度學(xué)習(xí)處理器來幫助人工智能處理，另一個是用人工智能來幫助芯片設(shè)計(jì)。

現(xiàn)在這個問題（用人工智能幫助芯片設(shè)計(jì)）也很熱門。比如，我們在設(shè)計(jì)一個具體的芯片時，里面有很多參數(shù)，我們不知道哪一個選擇是最好的，就可以用人工智能方法幫我們挑出來。還有布局、布線問題?，F(xiàn)在谷歌也在用人工智能去做芯片的布局與布線（Placement & Routing）。一個芯片里有幾十億甚至上百億個晶體管，要用線將它們連接起來，那么某個晶體管應(yīng)該放在什么地方？它們之間怎么連線？這是一個非常復(fù)雜的問題，全靠人工去做不太現(xiàn)實(shí)。

AI科技評論：你們的一個標(biāo)志性工作在2014年拿了ASPLOS最佳論文獎，所以從2008年到2014年間主要是做了這兩件事對嗎？

陳云霽：是的。這個過程其實(shí)非常痛苦，挑戰(zhàn)性也比較大。在當(dāng)時，我們做人工智能和芯片設(shè)計(jì)的交叉研究，就像在一個迷霧森林里，不知道東西南北，甚至不知道有沒有出口，很茫然。當(dāng)我們告訴大家我們做了一個深度學(xué)習(xí)處理器的時候，其實(shí)最艱難的地方已經(jīng)過去了。最難的時候，我們甚至不知道自己在干什么，只知道想把人工智能與芯片設(shè)計(jì)結(jié)合起來，那結(jié)合起來到底會產(chǎn)生什么？我們不知道。

AI科技評論：那是在哪一個節(jié)點(diǎn)稍微感覺有頭緒了呢？

陳云霽：可能是2012年左右開始有一點(diǎn)感覺了。

AI科技評論：當(dāng)時是取得了哪些突破、讓你們感覺沒那么茫然嗎？

陳云霽：這個沒有。我們不是坐在那突然靈光一現(xiàn)，都是慢慢摸索，有很多小的成功，最后匯成了一個大的突破。

在2014年以前，我們最大的挑戰(zhàn)可能是，我們在做的這個研究在當(dāng)時的學(xué)術(shù)界是不認(rèn)可的，工業(yè)界是不關(guān)心的，然后做這個（深度學(xué)習(xí)處理器）也發(fā)不了論文、申不了項(xiàng)目。但是，我們相信自己的學(xué)術(shù)理想，所以最后能夠堅(jiān)持做下來。

其實(shí)世界上聰明的人很多，只要你看準(zhǔn)了一個方向，能夠堅(jiān)持做起來，我覺得基本上都能夠看到成果。

AI科技評論：2014年獲得ASPLOS最佳論文后，你們的研究內(nèi)容有變化嗎？

陳云霽：2014年之后，我們還是在這方面繼續(xù)做了一系列工作。比如，我們開發(fā)了國際上第一個深度學(xué)習(xí)處理器的指令集 Cambricon，發(fā)表在了ISCA 2016上（獲得最高分）。我們獲得國家自然科學(xué)獎的成果，有很多是從那篇文章（如下）體現(xiàn)出來的，因?yàn)樗鼩w納了一些最基本的計(jì)算與訪存知識。

論文鏈接：https://max.book118.com/html/2019/0610/8003056114002027.shtm

AI科技評論：您在剛剛工作的時候就去做這種交叉研究，還是非常有勇氣的。

陳云霽：是的，我現(xiàn)在想想也是挺無知無畏的。

我覺得當(dāng)時最主要是有一個比較好的環(huán)境。坦率來說，現(xiàn)在國內(nèi)學(xué)術(shù)界的青年科研人員的壓力其實(shí)非常大，一會要評副高，一會要評正高，一會要評博導(dǎo)，在這么大的生存壓力下，他們還有沒有勇氣去做一些國際主流學(xué)術(shù)界不認(rèn)可的方向？反過來說，你想做一個國際上原創(chuàng)性的工作，那么在這個工作做出來之前，它一定是不被認(rèn)可的。

去做一個全世界不認(rèn)可的工作，然后通過自己的努力讓這個工作被國際學(xué)術(shù)界認(rèn)可，而且成為國際學(xué)術(shù)界的主流，這是最理想的情況。這條路的風(fēng)險非常大，所以現(xiàn)在大部分青年科研人員只能屈從生存壓力，在國際主流學(xué)術(shù)界已經(jīng)認(rèn)可的方向上做一些添磚加瓦的工作，比較容易發(fā)文章，評職稱的風(fēng)險會小一點(diǎn)。

但真正具有原創(chuàng)性的創(chuàng)新工作，往往是一個年輕博士在剛畢業(yè)時做出來的。比如，愛因斯坦提出狹義相對論的時候只有25歲。那現(xiàn)在我們25歲的人敢不敢去做這樣的大問題？這是個問題。

不過人非圣賢，肯定都要考慮自己的實(shí)際生活。我覺得還有一種選擇，就是青年科研人員能有一半的時間做國際主流的研究，再拿出一半的時間去做一些非共識的研究，能夠平衡一下風(fēng)險與收益。當(dāng)時我們也是這樣做的。

AI科技評論：您當(dāng)時除了做深度學(xué)習(xí)處理器，還有做其他研究嗎？

陳云霽：對。我從剛畢業(yè)到2012年評上研究員、博導(dǎo)之前，主要的工作是做龍芯的通用CPU。當(dāng)時胡偉武老師讓我擔(dān)任龍芯3號的主架構(gòu)師，做的是傳統(tǒng)的芯片。所以我相當(dāng)于大部分精力是花在了這上面。

AI科技評論：如果當(dāng)時是all in的話，可能也受不了。

陳云霽：對。我一個剛剛畢業(yè)的博士生，一篇論文發(fā)不了，就算計(jì)算所不會把我怎么樣，我自己也會感覺不踏實(shí)。但是你不能說一個人等已經(jīng)評上了教授，再去做真正原創(chuàng)性的創(chuàng)新。雷鋒網(wǎng)

AI科技評論：您剛剛談到馮諾依曼體系架構(gòu)。上世紀(jì)90年代，國際上也曾經(jīng)有過一陣研制神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的熱潮，現(xiàn)在的深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)處理器研究與當(dāng)年相比有什么突破？解決了哪些當(dāng)年無法解決的問題？

陳云霽：在上世紀(jì)90年代，不說國外，國內(nèi)像李國杰院士、陳國良院士都做過這方面的工作。但當(dāng)時最主要的問題是，他們那個時候能處理的神經(jīng)網(wǎng)絡(luò)規(guī)模很小，一般來說幾層神經(jīng)網(wǎng)絡(luò)，1000個神經(jīng)元。

在深度學(xué)習(xí)時代，我們要處理的神經(jīng)網(wǎng)絡(luò)是沒有上限的，理論上可以達(dá)到幾百層，幾十億個神經(jīng)元，這就帶來了一個質(zhì)變：你怎么樣用一個有限規(guī)模的硬件去處理一個無限規(guī)模的算法？這是上世紀(jì)90年代那些工作不一定能解決的。

AI科技評論：你們提出來的深度學(xué)習(xí)處理器可以解決多大的神經(jīng)網(wǎng)絡(luò)？

陳云霽：不受規(guī)模限制。雷鋒網(wǎng)

AI科技評論：現(xiàn)在大模型預(yù)訓(xùn)練已經(jīng)成為一種潮流，但由于對計(jì)算資源要求高、運(yùn)行時間長、成本高，中小企業(yè)難以接受。您如何看這種趨勢，您的研究是否可以補(bǔ)上中小企業(yè)AI研究的短板？

陳云霽：我覺得隨著計(jì)算技術(shù)的不斷發(fā)展，大模型會逐漸進(jìn)入到每個企業(yè)、每個人所能達(dá)到的范疇里。就像視頻編解碼。在上個世紀(jì)，視頻編碼也是只有很大的機(jī)器才能做的事情，也就是只有大的企業(yè)去做。但現(xiàn)在我們的手機(jī)就可以視頻編碼，你隨便拍一個視頻，然后它在手機(jī)上給你編碼好。所以我對大模型是很樂觀的，只是需要時間，遵循「摩爾定律」。摩爾定律還是很強(qiáng)的。雷鋒網(wǎng)

圖注：英特爾聯(lián)合創(chuàng)始人戈登·摩爾（Gordon Moore）在1965年提出摩爾定律，認(rèn)為「集成電路芯片上所集成的晶體管數(shù)量每隔18個月翻一番」，帶來芯片算力的指數(shù)增長，也促進(jìn)了通用計(jì)算機(jī)的飛速發(fā)展

AI科技評論：不是說摩爾定律已經(jīng)失效了嗎？

陳云霽：我上大學(xué)的時候就說摩爾定律要失效了，現(xiàn)在還沒有失效。還有很多晶體管結(jié)構(gòu)、封裝、器件材料上的創(chuàng)新，有可能再延續(xù)摩爾定律更長的時間。我上大學(xué)的時候還聽過一個說法，說地球上的石油還有XX年就用完了，但現(xiàn)在大家說還有很多（石油）。雷鋒網(wǎng)

AI科技評論：在您所設(shè)想的通用智能處理器體系結(jié)構(gòu)中，深度學(xué)習(xí)處理器、CPU與GPU等分別扮演什么角色？

陳云霽：它們的目標(biāo)領(lǐng)域不一樣。GPU是面向圖形處理，DSP是面向信號處理，深度學(xué)習(xí)處理器是面向智能處理，CPU是什么都干。在現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)里，CPU就像一個司令官，它不再以計(jì)算為主要職責(zé)，更多是扮演一個管理調(diào)度的角色。

3、AI芯片的人才培養(yǎng)

AI科技評論：據(jù)您觀察，近幾年AI芯片的人才缺口方面有沒有改善？

陳云霽：我們國家現(xiàn)在有很多高校成立了人工智能專業(yè)，或人工智能學(xué)院。但據(jù)我過去觀察，人才培養(yǎng)上還是有很大的缺失。不光是數(shù)量上的缺失，還有培養(yǎng)方法上的缺失。大家都是培養(yǎng)學(xué)生怎么寫人工智能算法，或?qū)懭斯ぶ悄蹵PP。雷鋒網(wǎng)

我們的一個長期問題是「頭重腳輕」，應(yīng)用層做得非常好，但軟硬件根基層上一般，基本不培養(yǎng)做核心軟硬件的人才。這是一個很大的趨勢。有一年，斯坦福大學(xué)邀請我去開一個關(guān)于智能計(jì)算系統(tǒng)基礎(chǔ)軟硬件的短期課程，我在網(wǎng)上查了一下才發(fā)現(xiàn)，斯坦福也沒有這樣的課程，所以它才會找我去（講課）。然后國內(nèi)也沒有這樣的課程。雷鋒網(wǎng)

我當(dāng)時就在想，我們是不是應(yīng)該做點(diǎn)什么事？所以，2019年，我們就在中國科學(xué)院大學(xué)開設(shè)了國內(nèi)第一門《智能計(jì)算系統(tǒng)》課程，希望培養(yǎng)一批對人工智能的基礎(chǔ)軟硬件有融會貫通的理解的人才。

AI科技評論：目前課程還在開設(shè)嗎？有取得成效嗎？

陳云霽：這門課程現(xiàn)在還在進(jìn)行中，近年來還是取得了比較好的成效?，F(xiàn)在全國已經(jīng)有 80 所高校都開設(shè)了這門課。我們把教材寫好了，教案寫好了，PPT也寫好了，MOOC也做好了，而且全部放到了網(wǎng)上。我們還搭了一個大的云平臺，供大家做實(shí)驗(yàn)。雷峰網(wǎng)

從數(shù)據(jù)觀察，我們現(xiàn)在已經(jīng)培養(yǎng)了大約1.3萬名學(xué)生。這門課程已經(jīng)被國科大、中科大、北大、清華、北航、復(fù)旦、上交等學(xué)校列入了他們的本科生或研究生培養(yǎng)計(jì)劃里。我們還舉辦了多次導(dǎo)教班/助教班，培養(yǎng)了180余所學(xué)校約1200位老師和約200位助教。雷鋒網(wǎng)

AI科技評論：在人才培養(yǎng)上，您的建議與看法是什么？我們還需要加大哪些方面的投入？

陳云霽：還是要理論與實(shí)踐相結(jié)合。不能光教理論，一定要讓學(xué)生動手做實(shí)驗(yàn)。我們程序員行業(yè)里面有一句著名的話：Talk is cheap. Show me the code.（話語是廉價的，給我看你的代碼。）如果你沒有真正動手去寫代碼，你就不能理解一個真正的智能計(jì)算系統(tǒng)如何運(yùn)轉(zhuǎn)。雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。