0
| 本文作者： 楊曉凡 | 2018-06-08 09:49 |
雷鋒網(wǎng) AI 科技評論按：近日，ISCA 2018，同時也是第 45 屆 ISCA，于當?shù)貢r間 6 月 2 日至 6 日在美國加州洛杉磯市召開。
ISCA（International Symposium on Computer Architecture）是計算機體系結(jié)構(gòu)領(lǐng)域的頂級學術(shù)會議，由 ACM SIGARCH（計算機系統(tǒng)結(jié)構(gòu)特殊興趣組） 和 IEEE TCCA（計算機架構(gòu)技術(shù)委員會）聯(lián)合舉辦。在計算機領(lǐng)域的各種應(yīng)用和人才遍地開花、大數(shù)據(jù)與深度學習引發(fā)新的發(fā)展浪潮的當代，ISCA 的會議規(guī)模也有所擴大 —— 接近歷史紀錄的超過 785 名參會者，以及比去年增加了 17%、達到了共 378 篇的論文投稿；最終接收論文數(shù)目為 64 篇，接收率為 17%。據(jù)了解，從 1973 年創(chuàng)辦到 2008 年在北京召開的這 35 屆 ISCA 大會中，中國大陸科研機構(gòu)一共只發(fā)表過 5 篇文章。這些數(shù)字都體現(xiàn)了計算機架構(gòu)領(lǐng)域的深度、ISCA 會議的難度與聲譽。（相比之下機器學習領(lǐng)域相關(guān)會議近年來出現(xiàn)的海量投稿數(shù)可以看做體現(xiàn)了大家都認為「這有什么難，我也可以發(fā)論文」）
除了例行的大會報告、圓桌討論、論文 session、workshop、tutorial、洛杉磯市內(nèi)觀光大巴游覽之外，會議還有一大亮點是邀請了今年 3 月剛剛頒布的圖靈獎獲得者 John L. Hennessy 和 David A. Patterson 到場演講。實際上，二人獲得有「計算機領(lǐng)域的諾貝爾獎」之稱的圖靈獎，正是因為二人「開創(chuàng)了一種系統(tǒng)的、定量的方法來設(shè)計和評價計算機體系結(jié)構(gòu)，并對 RISC 微處理器行業(yè)產(chǎn)生了持久的影響」（ACM 頒獎詞），這正是 ISCA 會議關(guān)注的核心課題之一。獲獎后在 ISCA 進行主題演講，二人想必也收到了最熱烈的掌聲和最高的敬意。
第一天早上的開幕演講中組委會首先介紹了會議概況。如前文所說，今年 ISCA 共有超過 785 名參會者，大約 710 名參與了會議正會。這一數(shù)字有可能會創(chuàng)下 ISCA 這 45 年來的新的歷史紀錄。會議設(shè)置了 18 個論文報告 session，主題包括云和數(shù)據(jù)中心、新興 app 的加速、預(yù)讀取（prefetching）、語言和模型、虛擬內(nèi)存、相關(guān)性與存儲排序、新興范式、持續(xù)性（persistence）、新興內(nèi)存、存儲器、控制器和控制系統(tǒng)、移動平臺、安全、互聯(lián)網(wǎng)絡(luò)、GPU，以及近年來火熱的機器學習系統(tǒng)。
除了 John Hennessy 與 David Patterson 的圖靈獎獲獎演講外，還有三位特邀嘉賓 Kim Hazelwood、Kunle Olukotun、Doug Burger 的主題演講以及 ACM - IEEE CS Eckert-Mauchly 獎獲得者 Susan Eggers 的演講。
ISCA 2018 的論文投稿為 378 篇，比去年增加了 17%；接收論文數(shù)目為 64 篇，接收率為 17%。接收結(jié)果出自程序委員會對論文進行的兩個階段的詳細評審。投稿論文中數(shù)量最多的研究課題為加速及領(lǐng)域?qū)Ｓ眉軜?gòu)，前十熱門的課題還有內(nèi)存系統(tǒng)、多核和并行架構(gòu)、微架構(gòu)、低功耗架構(gòu)與技術(shù)、新興內(nèi)存技術(shù)、層級化緩存、新興計算架構(gòu)、云與數(shù)據(jù)中心規(guī)模的計算、計算機系統(tǒng)的評價。
組委會也設(shè)法統(tǒng)計了會議中的性別平衡情況：在提交論文時作者們可以自愿提供性別信息，參與了信息提交的論文約占 37%；這部分論文的統(tǒng)計結(jié)果是，約 15% 的論文投稿中至少有 1 位女性作者，同時 15% 的接收論文的第一作者為女性！組委會也期待這個領(lǐng)域的性別比例未來可以繼續(xù)改善。
首位演講的特邀嘉賓是來自 Facebook 的 Kim Hazelwood。Kim 是 Facebook 人工智能基礎(chǔ)設(shè)施團隊（Facebook AI Infrastructure Foundation）的負責人，這個團隊的職責是為 Facebook 的的生產(chǎn)化和移動化機器學習應(yīng)用設(shè)計高效的、可拓展的軟硬件平臺，而她自己的研究興趣包括負載描述、性能分析、計算機系統(tǒng)架構(gòu)以及可拓展的數(shù)據(jù)中心系統(tǒng)。
Kim Hazelwood 的演講主題為「Applied Machine Learning at Facebook Scale: Separating Opportunity from Hype」（Facebook 規(guī)模的機器學習應(yīng)用：從熱潮中看到機會），介紹了在熱炒的機器學習概念背后，F(xiàn)acebook 為了真正地應(yīng)用機器學習技術(shù)做出的努力和相關(guān)的發(fā)現(xiàn)；這里也是機器學習和計算機架構(gòu)設(shè)計的交叉點。演講中有一些對機器學習領(lǐng)域的研究人員以及應(yīng)用開發(fā)人員很有啟發(fā)的信息：
用一定的數(shù)據(jù)訓練一個模型需要多少計算量、多少時間大家基本都心里有數(shù)，那么推理階段的計算量需求如何呢？實際上 Facebook 的機器學習模型每天要做超過兩千億次推理，其中包括五十億次語言翻譯，以及數(shù)百萬次的由自動檢測系統(tǒng)主動地刪除假冒賬戶。
在研究機器學習理論本身的人看來，工作流程分為「數(shù)據(jù)-特征-訓練-評價-推理」五部分是自然而然的事情。而根據(jù)機器學習算法應(yīng)用時的系統(tǒng)需求來看，計算機架構(gòu)研究人員眼中的機器學習對數(shù)據(jù)的存儲、網(wǎng)絡(luò)連接、計算能力都提出了新的挑戰(zhàn)。
大規(guī)模應(yīng)用機器學習系統(tǒng)時的系統(tǒng)瓶頸在哪里？我們現(xiàn)在對計算和存儲都有許多的并行化手段，所以根據(jù)阿姆達爾定律，最大的瓶頸已經(jīng)變成了（難以并行化的）網(wǎng)絡(luò)連接。
從工程角度看，什么樣的研究投入方式是有效的？不是什么熱就投入什么，投入程度應(yīng)當和機會（也就是系統(tǒng)瓶頸）相對應(yīng)。假如網(wǎng)絡(luò)因素對系統(tǒng)瓶頸的貢獻為 75%，那么就不應(yīng)當在已經(jīng)熱門的計算領(lǐng)域投入 75%，而就應(yīng)該在網(wǎng)絡(luò)因素方面投入 75%。
所以 Kim 也提出了自己的「機會方程」：正確的投入方式需要有一些不平衡；要小心別人一窩蜂擠進去的領(lǐng)域。已經(jīng)擁入很多研究者的領(lǐng)域包括量化、做硬件的推理加速器初創(chuàng)公司、不必要的深度學習方法。而計算、網(wǎng)絡(luò)與存儲之間的平衡，工具、編譯器、軟件，端到端解決方案等課題就是不那么火熱的、更適合的投入方向。
目前全世界已經(jīng)有超過 10 億部手機上運行著神經(jīng)網(wǎng)絡(luò)應(yīng)用。在移動設(shè)備上本地運行的機器學習算法在隱私性、本地響應(yīng)性和用戶體驗上都有更好的表現(xiàn)，但移動設(shè)備的一大挑戰(zhàn)就是計算能力非常有限，使用 ARM 處理器的設(shè)備中 60% 還是基于老舊的 32 位 arm-v7 指令集，同時超過半數(shù)的設(shè)備只有不多于 4 個核心。這樣的結(jié)果就是，峰值計算性能高于 200 GFlops 的設(shè)備只有不到 20%，高于 600 GFlops 的簡直鳳毛麟角。
網(wǎng)絡(luò)連接狀況也不容樂觀，4G 網(wǎng)絡(luò)的覆蓋區(qū)域非常有限，更別提還有很多連 2G 都沒有的區(qū)域了。（雷鋒網(wǎng) AI 科技評論注：中國區(qū)域是黑色應(yīng)該只是因為 Facebook 沒有詳細的數(shù)據(jù)。實際上根據(jù)中國信息通信研究院發(fā)布的數(shù)據(jù)，截至 2017 年 6 月，我國 4G 基站已累計建成約 300 萬個，而全世界的 4G 基站總數(shù)也就只有約 500 萬個）
而如果想要開發(fā)在移動設(shè)備上運行的機器學習模型，嚴重的生態(tài)碎片化也帶來了許多麻煩：超過 20 家芯片制造商、超過 25 種處理器微架構(gòu)、超過 15 種 GPU 架構(gòu)、兩種主流操作系統(tǒng)、三種主流圖形 API、兩種主流計算 API。
除了移動計算的挑戰(zhàn)之外，大規(guī)?？赏卣箼C器學習應(yīng)用也需要面對晝夜負載不平衡、硬件設(shè)施采購慣性、容災(zāi)與恢復、軟件平臺設(shè)計等挑戰(zhàn)。在演講最后，Kim 希望大家不要忘記了各項技術(shù)發(fā)展的基本規(guī)律，并以此著眼解決那些真正重大的問題。
Alphabet 公司董事長、斯坦福大學前校長 John Hennessy 與谷歌 TPU 團隊、UC 伯克利大學退休教授David Patterson 的圖靈獎獲獎演講自然也是會議的重頭戲之一。他們的演講題目是「A New Golden Age for Computer Architecture: Domain-Specific Hardware/Software Co-Design, Enhanced Security, Open Instruction Sets, and Agile Chip Development」（計算機架構(gòu)的新的黃金時代：領(lǐng)域?qū)Ｓ玫能浻布f(xié)同設(shè)計，增強的安全性，開放指令集，以及敏捷芯片開發(fā)）。
演講內(nèi)容要點如下：
自 1980 年代 Carver Mead 和 Lynn Conway 讓芯片設(shè)計變得平民化，以及高級編程語言取代了機器語言之后，RISC、超標量、多級緩存、預(yù)測與編譯等方面的計算機架構(gòu)創(chuàng)新開啟了電子計算機發(fā)展的一個黃金時代，計算機的性能幾乎每年都可以增長 60%。稍后到了 1990 和 2000 年代，計算架構(gòu)方面的創(chuàng)新雖然開始放緩，但不斷增加的處理器頻率和不斷增大的處理器緩存依然引領(lǐng)了計算性能的持續(xù)提高。直到近年來 Dennard 縮放定律和摩爾定律也開始失效，2017 年時單核心處理的性能僅僅比上一年提升了 3%。除了處理器性能提升遇到困難之外，Spectre 之類的漏洞也展示出了基于運行時間的攻擊導致信息泄露的風險。
上一個黃金時代已經(jīng)結(jié)束，但 John Hennessy 與 David Patterson 認為一個新的黃金時代即將開始。這個黃金時代的主題是大幅改善的成本、性能、能源消耗以及安全性。面對著已經(jīng)失效的 Dennard 縮放定律和摩爾定律無法繼續(xù)提供指數(shù)增加的資源，這些計算架構(gòu)方面的挑戰(zhàn)要比以前的挑戰(zhàn)更難解決。二人認為，以下的幾個領(lǐng)域?qū)@個新的時代至關(guān)重要：
為高級別、領(lǐng)域?qū)Ｓ谜Z言服務(wù)的軟硬件協(xié)同設(shè)計
Python 之類的高級編程語言以及 TensorFlow 之類的領(lǐng)域?qū)Ｓ镁幊陶Z言通過提升軟件復用和抽象級別，大幅提升了程序開發(fā)人員的生產(chǎn)力。曾經(jīng) 1980 年代時 C 編譯器和 RISC 架構(gòu)的編譯器-微架構(gòu)協(xié)同設(shè)計帶來了三倍的性能提升，新的黃金時代里的新的技術(shù)進展將有可能帶來新的編譯器和新的領(lǐng)域?qū)Ｓ糜嬎慵軜?gòu)，十倍甚至更多的性能提升都不是夢想。
增強的安全性
過去的 40 年里信息技術(shù)的發(fā)展日新月異，但信息安全的戰(zhàn)役中我們正節(jié)節(jié)敗退。直到現(xiàn)在，人們對于計算架構(gòu)安全性的要求也僅限于分頁級別的保護以及支持虛擬機的運行。正是計算機架構(gòu)定義本身對于運行時間的忽略導致了 Specture 這樣的攻擊方法出現(xiàn)，根據(jù)運算時間的長短就可以泄露本來應(yīng)當被保護的數(shù)據(jù)。架構(gòu)設(shè)計師們是時候重新定義計算機架構(gòu)了，安全應(yīng)當成為第一要務(wù)，保護數(shù)據(jù)不在運行時間攻擊中泄露，或者起碼也要大幅減小這種風險。
免費、開放的計算架構(gòu)以及開源的實現(xiàn)
為了改善上面提到的問題，指令集架構(gòu)（ISA）很有可能需要作出改變，而這對于專有 ISA 來說很難做到。為了有能力應(yīng)對這些艱巨的挑戰(zhàn)，John Hennessy 與 David Patterson 希望有更多聰慧的大腦可以參與進來，而不僅僅是為現(xiàn)有的 ISA 持有者打工的工程師們。那么，RISC-V 這樣的免費、開放的 ISA 就可以成為一份送給研究人員們的大禮，因為：
許多不同組織的人都可以同時為 RISC-V 做出貢獻
它的設(shè)計中注重模塊化和拓展性
它帶有完善的軟件堆棧，包括編譯器、操作系統(tǒng)和 debugger，它們都是開源的，從而也就是可以定制化修改的
作為現(xiàn)代 ISA，它可以勝任云級別的服務(wù)器到移動和 IoT 設(shè)備的各種應(yīng)用
RISC-V 由一個有 100 位成員的基金會推動，這保證了它的長期穩(wěn)定性以及長期演進
以前不一樣的是，開放的 ISA 如今是可行的，因為許許多多的工程師現(xiàn)在就正在通過知識產(chǎn)權(quán)集成的方式為各種不同的產(chǎn)品設(shè)計片上系統(tǒng)（SoC），同時 ARM 也已經(jīng)表明了知識產(chǎn)權(quán)授權(quán)對于 ISA 是可行的。
另一方面，開放的計算架構(gòu)也為 FPGA 和真實芯片兩者都帶來了開源處理器設(shè)計的可能性，未來的架構(gòu)設(shè)計師只需修改現(xiàn)有的 RISC-V 設(shè)計以及對應(yīng)的軟件堆棧即可。即便 FPGA 實現(xiàn)的處理器的運行速度可能只有 100MHz，這也已經(jīng)足夠運行千百億條指令、或者部署在網(wǎng)絡(luò)上面對真實攻擊測試防御能力。借助 FPGA 的可塑性，RISC-V 生態(tài)系統(tǒng)可以讓新功能實驗性探索的部署、評估、迭代升級流程從以往的若干年縮短到若干天。實現(xiàn)這種暢想所需的知識產(chǎn)權(quán)也將不僅限于 CPU，GPU、神經(jīng)網(wǎng)絡(luò)加速器、內(nèi)存控制器、PCIe 控制器等都需要。隨著摩爾定律的終結(jié)，工藝過程穩(wěn)定性的提升也使得這個目標比以前更容易達成。這種需求也會讓硬件架構(gòu)設(shè)計師們未來能夠產(chǎn)生大規(guī)模的影響，就像軟件工程師們可以參與數(shù)據(jù)庫系統(tǒng)、操作系統(tǒng)之類的開源項目開發(fā)一樣。
芯片的敏捷開發(fā)
隨著計算架構(gòu)創(chuàng)新的重點從通用計算 CPU 轉(zhuǎn)向領(lǐng)域?qū)Ｓ靡约爱愘|(zhì)計算處理器，芯片的設(shè)計時間及成本方面也需要有大的突破（就像 1980 年代 VLSI 帶來突破那樣）。小規(guī)模的團隊也應(yīng)當可以有能力為某個特別的領(lǐng)域或者應(yīng)用設(shè)計專用的芯片。這需要硬件設(shè)計流程變得更高效，更像現(xiàn)代軟件設(shè)計。
與大芯片公司采用的從頂向下/單向的 waterfall 開發(fā)流程不同，敏捷開發(fā)流程讓小團隊也可以設(shè)計并迭代升級能夠工作、但并不完整的芯片原型設(shè)計。巧合的是，提升了軟件復用性的程序語言改進如今也已經(jīng)集成在了最新的硬件設(shè)計語言中，這讓硬件設(shè)計和復用變得更為簡單。論文中紙面上的芯片布局當然不壞，但構(gòu)建出真實的芯片才是讓團隊中每個成員都能感到激動的事情，而且這也是驗證運行時間、能耗等重要特性的唯一方法。有一則好消息是，臺積電用最新工藝制作 100 個小型測試芯片的價格已經(jīng)下降到了只需 3 萬美元，那么，可以說是幾乎所有項目團隊都可以負擔得起在真實芯片上做最終的驗證步驟，同時也可以享受到自己的想法成功工作在硅片上的幸福感。
John Hennessy 與 David Patterson 兩人相信，標準的微處理越來越難以提升的性能、高級別領(lǐng)域?qū)Ｓ玫恼Z言與安全性方面的機會、專有 ISA 鏈上的架構(gòu)設(shè)計師的解放、以及 Dennard 縮放定律和摩爾定律的失效將共同帶來一個計算架構(gòu)的新的黃金時代。開源生態(tài)系統(tǒng)、芯片原型的敏捷開發(fā)都會帶來實實在在的進步，從而加速商業(yè)應(yīng)用。兩人期待新的黃金時代的技術(shù)進步會像上一個時代一樣地快，只不過如今的關(guān)注點是在于成本、能耗、安全，同時兼顧性能。
在 ISCA 2018 的頒獎環(huán)節(jié)，除了多位新入選 IEEE Fellow、ACM Fellow 的頒獎，以及多個 ACM SIGARCH、IEEE TCCA 獎項外，還有一個重頭戲，那就是 Eckert-Mauchly 獎的頒獎。
ACM - IEEE CS Eckert-Mauchly 獎是計算機體系結(jié)構(gòu)領(lǐng)域最負盛名的獎項，獲獎?wù)哂?ACM 和 IEEE 共同評選，獎項命名來源于 1947 年誕生的首臺電子計算機 ENIAC 的設(shè)計者和制造者 John Presper Eckert 與 John William Mauchly（可見獎項的重大意義），旨在獎勵在計算機及數(shù)字化系統(tǒng)架構(gòu)方面做出杰出貢獻的研究者。
2018 年 ACM - IEEE CS Eckert-Mauchly 獎的獲得者是華盛頓大學計算機科學與工程學院教授 Susan Eggers，以表彰她在同步多線程處理器架構(gòu)和多處理器緩存共享與一致性方面的杰出貢獻。Susan Eggers 是領(lǐng)域內(nèi)頂尖的計算機架構(gòu)設(shè)計師，是 Eckert-Mauchly 獎設(shè)立 39 年來的第一位女性獲得者，還是一位經(jīng)歷非常獨特的工程師。Susan Eggers 于 1965 年獲得了經(jīng)濟學碩士學位，在相關(guān)領(lǐng)域工作了 18 年后，決定改變職業(yè)，轉(zhuǎn)向了計算機工程方面的研究。1983 年，Susan Eggers 進入 UC 伯克利大學電子工程和計算機科學系讀研究生，于 1989 年獲得博士學位，然后來到華盛頓大學以助理教授的身份開始她的學術(shù)生涯；此時的她已經(jīng) 47 歲。
從 1980 年代末起，Susan Eggers 在共享緩存的一致性（coherency）協(xié)議以及其他內(nèi)存相關(guān)的多處理器問題中做出了重大成果；她展開了最早的數(shù)據(jù)驅(qū)動方法的關(guān)于共享內(nèi)存的多處理器計算機的實驗，這極大地提升了整個領(lǐng)域?qū)τ谲浖陀布恢滦约夹g(shù)的理解。她也因此在 2002 年當選 ACM Fellow。
Susan Eggers 最著名的成果是在同步多線程（simultaneous multithreaded，SMT）處理器的開發(fā)以及商業(yè)化方面的開創(chuàng)性工作；這是過去三十年的計算機架構(gòu)發(fā)展歷程中最重要的進步之一。面對簡單增加邏輯和存儲單元無法繼續(xù)顯著提升處理器性能的狀況，Susan Eggers 等研究者提出，讓計算機有能力同時計算多項操作、執(zhí)行多個進程，也就是提升計算機的并行計算能力，是最好的提升性能方式。在 1995 到 2003 年間，Susan Eggers 和她的同事們開發(fā)并驗證了同步多線程技術(shù)，作為提升 CPU 性能的新方式。同步多線程技術(shù)允許多個獨立的程序指令序列（也就是線程）把它們的線程并行方式轉(zhuǎn)化為更簡單的指令級別的并行方式，從而更好地利用了計算機中的資源，達到了性能提升。Susan Eggers 和她的同事們在 ISCA 發(fā)表了多篇標志性的論文并介紹了許多領(lǐng)先發(fā)現(xiàn)，展現(xiàn)了同步多線程技術(shù)背后的思想、顯著的性能提升以及實現(xiàn)這項技術(shù)的簡易性。
雷鋒網(wǎng) AI 科技評論對 ISCA 2018 的介紹就到這里。更多人工智能、計算機、機器學習學術(shù)動向，請繼續(xù)關(guān)注我們。
ISCA 2018 官網(wǎng)：iscaconf.org
圖靈獎演講視頻回放：https://www.acm.org/hennessy-patterson-turing-lecture
現(xiàn)場照片來源 IEEE Soft-magazine 及 清華大學博士生涂鋒斌，特此感謝。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
