陳怡然最新訪談：通用、可解釋的AI計算硬件設計將是EDA的下一項革命性技術(shù)

本文作者：我在思考中

2022-05-26 10:21

導語：計算新架構(gòu)、AI計算能效、NSF AI邊緣計算中心、電子設計自動化和ACM設計自動化分會、以及未來技術(shù)趨勢。

陳怡然最新訪談：通用、可解釋的AI計算硬件設計將是EDA的下一項革命性技術(shù)

作者｜李梅

編輯｜陳彩嫻

陳怡然，杜克大學電子與計算機工程系教授，美國國家科學基金委（NSF）下一代移動網(wǎng)絡與邊緣計算研究院（Athena）主任，NSF 新型與可持續(xù)計算（ASIC）校企合作研究中心（IUCRC）主任，杜克大學計算進化智能研究中心（DCEI）聯(lián)合主任。

陳怡然是清華大學電子系1994級本科生，2001年獲得清華大學碩士學位，2005年獲得普渡大學博士學位。他的研究興趣包括新的記憶和存儲系統(tǒng)、機器學習、神經(jīng)形態(tài)計算和移動計算系統(tǒng)。他曾發(fā)表500多篇論文，出版1部專著，并在各種會議上獲得幾次最佳論文獎。他獲得的榮譽包括 IEEE 計算機學會 Edward J. McCluskey技術(shù)成就獎、ACM SIGDA服務獎等，并因其對非易失性內(nèi)存技術(shù)的貢獻而被提名為ACM Fellow。他還是美國計算機學會設計自動化特別興趣小組（SIGDA）主席。

近日，陳怡然教授接受了ACM的采訪，分享了他對于計算新架構(gòu)、AI計算能效、NSF AI邊緣計算中心、電子設計自動化和ACM設計自動化分會、以及未來技術(shù)趨勢的看法。

AI科技評論對采訪原文做了不改變原意的編譯。

ACM：自從您進入記憶和存儲系統(tǒng)領域以來，該領域的發(fā)展最讓您驚訝的一點是什么?

陳怡然：我認為，在過去的15-20年里，記憶和存儲系統(tǒng)領域發(fā)生的最令人興奮的事情，是計算和存儲之間的界限變得模糊。

現(xiàn)代計算范式的新近革命始于處理大數(shù)據(jù)的需要，這引發(fā)了對大容量存儲設備的日益增長的需求。計算單元和存儲設備之間的有限帶寬所帶來的瓶頸很快就出現(xiàn)了（通常被稱為「馮·諾伊曼瓶頸」）。使內(nèi)存和存儲系統(tǒng)更「智能」已經(jīng)成為緩解系統(tǒng)對內(nèi)存帶寬的依賴和加快數(shù)據(jù)處理的流行解決方案，比如近內(nèi)存計算和內(nèi)存計算。

這是一個很好的例子，說明了目標應用程序的轉(zhuǎn)變（即從科學計算到以數(shù)據(jù)為中心的計算）如何改變了計算機架構(gòu)的設計理念。這種理念的改變激發(fā)了各種新的計算產(chǎn)品，如智能固態(tài)硬盤(SSD)、動態(tài)隨機訪問內(nèi)存(DRAM)和數(shù)據(jù)處理單元(DPU)，以及許多新興的內(nèi)存技術(shù)，如3D Xpoint內(nèi)存(Intel和Micron)。

它也導致了一些新的非馮·諾伊曼架構(gòu)的出現(xiàn)，比如基于交叉桿的點積引擎，它通過直接將計算映射到計算硬件的拓撲結(jié)構(gòu)來執(zhí)行向量矩陣乘法。

ACM：您最近被引用最多的一篇論文是“Learning Structured Sparsity in Deep Neural Networks”，它闡述了提高深度神經(jīng)網(wǎng)絡效率的重要性。為什么提高深度神經(jīng)網(wǎng)絡的效率很重要？在這一領域有哪些有前景的研究方向?

論文地址：https://dl.acm.org/doi/pdf/10.5555/3157096.3157329

陳怡然：眾所周知，現(xiàn)代深度神經(jīng)網(wǎng)絡（DNNs）的高（推理）精度伴隨著較高的計算成本，這是神經(jīng)網(wǎng)絡的深度和寬度的增加所導致的。然而，我們也知道，神經(jīng)網(wǎng)絡的連接權(quán)值對神經(jīng)網(wǎng)絡的精度并沒有同等的影響。當連接權(quán)值接近于零時，連接很可能就可以被修剪（即權(quán)值設置為零），而不會以任何方式對神經(jīng)網(wǎng)絡的準確性產(chǎn)生顯著的影響。我們在NeurIPS 2016上發(fā)表的這篇論文表明，學習非零權(quán)結(jié)構(gòu)化存儲在內(nèi)存中的稀疏神經(jīng)網(wǎng)絡可以保持良好的數(shù)據(jù)局部性，降低緩存失誤率。因此，神經(jīng)網(wǎng)絡的計算效率大大提高。所提出的技術(shù)，即結(jié)構(gòu)化稀疏學習（通常稱為結(jié)構(gòu)化剪接）及其變體已被廣泛應用于現(xiàn)代高效DNN模型設計，并得到許多人工智能(AI)計算芯片的支持，如英特爾Nervana和NVIDIA安培。

提高DNN的效率至關(guān)重要，因為它在很大程度上阻礙了大型DNN模型的擴展，也阻礙了大型模型在計算、存儲資源和電力預算有限的系統(tǒng)上的部署，例如Edge和物聯(lián)網(wǎng)設備。該領域的最新研究趨勢是算法和硬件層面創(chuàng)新的結(jié)合，例如，基于新興納米設備設計人工智能加速器，用于加速新的或未開發(fā)的人工智能模型，如貝葉斯模型、類量子模型、神經(jīng)符號模型等。

ACM：最近有消息宣布，您將指導美國國家科學基金委的下一代網(wǎng)絡與邊緣計算人工智能研究院的雅典娜項目（Athena）。Athena項目歷時5年，耗資2000萬美元，包括杜克大學、麻省理工學院、普林斯頓大學、耶魯大學、密歇根大學、威斯康辛大學和北卡羅來納農(nóng)業(yè)技術(shù)州立大學在內(nèi)的幾家機構(gòu)將參與其中。Athena項目的目標是什么?

陳怡然：我們對Athena項目的成立感到非常興奮，它是由美國國家科學基金委和美國國土安全部贊助的邊緣計算人工智能旗艦研究所。Athena的目標是通過提供前所未有的性能和支持以前不可能實現(xiàn)的服務，同時通過先進的人工智能技術(shù)控制復雜性和成本，從而改變未來移動網(wǎng)絡系統(tǒng)的設計、運營和服務。

Athena的研究活動分為四個核心領域：邊緣計算系統(tǒng)、計算機系統(tǒng)、網(wǎng)絡系統(tǒng)以及服務和應用。我們開發(fā)的人工智能技術(shù)也將為未來移動網(wǎng)絡的功能、異構(gòu)性、可擴展性和可信賴性提供理論和技術(shù)基礎。

Athena作為社區(qū)的連接點，將促進新興技術(shù)的生態(tài)系統(tǒng)，培養(yǎng)多樣化的具有道德和公平價值觀的新一代技術(shù)領袖。我們預計，Athena的成功將重塑移動網(wǎng)絡行業(yè)的未來，創(chuàng)造新的商業(yè)模式和創(chuàng)業(yè)機會，并改變未來的移動網(wǎng)絡研究和工業(yè)應用。

ACM：設計自動化領域最令人興奮的趨勢是什么？作為美國計算機學會設計自動化特別興趣小組（SIGDA）的主席，您認為該組織在這個領域扮演著什么樣的角色？

陳怡然：在過去十年中，設計自動化最令人興奮的趨勢是在電子設計自動化（EDA）工具中廣泛采用機器學習技術(shù)。由于芯片設計質(zhì)量在很大程度上取決于芯片設計師的經(jīng)驗，因此開發(fā)智能的EDA工具是很自然的思路，它可以直接學習如何從先前已有的設計中延承半導體芯片的設計方法，而無需再經(jīng)歷一遍傳統(tǒng)的笨重模型。各種機器學習模型已嵌入到最新的EDA流程中，以加速計算的試驗路由和布局、功率估計、時序分析、參數(shù)調(diào)整、信號完整性等。機器學習算法也已經(jīng)在芯片的硬件模塊中實現(xiàn)，以監(jiān)測和預測芯片的運行時功耗。例如我們的APOLLO框架（獲得MICRO 2021 最佳論文獎）。

論文地址：https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

作為最大的EDA專業(yè)協(xié)會之一，SIGDA致力于提升全球EDA專業(yè)人士和學生的技能和知識。SIGDA每年贊助和組織30多個國際和地區(qū)會議，編輯和支持多種期刊和通訊，并主辦十幾場教育和技術(shù)活動，包括研討會、教程、網(wǎng)絡研討會、競賽、研究論壇和大學演示。通過與我們的行業(yè)伙伴合作，SIGDA還為年輕學生、教師和專業(yè)人士提供旅行津貼，以支持他們參加會議。我們也頒發(fā)一些獎項給社區(qū)中的杰出研究人員和志愿者。

ACM：在未來幾年里，您所在領域的研究途徑會特別具有影響力的一個例子是什么？

陳怡然：我相信，一個通用的和可解釋的AI計算硬件設計流程，將是EDA和計算系統(tǒng)研究的下一個革命性技術(shù)。

在過去的十年中，人們提出各種硬件設計來加速人工智能模型的計算。然而，設計者總是在設計的通用性和效率之間掙扎，因為為了適應不斷變化的模型的獨特結(jié)構(gòu)，需要進行許多硬件定制。另一方面，可解釋性一直是確保AI模型的魯棒性和推廣模型設計的一個長期挑戰(zhàn)。

未來的AI計算硬件設計可能由各種可解釋的硬件模塊組成，這些模塊對應它們各自的算法。AI計算硬件的性能由一個通用的設計流程來保證。一種可能的解決方案是使用神經(jīng)符號化方法構(gòu)建一個可組合的AI模型，并實現(xiàn)與符號化算法模塊相對應的硬件模塊。然后，可以使用擴展的AutoML流自動化目標AI計算硬件的設計，從而在保證通用性和可解釋性的情況下實現(xiàn)所需的性能。

參考鏈接：

https://www.acm.org/articles/people-of-acm/2022/yiran-chen