0
| 本文作者： 我在思考中 | 2021-12-24 09:39 | 專題：CNCC2021 計算賦能加速數字化轉型 |
整理 ｜ 琰琰
編輯 ｜ 青暮
12月16日，第十八屆中國計算機大會(CNCC2021)在深圳隆重開幕。今年大會主題是“計算賦能加速數字化轉型”，設有17個特邀報告、3場大會論壇、113場技術論壇，超過600位國內外計算機領域知名專家、企業(yè)家聚焦不同專業(yè)和話題，從學術、技術、產業(yè)、教育、科普等方面，全方位探討數字經濟與計算技術的前沿發(fā)展趨勢。
開幕當天，CCF會士、CCF常務理事、CCF王選獎獲得者、中國工程院院士、中國科學院計算技術研究所研究員孫凝暉做了題為《從工程科學視角看計算機系統中的一個規(guī)律》的特邀報告。在報告中，孫凝暉從工程科學中的基本方法出發(fā)，分析了計算機系統中“求通用”的基本規(guī)律，介紹電子計算機和高性能計算機成為通用設備的技術發(fā)展過程，最后探討了未來通用計算平臺和高性能計算機的發(fā)展趨勢和可能的重要創(chuàng)新。
在他看來，工程科學的基本規(guī)律牽引著高性能計算機等大工程的發(fā)展。從工程科學概念性、關鍵性、共同性的視角來看，工程系統的建構目標遵循兩大典型規(guī)律，即求極致和求通用。通過計算攝像顯微儀器和手機成像技術兩個案例分析，孫凝暉認為求極致系統的突破點在于抓主要矛盾，再結合新理論和新工程技術來突破關鍵指標。而求通用系統一般是一個松散耦合結構，關鍵在于刻畫描述問題，并將其映射到關鍵工程結構設計中去，再結合技術的時空局限性構建系統。
在歷史性回顧中，孫凝暉從工程科學視角總結了從算盤時代，到機械計算工具，再到通用型電子計算機繁榮發(fā)展的關鍵轉折點和突破原因。結合自身研究工作，孫凝暉回顧了從求極致的超級計算機到求通用的高性能計算機的發(fā)展過程，總結了構造通用高性能計算機的工程科學基本方法。最后，他預測，未來的先進計算系統在概念性、關鍵性、共同性三個方面會呈現出以下特點：（1）在概念上系統熵把無序變?yōu)橛行颍唬?）以數據為中心，具備內構安全特點的高通量計算系統會成為新的關鍵性結構；（3）系統的共同性將從以數據建模為中心的第四范式邁向以建模復雜系統為核心的第五范式。
以下是演講全文，AI科技評論做了不改變原意的整理：
今天的報告主題是從工程科學視角看計算機系統中的規(guī)律，與大家一起來探討指導高性能計算機這樣大工程的科學原理或者規(guī)律是什么？我們一般從計算機理論和數理基礎出發(fā)來思考工程科學的規(guī)律，那么，我今天試圖從工程科學規(guī)律視角來看這樣大的計算機系統。
2017年底，兩院院士鄭哲敏先生發(fā)表了一篇文章《從錢學森的技術科學思想談起》，從這篇文章中，我得到一些啟示。這篇文章談到在科學發(fā)現的早期，科學和技術沒有嚴格的區(qū)分，以牛頓為例，他既是力學三大定律的提出者，也是劍橋大學物質結構研究的科學家。到了19世紀，科學和工程開始分道揚鑣，背后的原因是自然科學本身沒有一個完整的體系，加上很多科學理論對工程的實際貢獻有限，所以，大多工程師只采用純工程的方法來解決問題。后來到了20世紀中期，自然科學和工程技術再次緊密聯系在一起。特別是二戰(zhàn)期間，火箭、雷達、核武器，這些裝備都是大工程，它們不是依靠工程實踐積累和經驗判斷設計出來的，而是需要大量的自然科學作為依據，是科學家和工程師密切合作的產物。所以工程科學、自然科學和工程技術，三者之間的聯系本質上是非常緊密的。
工程技術雖然是對自然界事物的經驗累積和對工藝的改進，但把其中的一些共性經驗和理論提煉出來，就可以形成工程科學理論或者具有普遍意義的規(guī)律；而工程科學對技術科學的成果加以分析和提高就有可能成為自然科學的一部分，比如工程控制論。
鄭哲敏先生在這篇文章指出：“技術科學與工程技術的區(qū)別在于，每項工程涉及各種各樣的具體技術問題，而技術科學是研究其中概念性、關鍵性、共同性的規(guī)律，給出一些工程上解決類似問題的共同方案。就是說，技術科學對工業(yè)技術有著引導的作用，能極大地促進和推動工程技術的發(fā)展。”簡單來看，我們可以把它稱為“三性”，分別是概念性、關鍵性和共同性。
今天我想用這三大類方法來看一下計算機系統中的典型規(guī)律，我稱它們?yōu)榍髽O致的規(guī)律和求通用的規(guī)律。我們做大工程的系統建構主要有兩個大目標，一個叫求極致，在特定維度或者核心技術上突破最高、最大、最快的技術極限，開拓科學研究的新疆界，比如，類似的工程有最快的超級計算機，最重的重型火箭，或者最大口徑的望遠鏡，這類系統通常在學術研究中比較普遍。
另一個叫求通用，這類系統的設計要求約束多，可快速迭代，使用范圍廣，可兼容性強，比如我們的手機攝像頭，汽車工業(yè)，民航客機，高性能計算機，這些都是求通用的典型系統，一般工業(yè)界對類似系統的建構更感興趣。這兩類系統在相互促進和相互轉換的過程中，也存在一些內在規(guī)律。
我舉兩個例子，一個求極致的例子是戴瓊海院士在《自然-光子學（Nature Photonics）》雜志上發(fā)表的一項研究工作，這項研究將光學、微電子、計算機視覺以及信號處理等學科交叉，提出了一種顯微成像新架構，研制了“實時超寬場高分辨率成像顯微鏡”，各項研究指標都達到了極致，比如1厘米x1.2厘米的超寬帶視場，1.2微米的高分辨率，51億像素每秒的數據通量。這一工作為生命科學和醫(yī)學研究提供了一件“利器”。
另外一個求通用的例子是我們非常熟悉的手機成像技術，它不追求每一個單項指標都達到極致，而是用軟硬一體化來補短板，占據除了專業(yè)相機以外的市場。它通過圖像信號處理器（ ISP）彌補硬件在單項指標上的不足，讓成像器件，圖像計算硬件和處理軟件協同進步，并通過快速迭代實現性能提升。
我簡單總結了一下這兩類系統建構的一些基本方法。
求極致的關鍵是抓主要矛盾，再結合關鍵的科學理論和工程技術突破指標上的極致，形成緊耦合結構，最后整合所有技術，定制系統內部需要的部件。
求通用系統在概念性上是一個多問題，需要對多個問題進行刻畫和描述；在結構上通常是松散耦合的，需要對工程結構做最優(yōu)映射；在共同性上要克服短板，解決技術的時空局限性等問題。
接下來，我首先回顧一下計算系統的發(fā)展歷程。從工程科學的規(guī)律的角度，我們把視角拉遠一些，我們觀察到這樣一條曲線，從最早的算盤，發(fā)展到電子計算機，再到現在的高性能計算機，中間出現了三個頂峰，三個山坡。這三個頂峰分別代表機械計算工具、超級計算機和未來Z級計算機。比如我們最早的算盤，爬到了機械計算工具的頂峰，因為有了一些規(guī)律，走到了通用計算機的繁榮。但這些系統在演化的過程中，究竟需要什么樣的規(guī)律？這是我們需要思考的。
我先來介紹第一個曲線，這是一個歷史的回顧，我們如何從算盤發(fā)展到通用的電子計算機。
如果做一個簡單的羅列，人類歷史上第一個人造計算工具誕生于中國公元1200年前，在它出現之前，我們只有數學（算術），沒有Computing（計算）的概念。
第二步，帕斯卡和萊布尼茲發(fā)明了機械式加法器（1642）和乘法自動計算機（1673）。
第三步，1801年，杰卡德發(fā)明了首個可編程織布機——通過穿孔卡對織布機進行編程。
第四步，1837年，巴貝奇設計了差分機與分析機，雖然在工程上沒有徹底實現，但已經可以完成非常復雜的計算，比如通過多項式逼近對數、指數和三角函數。
第五步，1843年，世界上第一位程序員愛達設計了一個算法，用來計算伯努利數列的值。這是第一個利用計算機進行運算的算法程序。
第六步，機械計算工具到了頂峰。二戰(zhàn)期間，圖靈為了破譯密碼設計出“圖靈甜點”解碼機。
至此機械式計算工具達到了工程技術積累的巔峰，直到出現了三位偉大學者，他們的發(fā)明奠定了現代通用計算機工程科學的三大基石，分別是：
在概念性上的圖靈機模型：提出了能夠自動執(zhí)行程序的通用計算裝置的科學原理。
在關鍵性上的馮諾依曼體系結構：為圖靈機的實現提供了一個通用的體系結構——所有計算機分為輸入設備、存儲器、運算器、輸出設備5個部分；采用存儲程序方式，將指令和數據存儲于同一存儲器。
在共同性上的肖克萊晶體管：能夠實現計算機的數學基礎布爾代數的開關器件。
從歷史的發(fā)展中，我們可以看出，如果工程技術僅僅是一個無限的經驗積累，大概會止步于機械計算工具的巔峰，也就是圖靈甜點機。
第二條曲線，從超級計算機到高性能計算機時代。
我們經常會混淆這兩個概念，想一想我們?yōu)槭裁磿l(fā)明兩個名詞來說明一件事，可能就是對于計算工具，我們永遠希望它的計算速度越快越好。在歷史上，高性能計算裝置可以簡單分成三個時代：在 CRAY時代，通過部件的并行向量化來提高性能；在MPP時代，通過大規(guī)模并行和定制化組件，把機器性能做到極致；在機群時代，利用三大規(guī)律把一個高端的裝置變成通用的計算部件。
這些過程是如何發(fā)生的？一個極致的計算裝置如何變成一個通用的計算裝備呢？
從概念性、關鍵性和共同性三個方面來講，我們認為應該有以下三點變化：
在概念性方面，要有一個牽引型的目標，也就是評價標準從求最大極值轉變?yōu)樽畲蠓e分；
在關鍵性方面，機群架構應該是松散耦合結構+標準化的部件；
在共同性方面，性能工程要采用通用結構，并達到極致性能。
我們超級計算機一般以單一的極限指標作為評價指標，任何一臺計算機，先設計一個目標，誰的性能更高，誰的技術就更強。在歷史上有很多這樣的指標，比如LINPACK（1993）、Graph500（2010）、Green500（2013）、HPCG（2014）、HPL-AI（2019）。追求這些單一指標的“極值”顯然不是求通用的一個驅動力。超算追求的是計算能力，也就是求一個點的“極值”，讓所有指標在訪存計算比和飽和性能的二維結構里，一條線達到最高。但真正的通用，是需要反映非常多的計算和訪存特性的，所以光一個點求最高是不夠的。那么，如果要造一個通用的容量計算系統，從線到面，我們就需要一個類似于“積分最大”的系統，高效支撐多種應用。這是第一個變化。
第二個變化體現在關鍵性，也就是機群結構。機群結構需要有三個的基本條件，第一是結構是松散耦合的；第二是每個組件要可標準化。如果部件是定制化的，可能不能適應通用的應用場景；第三是高性能計算的要求，如果采用標準的組件一般不太容易建構出高性能的系統，所以還要有一系列性能可拓展的方法。三者加起來才能做到通用高性能計算機。時間關系，我們簡述一下標準化的幾個關鍵點。第一個是“造”標準化，把機群基礎軟硬件貨架化，包括軟件標準化、硬件標準化、互聯標準化；第二個是“送”標準化，讓用戶可以“容易”獲取算力；第三個是“用”的標準化，通過屏蔽不同層次的細節(jié)實現“用” 的目標。
一般來講，從基礎庫和函數抽象，再到框架/領域編程方法來實現標準化，會帶來所謂的“軟件腫脹”，性能損失非常大，所以我們需要通過性能工程來獲取一個極致的性能，這也就是剛才提到的第三個變化。到目前，通用結構獲取極致性能的調優(yōu)方法經歷了三個階段。早年使用的是單一模型方法，由圖靈獎得主Fra Allen在2006年提出的性能優(yōu)化模型。后來隨著負載特征變得更加復雜，美國工程院院士Jack Dongarra設計出了軟件工程方法。而目前采用的多是智能調優(yōu)技術，以應對更加碎片化的負載特征。
首先講一下通用計算系統，也就是計算系統如何變得“更通用”？我們認為主要是要形成“平臺型計算裝置”。計算機系統存在一個通用趨勢或規(guī)律，我們稱之為“X as a Computer”，就是每隔10年就會出現一類新的計算機系統，包括新的編程平臺、新的網絡連接，新的用戶接口，新的使用方式。它們更廉價，應用范圍更廣泛，形成了新的平臺型通用計算機裝置。
如果我們把過去60年形成的規(guī)律加以總結，大致可以分成三個時代。
首先是IT 1.0 時代，我們把專用計算裝置變成了高性能計算機（Calculator as a Computer，CaaC），服務國家部門實現了信息化；把專用的制表裝置變成了一個通用服務器（Tabulator as a Computer，TaaC），實現了企業(yè)的信息化升級。
其次是 IT 2.0 時代，在這個時代里，人類社會和機器在現實世界有了交互，稱之為Communication時代。我們把專用辦公設備用到PC端實現了辦公信息化（Office as a Computer，OaaC）；把專用通信設備移植到智能手機（Phone as a Computer，PaaC ），實現了消費者的信息化。
我們現在正在一個“人機物”三元融合的萬物智能互聯時代，也可以成為IT 3.0時代。我們將為創(chuàng)造的各種設備，比如人造汽車，人造車床，智能硬件，提供一個“物端通用計算機（Thumb Computer）”。除了人造設備外，我們人體和自然物體也可以信息化（Body as a Computer）。這樣整個世界和物理世界統一同一個龐大的信息網絡空間里。
按照上面的規(guī)律，我們發(fā)現在求通用設備的泛在演化的過程，形成了當前信息社會的五個成功的平臺型計算裝置：（1）用于關鍵部門的高性能計算機；（2）企業(yè)級服務器；（3）員工使用的PC；（4）大眾智能手機；（5）工控/武器裝備使用的嵌入式計算機。未來可能還會出現第六個平臺型計算裝備。
第二，未來高性能計算這一類追求極致性能的系統的發(fā)展有哪些共性方法，是否有章可循？
我們認為關鍵在于Z級計算機如何提高系統能效。當前求通用的高性能計算機撞上了一堵能耗墻，計算能力每增加10倍，能耗曲線就會上移一個臺階，也就是說，算力提升過程產生了巨大的能源消耗。2020年《Science》曾發(fā)表一篇文章，從新結構、新器件、新工藝和應用驅動四個維度總結了幾種創(chuàng)新解決方案。
比如在工藝創(chuàng)新上，從現在的集成電路發(fā)展到集成芯片，利用Chiplet等技術突破單芯片晶體管數量的上限。
在器件創(chuàng)新上，通過超導電子器件把高頻率運行系統的能耗降到最低。比如基于超導約瑟夫森結實現的布爾邏輯計算系統，運行頻率可以達到100GHZ，具有極高的能效。
在模型創(chuàng)新上，通過自然計算將對應問題解演化為最低能量態(tài)。這里所說的自然計算，是利用相似性原理模仿自然規(guī)律，或利用物理材料，構建自適應、自演化的動力系統，近似求解傳統計算方法難于解決的高階復雜問題。
在結構創(chuàng)新上，到底最少有幾個XPU？回歸到計算機科學的三個基本問題，思考巴貝奇自動計算問題、布什廣義關聯問題和圖靈測試問題，也許我們有三種基礎的xPU，比如SPU、DPU、NPU，通過三者組合能夠覆蓋所有應用場景的計算需求。其中，SPU結構可以解決計算訪存特征的差異性；DPU結構解決數據通路的全局有序控制問題；NPU能夠對機器學習負載運算加以抽象化，以及數據帶寬自適應的神經元。
借用1991年 Bruce G. Buchanan發(fā)表的一篇報告，報告中提出任何一個計算系統都可以通過兩個維度，劃分成四個象限（橫坐標代表確定性和啟發(fā)式算法，縱坐標表示符號計算和數值計算），那么每個求通用系統、求極致系統都是其中的一個圓圈。如果我們把剛才提到的計算系統發(fā)展的3個時代、7個通用系統以及面向不同應用場景的求極致系統匯集在一張表格里，我們就可以從中發(fā)現每個系統的一個定位。
最后，如果未來求極致的計算機系統實現了，下一個更加繁榮的通用系統會是什么？這個問題現在來看可能還太遙遠，但我們不妨做一個大膽的猜想，從工程科學的三個基本方法來看，我認為首先在概念上，“系統熵”會讓系統從無序變到有序，這是現在AIoT發(fā)展帶來的一種顯著需求。在關鍵性方面，未來的系統結構應該以數據為中心，實現數據處理的內構安全，我們用“高通量”來代表這類技術。最后在共同性上，我們要解決復雜系統的建模問題，并從過去以數據建模為核心的第四范式，轉向以建模復雜系統為核心的第五范式。
這就是我今天報告的全部內容，謝謝大家。
2021-12-10
2021-12-09
2021-12-12
2021-12-12
雷峰網雷峰網(公眾號：雷峰網)
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
專題
