0
| 本文作者： 宗仁 | 2016-10-24 21:19 | 專題：2016中國計(jì)算機(jī)大會(huì)(CNCC 2016) |
雷鋒網(wǎng)按：本文根據(jù)包云崗教授近日在 CNCC 2016 上所做的大會(huì)特邀報(bào)告《云計(jì)算與標(biāo)簽化馮諾依曼體系結(jié)構(gòu)》編輯整理而來，在未改變原意的基礎(chǔ)上略作了刪減。
包云崗，于2003年獲南京大學(xué)理學(xué)學(xué)士，2008年獲中科院計(jì)算所博士學(xué)位，現(xiàn)為中科院計(jì)算所研究員，博士生導(dǎo)師，先進(jìn)計(jì)算機(jī)系統(tǒng)研究中心副主任。研究方向主要是計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)。主要工作包括：（1）博士期間帶領(lǐng)小組設(shè)計(jì)與實(shí)現(xiàn)了在國際上具有獨(dú)特優(yōu)勢的訪存監(jiān)控系統(tǒng)HMTT (Sigmetrics’08)，為斯坦福大學(xué)、EPFL、清華大學(xué)、華為、韓國Hynix等十幾個(gè)機(jī)構(gòu)提供超過2TB的訪存蹤跡數(shù)據(jù)；（2）提出了基于路劃分的DMA Cache技術(shù) (HPCA’10)，在2014年發(fā)布的Intel Xeon處理器中采用相同技術(shù)路線：（3）在普林斯頓大學(xué)開展博士后研究，發(fā)布多核基準(zhǔn)測試集PARSEC 3.0版本 (ACM Computer Architecture News 2016)，下載已逾7000次，被三大體系結(jié)構(gòu)國際頂級會(huì)議上70%以上的論文使用；（4）提出軟件定義服務(wù)器新架構(gòu)PARD (ASPLOS'15)，作為華為全球合作五個(gè)代表性成果之一入選華為2015年報(bào)，并受邀參加2015年國際計(jì)算機(jī)頂級論壇德國Dagstuhl Seminar。包云崗在國際一流計(jì)算機(jī)系統(tǒng)會(huì)議期刊發(fā)表了10余篇論文，曾兩次獲計(jì)算所優(yōu)秀論文一等獎(jiǎng)，獲2013年CCF-Intel青年學(xué)者獎(jiǎng)。同時(shí)擔(dān)任CCF普及工作委員會(huì)主任，《中國計(jì)算機(jī)學(xué)會(huì)通訊》編委。
我今天的話，圍繞一個(gè)目標(biāo)，想把三個(gè)關(guān)鍵詞串起來，目標(biāo)是希望降低云計(jì)算數(shù)據(jù)中心的成本，三個(gè)關(guān)鍵詞是云計(jì)算、馮諾依曼結(jié)構(gòu)以及標(biāo)簽化。
首先看2014年，百度這個(gè)最高獎(jiǎng)，當(dāng)時(shí)我的學(xué)生實(shí)習(xí)所在的團(tuán)隊(duì)拿到這個(gè)最高獎(jiǎng)，成為非常少有的在百度兩次獲得這個(gè)獎(jiǎng)的，非常少有的現(xiàn)象，但他們的工作和貢獻(xiàn)卻值得兩次獲獎(jiǎng)，他們以提高數(shù)據(jù)中心的利用率為點(diǎn)，為百度節(jié)省了上10億的成本。
所以，提到數(shù)據(jù)中心的話，我們很多人會(huì)覺得好像離自己很遠(yuǎn)，實(shí)際上現(xiàn)在的數(shù)據(jù)中心已經(jīng)和發(fā)電廠，自然水廠一樣，成為了我們社會(huì)的基礎(chǔ)設(shè)施。比如打開微信，在這個(gè)等待的過程中，一半時(shí)間都是數(shù)據(jù)中心幫我們在處理請求，數(shù)據(jù)中心現(xiàn)在實(shí)際上是互聯(lián)網(wǎng)公司的核心競爭力。
微軟前CEO鮑爾默在2013年時(shí)曾驕傲地說——全世界沒有幾個(gè)公司懂云計(jì)算，懂公有云。真正能理解并管理這種大規(guī)模數(shù)據(jù)中心的企業(yè)，在全世界非常非常少。
事實(shí)上，微軟它是有資本去驕傲的，你們可以看到微軟過去在數(shù)據(jù)中心領(lǐng)域投資了150億美元，包括上次國慶節(jié)我和微軟的一位杰出工程師，他負(fù)責(zé)數(shù)據(jù)中心的未來規(guī)劃，他表示到今年年底微軟在數(shù)據(jù)中心的投資會(huì)達(dá)到300億美元，我們知道一艘航母大概是100-150億美元，所以這些互聯(lián)網(wǎng)公司幾乎每年都要造“一艘航母”。
實(shí)際上數(shù)據(jù)中心是我們一個(gè)國家在工業(yè)信息各方面綜合實(shí)力的一個(gè)體現(xiàn)，好在我們中國國內(nèi)的企業(yè)也不甘示弱。我們看到阿里上個(gè)月在張北數(shù)據(jù)中心啟用，這個(gè)數(shù)據(jù)中心耗資180億，但是它們已經(jīng)感到了成本的壓力。
所以它在最近在7月份的時(shí)候?qū)ｉT去成立了一個(gè)部門去降低數(shù)據(jù)中心的開銷。但是另外一邊，我們來看看數(shù)據(jù)中心利用率怎么樣？
這是蓋特納和麥肯錫的調(diào)研數(shù)據(jù)：全球的服務(wù)器利用率只有6%到12%，即使是亞馬遜利用虛擬云計(jì)算把這個(gè)利用率提升了這個(gè)利用率還是只有7%－17%，所以可以看到大部分資源和成本其實(shí)是被浪費(fèi)的，那怎么提高？
可以去共享，在一個(gè)服務(wù)器上去跑多個(gè)應(yīng)用，這樣的話可以一定時(shí)期內(nèi)把服務(wù)器的利用率提高到幾倍。實(shí)際上谷歌也是這么做的，目前它們數(shù)據(jù)中心可以分成兩類：一類跑在線應(yīng)用，另外一類跑批處理（作業(yè)）。
我們可以看到，可以通過這種共享可以把批處理作業(yè)的這種數(shù)據(jù)中心提升到75%以上的CPU利用率， 但是對于在線應(yīng)用（服務(wù)），還是只有30%。所以問題是為什么不把所有數(shù)據(jù)中心的利用率到提升到70%以上呢？
這里有一個(gè)在線服務(wù)的例子。
如果我們把CPU利用率從30％提升到70%，響應(yīng)時(shí)間就會(huì)提高10倍。
這個(gè)例子其實(shí)在我們的生活中也會(huì)常見，在北京四環(huán)如果要去南站，如果是早上6:00，只需要22分鐘就可以到，如果是下午3:00的話，我就需要一個(gè)小時(shí)，還不一定能到，如果要在車流量多的時(shí)候，要讓救護(hù)車順利通過這是難事，都出過好幾次這樣的新聞。
事實(shí)上數(shù)據(jù)中心也面臨著這樣的難題，就是我們怎么去保障用戶數(shù)據(jù)體驗(yàn)，同時(shí)又能提高資源的利用率，這一點(diǎn)現(xiàn)在只能是二選一， 對于很多互聯(lián)網(wǎng)公司來說，保障用戶體驗(yàn)往往是第一位的。
谷歌做過一個(gè)例子，它們搜索引擎的響應(yīng)時(shí)間從0.4秒增加到0.9秒，廣告的收入就會(huì)下降20％，這對于谷歌來說，是上百億美元的損失。
所以我們可以這樣理解，這種情況下它寧可讓數(shù)據(jù)中心利用率低一些，即使損失幾十億，但可以保障用戶的體驗(yàn)。但誰也不想這樣白白的浪費(fèi)。像谷歌有世界上最頂尖的工程師，像Jeff Dean和 Luiz Barroso等, 他們在不斷地從軟件層次去優(yōu)化數(shù)據(jù)中心，通過在虛擬化、在操作系統(tǒng)、在分布式架構(gòu)上提出了很多新的技術(shù)。
所以經(jīng)過10年的掙扎，到2015年，他們得出一個(gè)結(jié)論——需要硬件支持。
這是在去年Dick Sites，也是原來在Dec做CPU，現(xiàn)在在參與數(shù)據(jù)中心的。他提出，現(xiàn)在數(shù)據(jù)中心服務(wù)器跟以前傳統(tǒng)PC不一樣，有很多新的問題、新的挑戰(zhàn)。包括怎么來消除多個(gè)應(yīng)用間的競爭？怎么來實(shí)現(xiàn)很好的隔離？這些都很難，需要硬件去做支持，軟件都已經(jīng)做了很多工作，已經(jīng)盡力了。但是硬件上怎么來支持？
那我們來回顧馮諾依曼結(jié)構(gòu)，這是一個(gè)非常優(yōu)美的結(jié)構(gòu)，但是它還不是完美。1978年圖靈獎(jiǎng)獲得者John Backus，在他的演說當(dāng)中直接指出馮諾依曼結(jié)構(gòu)中，連接CPU和存儲(chǔ)的通道會(huì)成為瓶頸，我們稱之為馮諾依曼瓶頸。
事實(shí)上正如Backus預(yù)言，從1980年開始，CPU很完美的增長速度就開始出現(xiàn)不一致，所以出現(xiàn)了CPU每年50%速度的增長，而Memory只有7%，這樣的話導(dǎo)致了內(nèi)存墻的問題，體系結(jié)構(gòu)界怎么來解決？
體系結(jié)構(gòu)界就是不斷地增長層次，一層、二層、三層，這樣來彌補(bǔ)CPU和內(nèi)存間速度的匹配。所以到今天，我們存儲(chǔ)的層次已經(jīng)變成這樣，有很多層。但是2000年之后，多核又出現(xiàn)了。多核的出現(xiàn)，把整個(gè)存儲(chǔ)層次又分成了兩塊，一塊把它放在核內(nèi)、一塊把它放在核外，核內(nèi)的話，隨著核的數(shù)目增加，它可以不斷地復(fù)制。
但這個(gè)時(shí)候，我們?nèi)绻\(yùn)行兩個(gè)應(yīng)用程序，跑在不同的核上面，我們可以看到，當(dāng)它們的請求都送到核外共享的這些存儲(chǔ)層次的話，對于這些存儲(chǔ)層次來說，它們并不知道這些應(yīng)用，誰更優(yōu)先，誰更緊急，所以以第三級為例的話，它屬于一種無需共享的狀態(tài)，沒有辦法去區(qū)分到底哪個(gè)是來自更緊急的應(yīng)用，但這種無序共享實(shí)際上會(huì)導(dǎo)致性能無法保障。
這里Intel做過一項(xiàng)實(shí)驗(yàn)，如果在一個(gè)CPU上面我只跑一個(gè)應(yīng)用程序，可以把任務(wù)填滿到三級cache里面去，每一個(gè)應(yīng)用都可以跑地很好，但只要兩個(gè)應(yīng)用程序一起，性能就會(huì)下降超過三倍以上，對于云計(jì)算環(huán)境來說，這樣的用戶體驗(yàn)就非常糟糕。
如果回顧技術(shù)發(fā)展史的話，就會(huì)知道，今天數(shù)據(jù)中心遇到的問題，很多個(gè)應(yīng)用，很多用戶，他們開始共享一個(gè)基礎(chǔ)設(shè)施，但他們的需求又不一樣，有的要求延遲，有的要求吞吐，所以帶來一些Qos的保障問題。但是谷歌的處理辦法是非常粗放式的，直接把它分成兩類（在線分離，離線分離兩類）。
但如果我們回顧一下因特網(wǎng)的話，90年代它也遇到這樣的問題，但因特網(wǎng)用了另外一套解決方案，它們就是標(biāo)簽化網(wǎng)絡(luò)的機(jī)制。
什么是標(biāo)簽化網(wǎng)絡(luò)？我的理解是4個(gè)方面。
第一個(gè)是細(xì)粒度對象，每一個(gè)網(wǎng)絡(luò)包增加一個(gè)標(biāo)簽。
第二個(gè)是關(guān)聯(lián)語義，標(biāo)簽的值是和用戶的需求直接相關(guān)的。
第三個(gè)是攜帶傳播，也就是這個(gè)標(biāo)簽會(huì)在這個(gè)網(wǎng)絡(luò)包的的生命周期中去傳播。
第四個(gè)是轉(zhuǎn)發(fā)控制（見下）。所以某種程度上，實(shí)際上標(biāo)簽代表了一種接口，它是把用戶的要求，通過標(biāo)簽，傳到了底層的網(wǎng)絡(luò)設(shè)備。
事實(shí)上，在體系結(jié)構(gòu)界，也意識到了，我們現(xiàn)在傳統(tǒng)的接口，體系結(jié)構(gòu)界的接口，指令，虛擬內(nèi)存，實(shí)際上它自己也意識到了自己的局限性。所以在2012年的時(shí)候發(fā)出了白皮書，在白皮書中明確指出，我們需要新的更高層次的抽象接口，來把程序員，來把編譯器的信息傳遞到底層硬件，這信息包括Qos,包括Security等等。
那么的我們的一個(gè)疑問是，有沒有可能網(wǎng)絡(luò)界的標(biāo)簽化也用到體系結(jié)構(gòu)內(nèi)呢，答案是可以的。因?yàn)槲覀冇^察到今天的計(jì)算機(jī)，實(shí)際上它本質(zhì)上就是一個(gè)網(wǎng)絡(luò)，內(nèi)部不同的部件之間，它們的通信都是通過包的形式傳播的。比如我們要傳一個(gè)DMA，從網(wǎng)卡把數(shù)據(jù)送到內(nèi)存，這是一個(gè)典型的PCIe包，PCIe包就會(huì)通過網(wǎng)絡(luò)傳到I/O的橋上面，再轉(zhuǎn)成內(nèi)部的包，再送到內(nèi)存上去，線上網(wǎng)絡(luò)也是一樣。
所以我在2012年的時(shí)候當(dāng)時(shí)就有這個(gè)想法，但一直沒有更深入的理解，后來回到計(jì)算所后，和各位老師多次交流，我們把它總結(jié)為標(biāo)簽化馮諾依曼結(jié)構(gòu)，它不是對馮諾依曼結(jié)構(gòu)的革新，它只是在馮諾依曼結(jié)構(gòu)上的一個(gè)擴(kuò)展。它的特點(diǎn)，我想也是可以包括四方面：
第一個(gè)是細(xì)粒度對象（見下）；
第二個(gè)是關(guān)聯(lián)語義（見下）；
第三個(gè)是攜帶傳播（見下）；
第四個(gè)是軟件定義的（或者可編程的）標(biāo)簽控制邏輯，這一點(diǎn)的話我們可以通過這種方式，來實(shí)現(xiàn)對整個(gè)內(nèi)部請求的一個(gè)區(qū)分化的服務(wù)。
這是一個(gè)基本的idea。
所以，這個(gè)結(jié)構(gòu)是希望在云計(jì)算的環(huán)境下，保證用戶的體驗(yàn)，然后再把現(xiàn)在CPU的速度提升到翻一倍。我們經(jīng)過實(shí)踐發(fā)現(xiàn)，這在排隊(duì)模型里面，有很好的支持，這樣做，通過優(yōu)先權(quán)隊(duì)列，我們可以做到，在保證高優(yōu)先級應(yīng)用的響應(yīng)時(shí)間，把整個(gè)系統(tǒng)負(fù)載提高，所以標(biāo)馮結(jié)構(gòu)實(shí)際上是通過標(biāo)簽化機(jī)制實(shí)現(xiàn)了優(yōu)先權(quán)對列。
不過這帶來了很多開放性問題。
比如說理論上，這種結(jié)構(gòu)，對于RAM，PRAM等計(jì)算模型有沒有影響，我們是不是要發(fā)展新的計(jì)算模型？我們在硬件體系上來實(shí)現(xiàn)它呢？我們怎么來編程，怎么把用戶的需求來表達(dá)？……這有很多問題。
比較幸運(yùn)的是，我們剛剛收到了科技部的支持，所以我們在未來在這個(gè)領(lǐng)域會(huì)有更進(jìn)一步的研究，在過去幾年，實(shí)際上我們在體系結(jié)構(gòu)層次上探索，下面我們簡單介紹一下我們在這方面探索的結(jié)果。
這是一個(gè)傳統(tǒng)的體系結(jié)構(gòu)工作，我們做的工作實(shí)際上就是，我們做了一種新的結(jié)構(gòu)，名字叫PARD，實(shí)際上
它首先就是把內(nèi)部的請求都進(jìn)行標(biāo)簽化。
第二個(gè)在共享的部件上，我們加上控制、邏輯，同時(shí)把控制邏輯通過一個(gè)網(wǎng)絡(luò)的連接，形成一個(gè)控制平面。
再一個(gè)我們會(huì)增加一個(gè)編程接口（管理模塊），然后把所有的控制平面，控制邏輯，把它抽象成成一個(gè)樹形來進(jìn)行操作。
所以想法很簡單，但我們把它真的實(shí)現(xiàn)，花了我們?nèi)甑臅r(shí)間，我們實(shí)現(xiàn)了兩個(gè)模擬器，一個(gè)軟件的模擬器，一個(gè)基于FPGA的原型，這些都可以開源，在網(wǎng)上可以下載到。
這是一個(gè)基于FPGA的原型（如下圖），它已經(jīng)實(shí)現(xiàn)了這種基本的標(biāo)馮結(jié)構(gòu)。同時(shí)我們設(shè)計(jì)出了這么一個(gè)可編程邏輯的模版，它可以放到不同的部件里面去，所以在這個(gè)基礎(chǔ)上我們可以看看它是怎么用的？
我們可以看第一個(gè)例子，可以在標(biāo)簽控制邏輯里面加上一點(diǎn)地址映射，那么我們就可以實(shí)現(xiàn)一個(gè)硬件實(shí)現(xiàn)的虛擬化，Hypervisor。我們不需要軟件的Hypervisor, 就可以把整個(gè)硬件標(biāo)簽將計(jì)算機(jī)直接隔離成多個(gè)獨(dú)立的子機(jī)器，然后每個(gè)獨(dú)立的子機(jī)器（亦稱為分區(qū)）可以運(yùn)用獨(dú)立的操作系統(tǒng)。
這一點(diǎn)在我們FPGA平臺(tái)上已經(jīng)可以實(shí)現(xiàn)，我們有4core, 就可以把它隔成個(gè)分區(qū)，每個(gè)分區(qū)可以運(yùn)行獨(dú)立的OS，而不需要Hypervisor。
而且分區(qū)之間的資源可以去動(dòng)態(tài)地調(diào)節(jié)，通過對控制邏輯進(jìn)行一個(gè)重編程，同時(shí)我們也可以做到在控制邏輯里面加上優(yōu)先權(quán)隊(duì)列，優(yōu)先權(quán)的控制，那么我們就可以去做一些性能的隔離，去做一些性能QoS的保障。比如我們的一個(gè)實(shí)驗(yàn)，如果在緩存帶寬50%的情況下，加上優(yōu)先權(quán)隊(duì)列，那么內(nèi)存控制器的排隊(duì)時(shí)間，對于高優(yōu)先級（任務(wù)）可以下降5.6倍，對于低優(yōu)先級的（任務(wù)）只會(huì)增加33%，這是非常好的一個(gè)結(jié)果。
基于這樣的一種分配，我們可以做到CPU在滿負(fù)荷的情況下，依然可以保證它較快的反應(yīng)時(shí)間，這是產(chǎn)生的一個(gè)初步影響力，我們發(fā)表了一些論文，也是得到了華為的一些支持，工業(yè)界的一些支持，同時(shí)很幸運(yùn)地被去年Dagstuhl Seminar論壇介紹這方面的工作，包括這個(gè)工作也是作為華為全球合作代表成果之一入選華為2015年報(bào)。
標(biāo)簽化馮諾依曼結(jié)構(gòu)它的目標(biāo)其實(shí)是：
去提高數(shù)據(jù)中心的資源利用率，降低數(shù)據(jù)中心的整個(gè)成本。
但是也有人問我？如果它以后真的會(huì)成為主流？關(guān)于數(shù)據(jù)中心成本降低了，對于設(shè)備商來說，他們愿意干嗎？為什么他們有動(dòng)力去做呢？因?yàn)樗麄兊氖杖牒孟駮?huì)下降。
這里我想提一點(diǎn)，其實(shí)在200年前，英國的經(jīng)濟(jì)學(xué)家杰文斯就問過這個(gè)問題，煤炭利用率提升了一倍，但會(huì)不會(huì)煤的產(chǎn)量下降呢？事實(shí)上，他發(fā)現(xiàn)，煤的產(chǎn)量增加了，因?yàn)楦嗟娜藭?huì)去用，所以技術(shù)的進(jìn)步會(huì)去增加技術(shù)的消費(fèi)量，我相信我們通過努力，去降低云計(jì)算的成本，也會(huì)進(jìn)一步去促進(jìn)云計(jì)算的快速發(fā)展。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
