0
本文作者: 包永剛 | 2022-12-26 20:56 |
為了突破算力的瓶頸,AI芯片領(lǐng)域探索計(jì)算和存儲(chǔ)融合,寄希望于存算一體帶來的變革。
同樣是為了實(shí)現(xiàn)更好性能,滿足靈活性需求,數(shù)據(jù)中心卻要將兩大核心要素計(jì)算和存儲(chǔ)解耦,或者通俗理解為分家。
中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)信息存儲(chǔ)技術(shù)專委會(huì)主任舒繼武表示:“算力的多樣化,高速網(wǎng)絡(luò)、低時(shí)延介質(zhì)等底層技術(shù)的發(fā)展,讓數(shù)據(jù)中心從以CPU為中心的緊耦合架構(gòu),走向以數(shù)據(jù)為中心的存算分離的Diskless架構(gòu)演進(jìn)。”
Diskless架構(gòu)將服務(wù)器本地盤拉遠(yuǎn),構(gòu)成Diskless的服務(wù)器和遠(yuǎn)端存儲(chǔ)池,將原有架構(gòu)的多級(jí)分層資源徹底解耦池化和重組整合,實(shí)現(xiàn)各類硬件的獨(dú)立擴(kuò)展及靈活共享。
那到底為什么需要Diskless架構(gòu)?Diskless架構(gòu)能發(fā)揮怎樣的優(yōu)勢(shì)?
傳統(tǒng)數(shù)據(jù)中心架構(gòu)面臨哪些挑戰(zhàn)?
傳統(tǒng)數(shù)據(jù)中心體系架構(gòu)是典型的多級(jí)分層架構(gòu),從服務(wù)器到網(wǎng)絡(luò)到存儲(chǔ),每一層都是獨(dú)立圍繞CPU、內(nèi)存、總線、硬盤等組件構(gòu)成的完整計(jì)算機(jī)系統(tǒng)。當(dāng)新的數(shù)據(jù)應(yīng)用出現(xiàn)的時(shí)候,為了快速部署新業(yè)務(wù),企業(yè)通常采用最簡(jiǎn)單的應(yīng)用與本地盤耦合的服務(wù)器一體化架構(gòu)。
然而,計(jì)算、存儲(chǔ)等硬件資源發(fā)展速度不均衡,算力生命周期和數(shù)據(jù)生命周期的差異越來越大,導(dǎo)致傳統(tǒng)IT架構(gòu)存在的擴(kuò)展不靈活、資源閑置、利用率低下等問題顯現(xiàn)。
天翼云高性能網(wǎng)絡(luò)首席架構(gòu)師樊小平表示,“比如CPU升級(jí)的周期是2-3年,存儲(chǔ)的周期更長(zhǎng)。但因?yàn)閭鹘y(tǒng)存算融合的數(shù)據(jù)中心架構(gòu)下,CPU和存儲(chǔ)固定的配比沒有辦法單獨(dú)升級(jí)CPU或存儲(chǔ)?!?/p>
傳統(tǒng)存算一體服務(wù)器架構(gòu)實(shí)際面臨容量利用率三大挑戰(zhàn):存儲(chǔ)資源利用率低;性能可靠性與資源利用率難以兼得;擴(kuò)展性差,帶來運(yùn)維、成本問題。
同時(shí),還有數(shù)據(jù)中心三大稅帶來算力和IO效率挑戰(zhàn)。
首先,CPU處理流程很復(fù)雜,要進(jìn)行網(wǎng)絡(luò)/存儲(chǔ)IO的處理,要消耗30%的算力,這被稱之為主力計(jì)算稅。其次,存儲(chǔ)系統(tǒng)仍為CPU 為中心的架構(gòu),數(shù)據(jù)路徑無(wú)法直通盤,時(shí)延增加20%,這就是存儲(chǔ)算力稅。最后,存儲(chǔ)協(xié)議面向HDD介質(zhì)設(shè)計(jì),協(xié)議厚重,協(xié)議處理導(dǎo)致帶寬下降10%,這又有了存儲(chǔ)協(xié)議稅。
“從應(yīng)用的角度,現(xiàn)在有很多應(yīng)用,其中的應(yīng)用容器要求最好能夠不依賴服務(wù)器,能做到靈活部署和數(shù)據(jù)共享。同時(shí),還希望按需實(shí)現(xiàn)細(xì)粒度 (fine granularity)資源分配。”舒繼武說,“應(yīng)用容器化帶來計(jì)算和存儲(chǔ)資源靈活部署、數(shù)據(jù)全局共享的強(qiáng)烈訴求?!?/p>
除了應(yīng)用對(duì)傳統(tǒng)數(shù)據(jù)中心架構(gòu)帶來了新的挑戰(zhàn),計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)技術(shù)的發(fā)展將催生新的架構(gòu)。
具體而言,算力方面,CPU依舊可以再傳統(tǒng)的Web應(yīng)用、數(shù)據(jù)庫(kù)等場(chǎng)景發(fā)揮作用,GPU在圖形處理、深度學(xué)習(xí)處理等領(lǐng)域有優(yōu)勢(shì),新興的DPU可以卸載網(wǎng)絡(luò)、存儲(chǔ)、安全功能。數(shù)據(jù)中心的算力朝著多樣化方向發(fā)展,按需運(yùn)行并滿足用戶業(yè)務(wù)多種需求,這時(shí)候,算力池化是必然選擇。
網(wǎng)絡(luò)層面,低時(shí)延內(nèi)存網(wǎng)絡(luò)的發(fā)展,加速服務(wù)器內(nèi)存與性能盤的Disaggregate池化。網(wǎng)絡(luò)技術(shù)的發(fā)展,提高了系統(tǒng)資源池化的能力范國(guó),特別是可促使內(nèi)存資源池化。
存儲(chǔ)也有新的趨勢(shì),新型分布式應(yīng)用催生了輕量、高效的共享存儲(chǔ)系統(tǒng)發(fā)展,有效支撐了傳統(tǒng)數(shù)據(jù)中心架構(gòu)朝極簡(jiǎn)分層的新型存算分離架構(gòu)演進(jìn)。
于是,在應(yīng)用的推動(dòng)下,在算力、網(wǎng)絡(luò)和存儲(chǔ)技術(shù)發(fā)展的新趨勢(shì)下,多種因素共同催生了數(shù)據(jù)中心新的架構(gòu)Diskless。
數(shù)據(jù)中心Diskless架構(gòu)有哪些特點(diǎn)和關(guān)鍵技術(shù)?
由中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)信息存儲(chǔ)專委會(huì)主編,天翼云、中國(guó)電子云、中科馭數(shù)、華為等十余家企業(yè)聯(lián)合撰寫的《數(shù)據(jù)中心Diskless架構(gòu)》白皮書提到,Diskless架構(gòu)突破了傳統(tǒng)以通用CPU為中心的處理邏輯,使數(shù)據(jù)處理等CPU不擅長(zhǎng)的任務(wù)被專用加速器、DPU等替代,實(shí)現(xiàn)能效比最優(yōu)的硬件組合。
具體看,全新的數(shù)據(jù)中心Diskless架構(gòu)主要分為三大部份:
新型盤/框存儲(chǔ):介質(zhì)、芯片和系統(tǒng)深度協(xié)同的極簡(jiǎn)、大存力存儲(chǔ),替代本地盤實(shí)現(xiàn)數(shù)據(jù)共享。
高通量數(shù)據(jù)總線:高性能、低時(shí)延的遠(yuǎn)程數(shù)據(jù)訪問總線,解決磁盤拉遠(yuǎn)的訪問時(shí)延。
高效數(shù)據(jù)處理算力:實(shí)現(xiàn)網(wǎng)存協(xié)同,數(shù)據(jù)處理卸載、加速,提升10處理效率和性能。
舒繼武進(jìn)一步解釋,在新型盤/框存儲(chǔ)部份,介質(zhì)、芯片和系統(tǒng)做了深度的、極簡(jiǎn)的融合,把算力和存儲(chǔ)解耦,形成數(shù)據(jù)的共享。極簡(jiǎn)的特性和功能包括糾刪碼、壓縮等。
要真正做到高效的共享,網(wǎng)絡(luò)是很關(guān)鍵。數(shù)據(jù)中心Diskless架構(gòu)中的高通量數(shù)據(jù)總線,有CXL、PCIE、NoF等,可以解決磁盤共享之后訪問的時(shí)延,以降低時(shí)延。
在算力部份,由于數(shù)據(jù)中心Diskless架構(gòu)計(jì)算和存儲(chǔ)的解耦,數(shù)據(jù)中心中的各種類型的芯片,比如CPU、GPU、DPU都能充分發(fā)揮自身的優(yōu)勢(shì),靈活滿足應(yīng)用的需求。
還有非常重要的一點(diǎn),Diskless架構(gòu)也能很好滿足新型分布式Serverless的應(yīng)用。
由此,也能看出Diskless架構(gòu)涉及五大關(guān)鍵技術(shù):
一、場(chǎng)景化數(shù)據(jù)縮減,也就是針對(duì)不同場(chǎng)景的數(shù)據(jù)特征,可使用不同的數(shù)據(jù)縮減技術(shù);
二、數(shù)控分離,數(shù)據(jù)bypass CPU,從智能網(wǎng)卡、DPU直通到盤,建極簡(jiǎn)的快速數(shù)據(jù)訪問路徑;
三、盤芯協(xié)同,盤芯片和控制器芯片的深度融合,提高集成度,達(dá)到最低成本;
四、高通量網(wǎng)絡(luò),存算模組問通過CXL Fabric、NoF、IP等多協(xié)議網(wǎng)絡(luò)實(shí)現(xiàn)高性能數(shù)據(jù)交換;
五、網(wǎng)存協(xié)同,智能網(wǎng)卡和DPU的硬件加速,實(shí)現(xiàn)高效的數(shù)據(jù)協(xié)同處理。
Diskless架構(gòu)的優(yōu)勢(shì)和挑戰(zhàn)是什么?
新的數(shù)據(jù)中心Diskless架構(gòu)對(duì)于那些應(yīng)用更有優(yōu)勢(shì)呢?華為閃存存儲(chǔ)領(lǐng)域副總裁吳偉舉了三個(gè)典型例子,首先是云和互聯(lián)網(wǎng)場(chǎng)景,當(dāng)中非常重要的虛擬化技術(shù),引入Diskless架構(gòu)以后,對(duì)云和計(jì)算過程中解決不了的問題,解決不好的問題,可以幫助其解決。
還有數(shù)據(jù)庫(kù)、大數(shù)據(jù),冷熱數(shù)據(jù)分級(jí)的問題,現(xiàn)在的業(yè)務(wù)都要提供大內(nèi)存,提供一些接口,還有軟件的處理,Diskless架構(gòu)通過專用的存儲(chǔ)替代本地盤,計(jì)算存儲(chǔ)獨(dú)立擴(kuò)展,可以避免投資浪費(fèi),節(jié)省成本。
第三個(gè)場(chǎng)景是大多數(shù)的云場(chǎng)景,特別是云場(chǎng)景中的容器。新的業(yè)務(wù)場(chǎng)景,傳統(tǒng)的存算一體的架構(gòu)無(wú)法適應(yīng)容器彈性的伸縮、敏捷特性。Diskless架構(gòu)可以通過外置存儲(chǔ)將上一層的容器和下一層的存儲(chǔ)進(jìn)行分離。
Diskless 架構(gòu)優(yōu)勢(shì)突出,但作為新提出的架構(gòu)也難免面臨挑戰(zhàn)。
舒繼武提到,“構(gòu)建Diskless 架構(gòu)系統(tǒng),面臨技術(shù)、生態(tài)方面的挑戰(zhàn),內(nèi)存訪問語(yǔ)義、網(wǎng)存協(xié)同存儲(chǔ)語(yǔ)義都還處于探索階段,如何與現(xiàn)有生態(tài)應(yīng)用協(xié)同,需要產(chǎn)業(yè)界、學(xué)術(shù)界專家共同探索解決?!?/p>
天翼云作為率先實(shí)踐Diskless架構(gòu)的企業(yè),已經(jīng)有所探索。樊小平分享,“我們分階段和步驟實(shí)踐Diskless架構(gòu)。先實(shí)現(xiàn)半卸載,再實(shí)現(xiàn)全卸載?!?/strong>
“天翼云結(jié)合定制的CPU、智能網(wǎng)卡、服務(wù)器,按計(jì)劃推進(jìn)Diskless架構(gòu)。Diskless架構(gòu)是數(shù)據(jù)中心的趨勢(shì),我們天翼云主要集中于DPU,還有RDMA、用戶TCP的演進(jìn)和實(shí)踐。”樊小平表示。
雷峰網(wǎng)認(rèn)為,Diskless架構(gòu)作為一個(gè)新興的架構(gòu),還需要像華為、西部數(shù)據(jù)、美光等盤框型廠商的支持,也需要系統(tǒng)型廠商的共同推動(dòng),《數(shù)據(jù)中心Diskless架構(gòu)》白皮書發(fā)布會(huì)上國(guó)內(nèi)DPU公司的集體支持,也更讓人對(duì)Diskless架構(gòu)的未來充滿期待。雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。