如果說2023年是人工智能大模型元年，那么2024年或許就是各形態(tài)AI應用大規(guī)模落地元年。

據(jù)IDC預測，2024 年全球?qū)⒂楷F(xiàn)出超過5億個新應用，相當于過去40年間出現(xiàn)的應用數(shù)總和。

而作為AI發(fā)展基礎之一的算力，面臨著越來越多的挑戰(zhàn)。

如何打造新一代算力日益成為云廠商在思考的事情。

1月11日，阿里云宣布第八代企業(yè)級通用計算實例ECS g8i算力再升級，國內(nèi)首發(fā)代號Emerald Rapids的第五代英特爾至強可擴展處理器，依托阿里云自研的“飛天+CIPU”架構體系，ECS g8i實例的整機性能最高提升85%，AI推理性能最高提升7倍，可支撐高達72B參數(shù)的大語言模型，幫助中小規(guī)模模型起建成本降低50%。

同時，新實例還提供了端到端安全防護，為企業(yè)構建可信AI應用提供強有力的隱私增強算力支撐。

阿里云彈性計算產(chǎn)品線總經(jīng)理張獻濤表示，“阿里云ECS g8i實例的強勁表現(xiàn)，證明了以CPU為中心的計算體系同樣具備加速AI推理的巨大潛力，公共云不僅可勝任超大規(guī)模的AI模型，也為AI應用加速落地開辟了新路徑?！?/p>

英特爾中國數(shù)據(jù)中心和人工智能集團至強客戶解決方案事業(yè)部總經(jīng)理李亞東表示：“最新上市的第五代英特爾至強? 可擴展處理器每個內(nèi)核均內(nèi)置 AI 加速功能，完全有能力處理要求嚴苛的 AI 工作負載。與上代相比，其AI訓練性能提升多達 29%，AI推理能力提升高達 42%。我們希望借由阿里云第八代企業(yè)級實例（ECS g8i）共同助力開發(fā)者實現(xiàn)技術普惠，讓 AI 技術無處不在?！?/p>

通用算力再提升，整機性能提升85%

作為企業(yè)級通用計算實例，ECS g8i實例在計算、存儲、網(wǎng)絡和安全等能力得到了全方位提升。

據(jù)雷峰網(wǎng)(公眾號：雷峰網(wǎng))了解，從關鍵參數(shù)上看，ECS g8i實例的L3緩存容量提升到320MB，內(nèi)存速率高達5600MT/s，整機性能提升85%，單核性能提升25%；存儲方面，ESSD云盤提供100萬 IOPS，全面搭載NVMe，存儲延遲低至百微秒；網(wǎng)絡方面，PPS高達3000萬，標配阿里云自研eRDMA大規(guī)模加速能力，時延低至8微秒；安全方面，ECS g8i實例支持可信計算與加密計算等特性，全球率先支持機密虛擬機TDX技術，構建了全面的安全防護。

在E2E場景下，ECS g8i實例可將MySQL性能提升最高達60%，Redis和Nginx的性能分別提升40%和24%，面向游戲、視頻直播、電商、金融、醫(yī)療、企業(yè)服務等行業(yè)提供強勁的算力支持，滿足其在數(shù)據(jù)庫、大數(shù)據(jù)、AI推理等應用場景下對性能的嚴苛要求。

此外，ECS g8i實例還提供了多種硬件原生加速能力，包括QAT和IAA等加速器。阿里云通過自研技術，將硬件加速能力更細顆粒度透傳至實例虛擬機，小規(guī)格的ECS g8i實例也同樣具備加速能力。其中，依托于QAT原生加解密加速器，ECS g8i實例在壓縮/解壓縮場景下性能最大可提升70倍，加解密性能提升4倍以上。

為AI提速，可支撐72B參數(shù)的大語言模型

生成式AI掀起的技術革命，正在推動計算范式發(fā)生根本性的變化。當前，AI大模型推理在算力上依然面臨諸多挑戰(zhàn)，例如首包延遲受限于并行處理能力與浮點運算能力，吞吐性能則受限于內(nèi)存帶寬和網(wǎng)絡延遲。

阿里云ECS g8i實例針對這些難題都進行了相當程度的優(yōu)化，包括內(nèi)置指令集從AVX512升級到了Intel  AMX高級矩陣擴展加速技術，可讓生成式AI更快地運行。

據(jù)雷峰網(wǎng)了解，相對于AVX512指令集，啟用AMX AI加速后，ECS g8i 實例在int 8矩陣計算的性能最高提升7倍。

基于AMX AI加速能力，g8i可更迅速地響應中小規(guī)模參數(shù)模型，運行知識檢索、問答系統(tǒng)及摘要生成等AI工作負載時，起建成本相比A10 GPU云服務器下降50%。此外，配合阿里云平臺的Spot搶占式實例，成本優(yōu)勢將進一步凸顯，進一步降低AI推理成本。

與此同時，基于自研eRDMA超低延時彈性網(wǎng)絡，阿里云g8i實例集群擁有超低延時網(wǎng)絡和高彈性優(yōu)勢，可輕松支撐72B參數(shù)級別的大語言模型分布式推理，推理性能隨集群規(guī)模接近線性加速，并可支持超過32batchsize的超大參數(shù)規(guī)模的AI模型負載，運行文生圖、AI生成代碼、虛擬助手以及創(chuàng)意輔助工具等AI工作負載。

以阿里云通義千問開源的Qwen-72B大模型為例，可在g8i實例eRDMA網(wǎng)絡構建的集群實現(xiàn)高效運行，在輸入小于500字情況下，首包延時小于3秒，每秒可生成7個Token。

 為安全加碼，助力企業(yè)構建可信AI應用

安全方面，阿里云在全產(chǎn)品線構建了端到端的安全防護，可保障數(shù)據(jù)存儲、數(shù)據(jù)傳輸、數(shù)據(jù)計算的全流程安全。

在最底層，基于CIPU的安全架構搭載安全芯片TPM作為硬件可信根，實現(xiàn)服務器的可信啟動，確保零篡改；虛擬化層面，支持虛擬可信能力vTPM，提供實例啟動過程核心組件的校驗能力；在實例可信的基礎上支持不同平臺的機密計算能力，實現(xiàn)了運行態(tài)的內(nèi)存數(shù)據(jù)隔離和加密的保護。

值得一提的是，此次升級的ECS g8i實例全量支持Trust Domain Extension TDX 技術能力，業(yè)務應用無需更改，即可部署到 TEE 之中，極大降低了技術門檻，并以極低的性能損耗為大模型等AI應用提供隱私增強算力，護航大模型的云上數(shù)據(jù)安全。 

以Qwen-Chat-7B模型為例，啟用TDX后，既確保了模型推理的安全可信，也保護了數(shù)據(jù)的機密性和完整性。

“阿里云將不斷深耕技術、持續(xù)產(chǎn)品創(chuàng)新，為企業(yè)提供更加穩(wěn)定、強大、安全、彈性的計算服務，推動各行業(yè)的AI應用進入全量爆發(fā)時代?！睆埆I濤表示。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。