英偉達(dá)（Nvidia）一年一度的GTC大會(huì)如期而至，兩年一更新的GPU架構(gòu)Hopper也正式亮相。

今年，NVIDIA創(chuàng)始人兼CEO黃仁勛在英偉達(dá)新總部大樓發(fā)布了一系列新品，從新架構(gòu)GPU H100，到Grace CPU 超級(jí)芯片，再到汽車(chē)、邊緣計(jì)算的硬件新品，以及全面的軟件更新。

英偉達(dá)的全新發(fā)布再次向外界宣告，英偉達(dá)不止是一家芯片公司，而是全棧計(jì)算公司。他們正在加強(qiáng)其在A(yíng)I、汽車(chē)等領(lǐng)域的領(lǐng)導(dǎo)力，同時(shí)也在努力占領(lǐng)下一波AI浪潮以及元宇宙的先機(jī)。

當(dāng)然，作為一家發(fā)明GPU的公司，英偉達(dá)的全新GPU架構(gòu)依舊是GTC 2022最值得關(guān)注的新品。

Nvidia Hopper新架構(gòu)以美國(guó)計(jì)算機(jī)領(lǐng)域的先驅(qū)科學(xué)家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構(gòu)。相比上一代產(chǎn)品，基于Hopper架構(gòu)的H100 GPU實(shí)現(xiàn)了數(shù)量級(jí)的性能飛躍。

黃仁勛表示，20個(gè) H100 GPU 便可承托相當(dāng)于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶(hù)推出先進(jìn)的推薦系統(tǒng)以及實(shí)時(shí)運(yùn)行數(shù)據(jù)推理的大型語(yǔ)言模型。

基于H100 GPU構(gòu)建的各種系統(tǒng)，以及與Grace CPU 超級(jí)芯片組合的各種系統(tǒng)，配合英偉達(dá)多年構(gòu)建強(qiáng)大的軟件生態(tài)，將成為了英偉達(dá)掀起新一代計(jì)算浪潮的能量。

H100 GPU將在今年第三季度出貨，明年上半年開(kāi)始供貨Grace CPU超級(jí)芯片。

最新Hopper架構(gòu)H100 GPU的6大突破

黃仁勛2020年從自家廚房端出的當(dāng)時(shí)全球最大7nm芯片Ampere架構(gòu)GPU A100，兩年后有了繼任者——Hopper架構(gòu)H100。英偉達(dá)H100 GPU采用專(zhuān)為英偉達(dá)加速計(jì)算需求設(shè)計(jì)優(yōu)化的TSMC 4N 工藝，集成800億個(gè)晶體管，顯著提升了AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近 5TB/s 的外部互聯(lián)帶寬。

H100同時(shí)也集多個(gè)首個(gè)于一身，包括首款支持 PCIe 5.0 的 GPU，首款采用 HBM3 的 GPU，可實(shí)現(xiàn) 3TB/s 的顯存帶寬，全球首款具有機(jī)密計(jì)算功能的GPU。

H100的第二項(xiàng)突破就是其加速器的 Transformer 引擎能在不影響精度的情況下，將Transformer網(wǎng)絡(luò)的速度提升至上一代的六倍。Transformer 讓自監(jiān)督學(xué)習(xí)成為可能，如今已成為自然語(yǔ)言處理的標(biāo)準(zhǔn)模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解到，H100 將支持聊天機(jī)器人使用功能超強(qiáng)大的monolithic Transformer 語(yǔ)言模型 Megatron 530B，吞吐量比上一代產(chǎn)品高出 30 倍，同時(shí)滿(mǎn)足實(shí)時(shí)對(duì)話(huà)式 AI 所需的次秒級(jí)延遲。

H100的第三項(xiàng)突破是進(jìn)一步升級(jí)的第二代多實(shí)例GPU。上一代產(chǎn)品中，英偉達(dá)的多實(shí)例GPU技術(shù)可將每個(gè)A100 GPU分割為七個(gè)獨(dú)立實(shí)例來(lái)執(zhí)行推理任務(wù)。新一代的Hopper H100與上一代產(chǎn)品相比，在云環(huán)境中通過(guò)為每個(gè) GPU 實(shí)例提供安全的多租戶(hù)配置，將 MIG 的部分能力擴(kuò)展了 7 倍。

MIG 技術(shù)支持將單個(gè) GPU 分為七個(gè)更小且完全獨(dú)立的實(shí)例，以處理不同類(lèi)型的任務(wù)。

H100的第四項(xiàng)突破就是其是全球首款具有機(jī)密計(jì)算功能的加速器，隱私計(jì)算此前只能在CPU上實(shí)現(xiàn)，H100是第一個(gè)實(shí)現(xiàn)隱私計(jì)算的GPU，可保護(hù) AI 模型和正在處理的客戶(hù)數(shù)據(jù)。機(jī)密計(jì)算的優(yōu)勢(shì)在于其不僅能確保數(shù)據(jù)的機(jī)密性，同時(shí)還不影響性能，可以應(yīng)用于醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的聯(lián)邦學(xué)習(xí)，也可以應(yīng)用于共享云基礎(chǔ)設(shè)施。

H100的第五項(xiàng)突破是在互聯(lián)性能的提升，支持第4代 NVIDIA NVLink。如今的AI模型越來(lái)越大，帶寬成為了限制超大規(guī)模AI模型迭代的阻礙。英偉達(dá)將NVLink 結(jié)合全新的外接 NVLink Switch，可將 NVLink 擴(kuò)展為服務(wù)器間的互聯(lián)網(wǎng)絡(luò)，最多可以連接多達(dá) 256 個(gè) H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網(wǎng)絡(luò)，帶寬高出9倍。

這項(xiàng)突破可以帶來(lái)的直接提升是，利用 H100 GPU，研究人員和開(kāi)發(fā)者能夠訓(xùn)練龐大的模型，比如包含3950億個(gè)參數(shù)的混合專(zhuān)家模型，訓(xùn)練速度加速高達(dá)9倍，訓(xùn)練時(shí)間從幾周縮短到幾天。

H100的第六個(gè)突破是對(duì)新的 DPX 指令可加速動(dòng)態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學(xué)在內(nèi)的一系列算法，英偉達(dá)的測(cè)試數(shù)據(jù)顯示，與 CPU 和上一代 GPU 相比，其速度提升分別可達(dá) 40 倍和 7 倍。

另外，F(xiàn)loyd-Warshall 算法與 Smith-Waterman 算法也在H100 DPX指令的加速之列，前者可以在動(dòng)態(tài)倉(cāng)庫(kù)環(huán)境中為自主機(jī)器人車(chē)隊(duì)尋找最優(yōu)線(xiàn)路，后者可用于DNA和蛋白質(zhì)分類(lèi)與折疊的序列比對(duì)。

硬件突破之外，英偉達(dá)也發(fā)布了一系列相應(yīng)的軟件更新，包括用于語(yǔ)音、推薦系統(tǒng)和超大規(guī)模推理等工作負(fù)載的 NVIDIA AI 軟件套件，還有60多個(gè)針對(duì)CUDA-X的一系列庫(kù)、工具和技術(shù)的更新，能夠加速量子計(jì)算和 6G 研究、網(wǎng)絡(luò)安全、基因組學(xué)和藥物研發(fā)等領(lǐng)域的研究進(jìn)展。

顯而易見(jiàn)，H100 GPU的六項(xiàng)突破，帶來(lái)的是更高的計(jì)算性能，但這些性能的提升和優(yōu)化，全都指向AI計(jì)算，這也是英偉達(dá)進(jìn)一步擴(kuò)大在A(yíng)I計(jì)算領(lǐng)域領(lǐng)導(dǎo)力的體現(xiàn)。

NVIDIA Eos，比全球最快超級(jí)計(jì)算機(jī)AI性能快 4 倍

有了性能升級(jí)的GPU，英偉達(dá)的第四代DGX系統(tǒng)DGX H100也隨之亮相，包括DGX POD和DGX SupePOD兩種架構(gòu)，能夠滿(mǎn)足大型語(yǔ)言模型、推薦系統(tǒng)、醫(yī)療健康研究和氣候科學(xué)的大規(guī)模計(jì)算需求。

每個(gè) DGX H100 系統(tǒng)配備八塊 NVIDIA H100 GPU，并由 NVIDIA NVLink連接，能夠在新的 FP8 精度下達(dá)到 32 Petaflop 的 AI 性能，比上一代系統(tǒng)性能高6倍。每個(gè)DGX H100 系統(tǒng)還包含兩個(gè)NVIDIA BlueField-3 DPU，用于卸載、加速和隔離高級(jí)網(wǎng)絡(luò)、存儲(chǔ)及安全服務(wù)。

新的 DGX SuperPOD 架構(gòu)采用全新的 NVIDIA NVLink Switch 系統(tǒng)，通過(guò)這一系統(tǒng)最多可連接32個(gè)節(jié)點(diǎn)，總計(jì)256塊H100 GPU。第四代NVLink與NVSwitch相結(jié)合，能夠在每個(gè)DGX H100系統(tǒng)中的各個(gè)GPU之間實(shí)現(xiàn) 900 GB/s 的連接速度，是上一代系統(tǒng)的 1.5 倍。

新一代DGX SuperPOD性能同樣顯著提升，能夠提供1 Exaflops的FP8 AI性能，比上一代產(chǎn)品性能高6倍，能夠運(yùn)行具有數(shù)萬(wàn)億參數(shù)的龐大LLM工作負(fù)載，有助于推動(dòng)氣候科學(xué)、數(shù)字生物學(xué)和 AI 未來(lái)的發(fā)展。

基于DGX H100，英偉達(dá)將在今年晚些時(shí)候開(kāi)始運(yùn)行全球運(yùn)行速度最快的 AI 超級(jí)計(jì)算機(jī) —— NVIDIA Eos，“Eos"超級(jí)計(jì)算機(jī)共配備 576 臺(tái) DGX H100 系統(tǒng)，共計(jì) 4608 塊 DGX H100 GPU，預(yù)計(jì)將提供 18.4 Exaflops 的 AI 計(jì)算性能，比日本的Fugaku（富岳）超級(jí)計(jì)算機(jī)快 4 倍，后者是目前運(yùn)行速度最快的系統(tǒng)。

在傳統(tǒng)的科學(xué)計(jì)算方面，Eos 超級(jí)計(jì)算機(jī)預(yù)計(jì)將提供 275 Petaflop 的性能。

黃仁勛說(shuō)：“對(duì)于 NVIDIA 及OEM 和云計(jì)算合作伙伴，Eos 將成為先進(jìn) AI 基礎(chǔ)設(shè)施的藍(lán)圖。”

576個(gè)DGX H100系統(tǒng)能夠構(gòu)建一臺(tái)全球運(yùn)行速度最快的AI系統(tǒng)，少量的DGX SuperPOD 單元組合，也可以為汽車(chē)、醫(yī)療健康、制造、通信、零售等行業(yè)提供開(kāi)發(fā)大型模型所需的 AI 性能。

黃仁勛提到，為支持正在進(jìn)行AI開(kāi)發(fā)的DGX客戶(hù)，NVIDIA DGX-Ready軟件合作伙伴（包括Domino Data Lab、Run:ai和Weights & Biases等）提供的MLOps解決方案將加入"NVIDIA AI 加速"計(jì)劃。

為了簡(jiǎn)化AI部署，英偉達(dá)還推出了DGX-Ready 托管服務(wù)計(jì)劃，能夠?yàn)橄Ｍc服務(wù)提供商開(kāi)展合作來(lái)監(jiān)督其基礎(chǔ)設(shè)施的客戶(hù)提供支持。通過(guò)新的 DGX-Ready 生命周期管理計(jì)劃，客戶(hù)還可以借助新的 NVIDIA DGX 平臺(tái)升級(jí)其現(xiàn)有 DGX 系統(tǒng)。

Grace CPU 超級(jí)芯片，最強(qiáng)大的CPU

去年的GTC 21，英偉達(dá)首款數(shù)據(jù)中心CPU Grace亮相，英偉達(dá)的芯片路線(xiàn)也升級(jí)為GPU+DPU+CPU。

今年的GTC 22，英偉達(dá)由推出了首款面向 AI 基礎(chǔ)設(shè)施和高性能計(jì)算的基于A(yíng)rm Neoverse的數(shù)據(jù)中心專(zhuān)屬CPU Grace CPU 超級(jí)芯片。

Grace CPU 超級(jí)芯片是專(zhuān)為AI、HPC、云計(jì)算和超大規(guī)模應(yīng)用而設(shè)計(jì)，能夠在單個(gè)插座（socket）中容納 144 個(gè) Arm 核心，在 SPECrate 2017_int_base 基準(zhǔn)測(cè)試中的模擬性能達(dá)到業(yè)界領(lǐng)先的 740 分。根據(jù) NVIDIA 實(shí)驗(yàn)室使用同類(lèi)編譯器估算，這一結(jié)果較當(dāng)前DGX A100搭載的雙CPU（AMD EPYC 7742）相比高 1.5 倍以上。

黃仁勛稱(chēng)贊：“Garce的一切都令人驚嘆，我們預(yù)計(jì)Grace超級(jí)芯片屆時(shí)將是最強(qiáng)大的CPU，是尚未發(fā)布的第5代頂級(jí)CPU的2到3倍?！?/strong>

據(jù)介紹，依托帶有糾錯(cuò)碼的LPDDR5x 內(nèi)存組成的創(chuàng)新的內(nèi)存子系統(tǒng)，Grace CPU 超級(jí)芯片可實(shí)現(xiàn)速度和功耗的最佳平衡。LPDDR5x 內(nèi)存子系統(tǒng)提供兩倍于傳統(tǒng)DDR5設(shè)計(jì)的帶寬，可達(dá)到1 TB/s ，同時(shí)功耗也大幅降低 ，CPU加內(nèi)存整體功耗僅500瓦。

值得注意的是，Grace CPU超級(jí)芯片由兩個(gè)CPU芯片組成，通過(guò)NVLink-C2C互連在一起。NVLink-C2C 是一種新型的高速、低延遲、芯片到芯片的互連技術(shù)，將支持定制裸片與NVIDIA GPU、CPU、DPU、NIC 和 SOC 之間實(shí)現(xiàn)一致的互連。

借助先進(jìn)的封裝技術(shù)，NVIDIA NVLink-C2C 互連鏈路的能效最多可比NVIDIA芯片上的PCIe Gen 5高出25倍，面積效率高出90倍，可實(shí)現(xiàn)每秒900GB乃至更高的一致互聯(lián)帶寬。

得益于Grace CPU 超級(jí)芯片可以運(yùn)行所有的英偉達(dá)計(jì)算軟件棧，包括NVIDIA RTX、NVIDIA HPC、NVIDIA AI 和 Omniverse。Grace CPU超級(jí)芯片結(jié)合NVIDIA ConnectX-7 網(wǎng)卡，能夠靈活地配置到服務(wù)器中，可以作為獨(dú)立的純CPU系統(tǒng)，或作為GPU加速服務(wù)器，搭載一塊、兩塊、四塊或八塊基于Hopper的GPU，客戶(hù)通過(guò)維護(hù)一套軟件棧就能針對(duì)自身特定的工作負(fù)載做好性能優(yōu)化。

今日發(fā)布的NVIDIA Grace超級(jí)芯片系列以及去年發(fā)布的Grace Hopper超級(jí)芯片均采用了NVIDIA NVLink-C2C 技術(shù)來(lái)連接處理器芯片。

英偉達(dá)表示，除NVLink-C2C外，NVIDIA還將支持本月早些時(shí)候發(fā)布的 UCIe（Universal Chiplet Interconnect Express，通用小芯片互連傳輸通道）標(biāo)準(zhǔn)。與NVIDIA芯片的定制芯片集成既可以使用 UCIe 標(biāo)準(zhǔn)，也可以使用 NVLink-C2C。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。