雷峰網(wǎng)消息，北京時(shí)間9月9日，MLCommons社區(qū)發(fā)布了最新的MLPerf 2.1基準(zhǔn)測(cè)試結(jié)果，新一輪基準(zhǔn)測(cè)試擁有近5300個(gè)性能結(jié)果和2400個(gè)功耗測(cè)量結(jié)果，分別比上一輪提升了1.37倍和1.09倍，MLPerf的適用范圍進(jìn)一步擴(kuò)大。

阿里巴巴、華碩、Azure、壁仞科技、戴爾、富士通、技嘉、H3C、HPE、浪潮、英特爾、Krai、聯(lián)想、Moffett、Nettrix、Neural Magic、英偉達(dá)、OctoML、高通、SAPEON 和 Supermicro 均是本輪測(cè)試的貢獻(xiàn)者。

其中，英偉達(dá)表現(xiàn)依然亮眼，首次攜H100參加MLPerf測(cè)試，并在所有工作負(fù)載中刷新世界紀(jì)錄。

H100打破世界記錄，較A100性能提升4.5倍

英偉達(dá)于今年3月份發(fā)布基于新架構(gòu)NVIDIA Hopper的H100 GPU，與兩年前推出的NVIDIA Ampere架構(gòu)相比，實(shí)現(xiàn)了數(shù)量級(jí)的性能飛躍。黃仁勛曾在 GTC 2022 上表示，20個(gè)H100 GPU便可以承托相當(dāng)于全球互聯(lián)網(wǎng)的流量，能夠幫助客戶推出先進(jìn)的推薦系統(tǒng)及實(shí)時(shí)運(yùn)行數(shù)據(jù)推理的大型語(yǔ)言模型。

令一眾AI從業(yè)者期待的H100原本定于2022年第三季度正式發(fā)貨，目前處于接受預(yù)定狀態(tài)，用戶的真實(shí)使用情況和H100的實(shí)際性能尚不可知，因此可以通過(guò)最新一輪的MLPerf測(cè)試得分提前感受H100的性能。

在本輪測(cè)試中，對(duì)比Intel Sapphire Rapids、Qualcomm Cloud AI 100、Biren BR104、SAPEON X220-enterprise，NVIDIA H100不僅提交了數(shù)據(jù)中心所有六個(gè)神經(jīng)網(wǎng)絡(luò)模型的測(cè)試成績(jī)，且在單個(gè)服務(wù)器和離線場(chǎng)景中均展現(xiàn)出吞吐量和速度方面的領(lǐng)先優(yōu)勢(shì)。

以NVIDIA  A100相比，H100在MLPerf模型規(guī)模最大且對(duì)性能要求最高的模型之一——用于自然語(yǔ)言處理的BERT模型中表現(xiàn)出4.5倍的性能提升，在其他五個(gè)模型中也都有1至3倍的性能提升。H100之所以能夠在BERT模型上表現(xiàn)初出色，主要?dú)w功于其Transformer Engine。

其他同樣提交了成績(jī)的產(chǎn)品中，只有Biren BR104在離線場(chǎng)景中的ResNet50和BERT-Large模型下，相比NVIDIA A100有一倍多的性能提升，其他提交成績(jī)的產(chǎn)品均未在性能上超越A100。

而在數(shù)據(jù)中心和邊緣計(jì)算類別的場(chǎng)景中，A100 GPU的測(cè)試成績(jī)依然不俗，得益于NVIDIA AI軟件的不斷改進(jìn)，與2020年7月首次亮相MLPerf相比，A100 GPU實(shí)現(xiàn)了6倍的性能提升。

追求AI通用性，測(cè)試成績(jī)覆蓋所有AI模型

由于用戶在實(shí)際應(yīng)用中通常需要采用許多不同類型的神經(jīng)網(wǎng)絡(luò)協(xié)同工作，例如一個(gè)AI應(yīng)用可能需要理解用戶的語(yǔ)音請(qǐng)求、對(duì)圖像進(jìn)行分類、提出建議，然后以語(yǔ)音回應(yīng)，每個(gè)步驟都需要用到不同的AI模型。

正因如此，MLPerf基準(zhǔn)測(cè)試涵蓋了包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)、語(yǔ)音識(shí)別等流行的AI工作負(fù)載和場(chǎng)景，以便于確保用戶獲得可靠且部署靈活的性能。這也意味著，提交的測(cè)試成績(jī)覆蓋的模型越多，成績(jī)?cè)胶茫銩I能力更加具備通用性。

在此輪測(cè)試中，英偉達(dá)AI依然是唯一能夠在數(shù)據(jù)中心和邊緣計(jì)算中運(yùn)行所有MLPerf推理工作負(fù)載和場(chǎng)景的平臺(tái)。

在數(shù)據(jù)中心方面，A100和H100都提交了六個(gè)模型測(cè)試成績(jī)。

在邊緣計(jì)算方面，NVIDIA Orin運(yùn)行了所有MLPerf基準(zhǔn)測(cè)試，且是所有低功耗系統(tǒng)級(jí)芯片中贏得測(cè)試最多的芯片。

Orin是將NVIDIA Ampere架構(gòu)GPU和Arm CPU內(nèi)核集成到一塊芯片中，主要用于機(jī)器人、自主機(jī)器、醫(yī)療機(jī)械和其他形式的邊緣嵌入式計(jì)算。

目前，Orin已經(jīng)被用在NVIDIA Jetson AGX Orin開(kāi)發(fā)者套件以及機(jī)器人和自主系統(tǒng)生成?？?，并支持完整的NVIDIA AI軟件堆棧，包括自動(dòng)駕駛汽車平臺(tái)、醫(yī)療設(shè)備平臺(tái)和機(jī)器人平臺(tái)。

與4月在MLPerf上的首次亮相相比，Orin能效提高了50%，其運(yùn)行速度和平均能效分別比上一代Jetson AGX Xavier 模塊高出5倍和2倍。

追求通用型的NVIDIA AI 正在被業(yè)界廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)支持。在這一輪基準(zhǔn)測(cè)試中，有超過(guò)70 項(xiàng)提交結(jié)果在 NVIDIA 平臺(tái)上運(yùn)行。例如，Microsoft Azure 提交了在其云服務(wù)上運(yùn)行NVIDIA AI 的結(jié)果。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

相關(guān)文章：

MLPerf最新結(jié)果公布，英偉達(dá)仍是「王者」

MLPerf最新榜單公布，寧暢狂攬59項(xiàng)第一

IPU首度公開(kāi)MLPerf成績(jī)，性價(jià)比收益勝過(guò)英偉達(dá)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。