雷鋒網(wǎng)按，供職于Moor Insights & Strategy的高級分析師Karl Freund以《深度學(xué)習(xí)的寒武紀爆發(fā)》為題分三部分闡述了自己對深度學(xué)習(xí)芯片的觀察，前兩篇《芯片巨頭們2019年的AI芯片之爭會如何？》《2018年全球最值得關(guān)注的AI芯片初創(chuàng)公司》 分別解讀了巨頭和初創(chuàng)公司的AI芯片。

本系列的最后一篇文章，作者分別從訓(xùn)練和推理市場的角度，去解讀NVIDIA如何在競爭更加激烈的市場中保持領(lǐng)先地位。

從Nervana的歷史說起

首先，我們看看 英特爾 與Nervana之間的故事。在被英特爾收購之前，Nervana聲稱其產(chǎn)品性能將比GPU高至少10倍。然后發(fā)生了一件有趣的事，NVIDIA的TensorCores讓所有人感到驚訝，因為TensorCores的性能不是Pascal的2倍，而是5倍。然后NVIDIA用NVSwitch再將其性能翻倍，這使得它能夠?qū)崿F(xiàn)驚人的高性能（售價40萬美元，非常昂貴）8 GPU DGX-2服務(wù)器，它的性能擊敗了大多數(shù)（如果不是全部）競爭對手。

與此同時，NVIDIA CuDNN庫和驅(qū)動程序的性能提升了大約一倍。它還構(gòu)建了基于GPU的云，讓GPU的使用非常簡單，只需點擊并下載大約30個深度學(xué)習(xí)和工作負載的優(yōu)化軟件堆棧容器即可。所以，正如前面文章提到的那樣，英特爾的10倍性能優(yōu)勢已經(jīng)消失，Nervana不得不重新設(shè)計，英特爾承諾將在2019年底推出新芯片。英偉達基本證明了擁有扎實基礎(chǔ)的10000多名工程師可以超越50名頂級的工程師（雷鋒網(wǎng)注，Nervana被收購時擁有50人的團隊）。對此沒人應(yīng)該感到驚訝，對吧？

10000名工程師團隊的優(yōu)勢

進入到2019年，競爭對手再次聲稱他們研發(fā)中的芯片有超越英偉達GPU 10甚至100倍的性能優(yōu)勢。需要注意的是，NVIDIA擁有規(guī)模達10000名工程師的團隊，在全球與頂尖研究人員和最終用戶建立協(xié)作關(guān)系?，F(xiàn)在，他們正在為NVIDIA的下一代7nm芯片尋找最佳設(shè)計，在我看來，這將是英偉達的產(chǎn)品從“帶有AI的GPU芯片”轉(zhuǎn)變?yōu)椤皫в蠫PU的AI芯片”的轉(zhuǎn)變。                                             

圖1：NVIDIA的DGX-2超級計算機一體機可在NVSwitch上互連的16個V100 GPU上提供2 peta-ops的AI性能

NVIDIA工程師可以為下一代產(chǎn)品增加多少“沙子”（邏輯區(qū)域）？雖然以下分析很簡單，但對于尋找關(guān)鍵問題的答案是有用的。

讓我們從具有出色性能的ASIC—— 谷歌 TPU開始，我看到有分析師估計每個TPU芯片大約集成了20-25億個晶體管。Volta V100在12nm制造工藝中擁有大約210億個晶體管，它是臺積電可以制造的最大芯片。隨著NVIDIA使用的制造工藝從12nm變?yōu)?nm，芯片可以包含大約1.96（1.4x1.4）的晶體管。因此，從理論上講，如果NVIDIA沒有添加圖形邏輯單元（不可否認），它將擁有另外200億個晶體管，這大約是TPU邏輯量的十倍。假設(shè)邏輯差2倍。在這種情況下，NVIDIA工程師仍然有5倍的邏輯單元用于AI功能?，F(xiàn)在，NVIDIA可能全力以赴提升性能，而非降低成本或功耗。

在訓(xùn)練市場，這就是用戶需要的——更短的訓(xùn)練時間。關(guān)于NVIDIA可能會做哪些改良有很多觀點，包括片上內(nèi)存或處理器中更多的TensorCores。

我的觀點是，NVIDIA毫無疑問擁有可用于芯片創(chuàng)新的儲備，就像TensorCores一樣。我采訪過許多AI芯片初創(chuàng)公司，但我最尊重的那些人告訴我不要低估NVIDIA，也不要認為NVIDIA被鎖在GPU的思維中。NVIDA DLA和Xavier，這兩個ASIC和SoC，證明了NVIDIA可以構(gòu)建各種加速器，而不僅僅是GPU。因此，許多這些創(chuàng)業(yè)公司的CEO決定不用NVIDIA的方式，而是首先進入推理市場。

我認為NVIDIA在訓(xùn)練市場的劣勢不會長期存在，它現(xiàn)在的問題可能是芯片成本高，但對于AI訓(xùn)練，客戶愿意付出代價。此外，在推理市場，NVIDIA的Xavier是令人印象深刻的芯片。

深度學(xué)習(xí)寒武紀爆炸有利于可編程性

讓我們回到寒武紀爆炸的想法。NVIDIA指出我們還處于AI算法研究的早期階段。比如用于圖像處理的卷積神經(jīng)網(wǎng)絡(luò)的ASIC可能（并且?guī)缀蹩隙〞τ谄渌W(wǎng)絡(luò)比如GAN，RNN或尚未發(fā)明的神經(jīng)網(wǎng)絡(luò)表現(xiàn)就會非常糟糕。

不過，如果NVIDIA能夠解決急待解決的內(nèi)存墻問題，GPU的可編程性再加上NVIDIA工程師共同構(gòu)成的生態(tài)系統(tǒng)，GPU應(yīng)該可以相當快地適應(yīng)一種新的神經(jīng)網(wǎng)絡(luò)處理形式。NVIDIA已經(jīng)通過NVLINK創(chuàng)建8個GPU和256GB高帶寬（HBM）內(nèi)存網(wǎng)絡(luò)，以極高的價格為代價解決內(nèi)存問題。我們不得不等待下一代GPU，以了解它是否以及如何解決延遲和帶寬問題，這將需要大約10倍HBM性能的內(nèi)存。

推理戰(zhàn)爭

邊緣和數(shù)據(jù)中心推理市場需求多樣，并且有望實現(xiàn)快速增長，但我懷疑的是，大眾推理市場是否會成為一個特別具有吸引力的市場。畢竟，隨著越來越多公司關(guān)注和搶占這一市場，產(chǎn)品的最終利潤率可能相當薄弱。

現(xiàn)在，一些推理很簡單，但有些推理卻非常困難。后者的市場將保持較高的利潤率，因為只有配備CPU的復(fù)雜SoC（比如Nervana）、GPU、DSP和ASIC等具備并行處理能力的處理器才能為自動駕駛等提供所需的性能。

任職于英特爾的Naveen Rao最近在Twitter上發(fā)布的消息透露， Nervana推理處理器可能是基于10nm的 SoC，集成Ice Lake CPU內(nèi)核。NVIDIA已經(jīng)引領(lǐng)了這種方法，比如用于自動駕駛的Xavier SOC。 Xilinx 也采用了類似的方法，今年晚些時候，它的Versal將推出。想要用這樣的方式的任何創(chuàng)業(yè)公司都需要具備兩個特性：1）非常高的能耗比，2）創(chuàng)新的產(chǎn)品路線圖，這將使他們能取得領(lǐng)先。

結(jié)論

總之，我將強調(diào)以下內(nèi)容：

• 1.  人工智能的未來需要專用芯片，專用芯片的市場將變得巨大。

• 2.  世界上最大的芯片公司希望在未來的AI芯片戰(zhàn)爭中獲勝。雖然英特爾正在追趕，但不要低估它能做些什么。

• 3.  有很多資金充足的初創(chuàng)公司，其中一些會取得成功。如果你想投資一家，請確保他們不會對NVIDIA的實力不屑一顧。

• 4.  未來5年，中國將在很大程度上擺脫美國的人工智能技術(shù)。

• 5. NVIDIA擁有超過10000名工程師，其下一代為AI設(shè)計的高端GPU可能會給我們帶來驚喜。

• 6. 推理芯片市場將快速增長，并且在特定應(yīng)用領(lǐng)域也有市場空間。FPGA，特別是Xilinx的下一代產(chǎn)品可會在這一領(lǐng)域發(fā)揮重要作用。

雷鋒網(wǎng)編譯，via forbes 雷鋒網(wǎng)

相關(guān)文章：

2018年全球最值得關(guān)注的AI芯片初創(chuàng)公司

芯片巨頭們2019年的AI芯片之爭會如何？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。