雷鋒網(wǎng)按，供職于Moor Insights & Strategy的高級(jí)分析師Karl Freund以《深度學(xué)習(xí)的寒武紀(jì)爆發(fā)》為題分三部分闡述了自己對(duì)深度學(xué)習(xí)芯片的觀察，前兩篇《芯片巨頭們2019年的AI芯片之爭(zhēng)會(huì)如何？》《2018年全球最值得關(guān)注的AI芯片初創(chuàng)公司》 分別解讀了巨頭和初創(chuàng)公司的AI芯片。

本系列的最后一篇文章，作者分別從訓(xùn)練和推理市場(chǎng)的角度，去解讀NVIDIA如何在競(jìng)爭(zhēng)更加激烈的市場(chǎng)中保持領(lǐng)先地位。

從Nervana的歷史說(shuō)起

首先，我們看看 英特爾 與Nervana之間的故事。在被英特爾收購(gòu)之前，Nervana聲稱其產(chǎn)品性能將比GPU高至少10倍。然后發(fā)生了一件有趣的事，NVIDIA的TensorCores讓所有人感到驚訝，因?yàn)門(mén)ensorCores的性能不是Pascal的2倍，而是5倍。然后NVIDIA用NVSwitch再將其性能翻倍，這使得它能夠?qū)崿F(xiàn)驚人的高性能（售價(jià)40萬(wàn)美元，非常昂貴）8 GPU DGX-2服務(wù)器，它的性能擊敗了大多數(shù)（如果不是全部）競(jìng)爭(zhēng)對(duì)手。

與此同時(shí)，NVIDIA CuDNN庫(kù)和驅(qū)動(dòng)程序的性能提升了大約一倍。它還構(gòu)建了基于GPU的云，讓GPU的使用非常簡(jiǎn)單，只需點(diǎn)擊并下載大約30個(gè)深度學(xué)習(xí)和工作負(fù)載的優(yōu)化軟件堆棧容器即可。所以，正如前面文章提到的那樣，英特爾的10倍性能優(yōu)勢(shì)已經(jīng)消失，Nervana不得不重新設(shè)計(jì)，英特爾承諾將在2019年底推出新芯片。英偉達(dá)基本證明了擁有扎實(shí)基礎(chǔ)的10000多名工程師可以超越50名頂級(jí)的工程師（雷鋒網(wǎng)注，Nervana被收購(gòu)時(shí)擁有50人的團(tuán)隊(duì)）。對(duì)此沒(méi)人應(yīng)該感到驚訝，對(duì)吧？

10000名工程師團(tuán)隊(duì)的優(yōu)勢(shì)

進(jìn)入到2019年，競(jìng)爭(zhēng)對(duì)手再次聲稱他們研發(fā)中的芯片有超越英偉達(dá)GPU 10甚至100倍的性能優(yōu)勢(shì)。需要注意的是，NVIDIA擁有規(guī)模達(dá)10000名工程師的團(tuán)隊(duì)，在全球與頂尖研究人員和最終用戶建立協(xié)作關(guān)系?，F(xiàn)在，他們正在為NVIDIA的下一代7nm芯片尋找最佳設(shè)計(jì)，在我看來(lái)，這將是英偉達(dá)的產(chǎn)品從“帶有AI的GPU芯片”轉(zhuǎn)變?yōu)椤皫в蠫PU的AI芯片”的轉(zhuǎn)變。                                             

圖1：NVIDIA的DGX-2超級(jí)計(jì)算機(jī)一體機(jī)可在NVSwitch上互連的16個(gè)V100 GPU上提供2 peta-ops的AI性能

NVIDIA工程師可以為下一代產(chǎn)品增加多少“沙子”（邏輯區(qū)域）？雖然以下分析很簡(jiǎn)單，但對(duì)于尋找關(guān)鍵問(wèn)題的答案是有用的。

讓我們從具有出色性能的ASIC—— 谷歌 TPU開(kāi)始，我看到有分析師估計(jì)每個(gè)TPU芯片大約集成了20-25億個(gè)晶體管。Volta V100在12nm制造工藝中擁有大約210億個(gè)晶體管，它是臺(tái)積電可以制造的最大芯片。隨著NVIDIA使用的制造工藝從12nm變?yōu)?nm，芯片可以包含大約1.96（1.4x1.4）的晶體管。因此，從理論上講，如果NVIDIA沒(méi)有添加圖形邏輯單元（不可否認(rèn)），它將擁有另外200億個(gè)晶體管，這大約是TPU邏輯量的十倍。假設(shè)邏輯差2倍。在這種情況下，NVIDIA工程師仍然有5倍的邏輯單元用于AI功能。現(xiàn)在，NVIDIA可能全力以赴提升性能，而非降低成本或功耗。

在訓(xùn)練市場(chǎng)，這就是用戶需要的——更短的訓(xùn)練時(shí)間。關(guān)于NVIDIA可能會(huì)做哪些改良有很多觀點(diǎn)，包括片上內(nèi)存或處理器中更多的TensorCores。

我的觀點(diǎn)是，NVIDIA毫無(wú)疑問(wèn)擁有可用于芯片創(chuàng)新的儲(chǔ)備，就像TensorCores一樣。我采訪過(guò)許多AI芯片初創(chuàng)公司，但我最尊重的那些人告訴我不要低估NVIDIA，也不要認(rèn)為NVIDIA被鎖在GPU的思維中。NVIDA DLA和Xavier，這兩個(gè)ASIC和SoC，證明了NVIDIA可以構(gòu)建各種加速器，而不僅僅是GPU。因此，許多這些創(chuàng)業(yè)公司的CEO決定不用NVIDIA的方式，而是首先進(jìn)入推理市場(chǎng)。

我認(rèn)為NVIDIA在訓(xùn)練市場(chǎng)的劣勢(shì)不會(huì)長(zhǎng)期存在，它現(xiàn)在的問(wèn)題可能是芯片成本高，但對(duì)于AI訓(xùn)練，客戶愿意付出代價(jià)。此外，在推理市場(chǎng)，NVIDIA的Xavier是令人印象深刻的芯片。

深度學(xué)習(xí)寒武紀(jì)爆炸有利于可編程性

讓我們回到寒武紀(jì)爆炸的想法。NVIDIA指出我們還處于AI算法研究的早期階段。比如用于圖像處理的卷積神經(jīng)網(wǎng)絡(luò)的ASIC可能（并且?guī)缀蹩隙〞?huì)）對(duì)于其它網(wǎng)絡(luò)比如GAN，RNN或尚未發(fā)明的神經(jīng)網(wǎng)絡(luò)表現(xiàn)就會(huì)非常糟糕。

不過(guò)，如果NVIDIA能夠解決急待解決的內(nèi)存墻問(wèn)題，GPU的可編程性再加上NVIDIA工程師共同構(gòu)成的生態(tài)系統(tǒng)，GPU應(yīng)該可以相當(dāng)快地適應(yīng)一種新的神經(jīng)網(wǎng)絡(luò)處理形式。NVIDIA已經(jīng)通過(guò)NVLINK創(chuàng)建8個(gè)GPU和256GB高帶寬（HBM）內(nèi)存網(wǎng)絡(luò)，以極高的價(jià)格為代價(jià)解決內(nèi)存問(wèn)題。我們不得不等待下一代GPU，以了解它是否以及如何解決延遲和帶寬問(wèn)題，這將需要大約10倍HBM性能的內(nèi)存。

推理戰(zhàn)爭(zhēng)

邊緣和數(shù)據(jù)中心推理市場(chǎng)需求多樣，并且有望實(shí)現(xiàn)快速增長(zhǎng)，但我懷疑的是，大眾推理市場(chǎng)是否會(huì)成為一個(gè)特別具有吸引力的市場(chǎng)。畢竟，隨著越來(lái)越多公司關(guān)注和搶占這一市場(chǎng)，產(chǎn)品的最終利潤(rùn)率可能相當(dāng)薄弱。

現(xiàn)在，一些推理很簡(jiǎn)單，但有些推理卻非常困難。后者的市場(chǎng)將保持較高的利潤(rùn)率，因?yàn)橹挥信鋫銫PU的復(fù)雜SoC（比如Nervana）、GPU、DSP和ASIC等具備并行處理能力的處理器才能為自動(dòng)駕駛等提供所需的性能。

任職于英特爾的Naveen Rao最近在Twitter上發(fā)布的消息透露， Nervana推理處理器可能是基于10nm的 SoC，集成Ice Lake CPU內(nèi)核。NVIDIA已經(jīng)引領(lǐng)了這種方法，比如用于自動(dòng)駕駛的Xavier SOC。 Xilinx 也采用了類似的方法，今年晚些時(shí)候，它的Versal將推出。想要用這樣的方式的任何創(chuàng)業(yè)公司都需要具備兩個(gè)特性：1）非常高的能耗比，2）創(chuàng)新的產(chǎn)品路線圖，這將使他們能取得領(lǐng)先。

結(jié)論

總之，我將強(qiáng)調(diào)以下內(nèi)容：

• 1.  人工智能的未來(lái)需要專用芯片，專用芯片的市場(chǎng)將變得巨大。

• 2.  世界上最大的芯片公司希望在未來(lái)的AI芯片戰(zhàn)爭(zhēng)中獲勝。雖然英特爾正在追趕，但不要低估它能做些什么。

• 3.  有很多資金充足的初創(chuàng)公司，其中一些會(huì)取得成功。如果你想投資一家，請(qǐng)確保他們不會(huì)對(duì)NVIDIA的實(shí)力不屑一顧。

• 4.  未來(lái)5年，中國(guó)將在很大程度上擺脫美國(guó)的人工智能技術(shù)。

• 5. NVIDIA擁有超過(guò)10000名工程師，其下一代為AI設(shè)計(jì)的高端GPU可能會(huì)給我們帶來(lái)驚喜。

• 6. 推理芯片市場(chǎng)將快速增長(zhǎng)，并且在特定應(yīng)用領(lǐng)域也有市場(chǎng)空間。FPGA，特別是Xilinx的下一代產(chǎn)品可會(huì)在這一領(lǐng)域發(fā)揮重要作用。

雷鋒網(wǎng)編譯，via forbes 雷鋒網(wǎng)

相關(guān)文章：

2018年全球最值得關(guān)注的AI芯片初創(chuàng)公司

芯片巨頭們2019年的AI芯片之爭(zhēng)會(huì)如何？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。