雷鋒網(wǎng)按，目前市場上已經(jīng)有許多初創(chuàng)公司都提供了AI加速器，然后得到大規(guī)模應(yīng)用的非常少，這其中算法的遷移、初創(chuàng)公司能否提供開發(fā)套件都是很關(guān)鍵的原因，另外，供應(yīng)商和芯片公司之間深層次的理解差異也是造成芯片規(guī)模沒有獲得大規(guī)模采用的原因。Codeplay的Andrew Richards給出了自己的見解。

對于AI芯片初創(chuàng)公司來說，將重點(diǎn)放在芯片的峰值性能以及Benchmark（基準(zhǔn)性能測試）上，可能會(huì)吸引那些在尋找深度學(xué)習(xí)訓(xùn)練或推理硬件的人。不過，開發(fā)人員可能會(huì)遇到數(shù)周甚至數(shù)月開發(fā)的程序，無法高效地運(yùn)行，甚至遇上根本無法在新設(shè)備上運(yùn)行的情況。這并不令人意外，因?yàn)閷⑺惴ㄒ浦驳叫酒铣搅司幾g器的能力。

這并不是缺乏工具、時(shí)間或資源這些常見的問題，而是有一些深層次的原因，包括AI芯片的設(shè)計(jì)方式，開發(fā)人員如何嘗試新架構(gòu)，以及如何生產(chǎn)都存在一些基礎(chǔ)漏洞。

Codeplay的Andrew Richards解開了一些長久以來的疑惑，以及解答了為什么很少有AI加速器獲得有意義的采用的原因。

讓我們從關(guān)于這種意識形態(tài)，技術(shù)上的不匹配的一些觀察開始。而且它扎根于大多數(shù)著名的AI加速器公司。

幾乎所有AI芯片初創(chuàng)公司的團(tuán)隊(duì)都來自DSP和嵌入式設(shè)備領(lǐng)域（比如，Graphcore的首席執(zhí)行官曾任職于PicoChip和XMOS；Wave Computing的團(tuán)隊(duì)主要也是做嵌入式系統(tǒng)）。從工作負(fù)載或者市場的角度來看（尤其是對推理而言），這幾乎是完美的專業(yè)知識，但對于AI加速芯片，這是一種全新的計(jì)算思維方式。在DSP中，幾乎所有信號處理都在設(shè)備上進(jìn)行，設(shè)計(jì)也專門圍繞它進(jìn)行，主控CPU只是在不進(jìn)行復(fù)雜控制的時(shí)候打開或關(guān)閉。

Richards說：“對于這些AI硬件供應(yīng)商而言，雇用看起來能解決所有問題的人會(huì)有用得多?！?nbsp;他指出，HPC社區(qū)聚集了大量人才，因?yàn)樗麄兓硕嗄甑臅r(shí)間讓大型超級計(jì)算機(jī)使用GPU執(zhí)行復(fù)雜、大規(guī)模并行的應(yīng)用程序，這些應(yīng)用程序通常具有非常獨(dú)特的軟件環(huán)境。

簡而言之，他們從開發(fā)人員的角度了解了工作負(fù)載的分配及其含義，將合適的工作負(fù)載轉(zhuǎn)移到合適的設(shè)備上并非易事，并且可能需要一年甚至更長的時(shí)間才能在新的體系結(jié)構(gòu)上建立工作負(fù)載。游戲領(lǐng)域的開發(fā)人員也是如此，他們是第一個(gè)為GPU上的游戲解決卸載問題的人。

這把我們帶到了第二個(gè)關(guān)鍵點(diǎn)，要進(jìn)行驗(yàn)證、測試到AI芯片最終投入生產(chǎn)時(shí)，已經(jīng)過去了一年的時(shí)間。為此，芯片初創(chuàng)公司需要強(qiáng)大的商業(yè)模式來實(shí)現(xiàn)目標(biāo)。因?yàn)殚_發(fā)人員可能會(huì)創(chuàng)建一個(gè)新的體系結(jié)構(gòu)，這意味著他們必須提供devkit（開發(fā)套件）和Demo硬件。這是嵌入式背景的員工無法為AI加速器初創(chuàng)公司服務(wù)的另一個(gè)領(lǐng)域。

Richards說，GPU這么快起步的原因之一是因?yàn)镹vidia能夠提供芯片，然后讓開發(fā)者們圍繞它開發(fā)自己的程序。隨著時(shí)間的推移，Nvidia所做的令人難以置信的工作是，為幾乎所有可以通過GPU加速的工作負(fù)載開發(fā)了一個(gè)豐富的生態(tài)系統(tǒng)，使開發(fā)人員更容易移植自己的代碼。

讓開發(fā)人者只購買一兩個(gè)或四個(gè)芯片是理想的選擇，但這無法成為初創(chuàng)公司的業(yè)務(wù)模式，這不適用于昂貴的加速器。因此，這是一個(gè)先有雞還是先有蛋的問題。

“如果你是AI軟件開發(fā)人員，那么你的工作就是嘗試。而且，當(dāng)你這樣做時(shí)，你將購買少量的芯片用于開發(fā)?，F(xiàn)在，AI芯片公司創(chuàng)立不是只為銷售一兩個(gè)芯片。對于AI初創(chuàng)公司而言，做到這一點(diǎn)非常困難，這需要通過分銷的模式才能只能銷售一個(gè)處理器?！?/p>

如果開發(fā)者無法擁有devkit和測試設(shè)備，即使是他們團(tuán)隊(duì)中最具架構(gòu)意識的硬件人員，也可能無法讓應(yīng)用程序在硬件上運(yùn)行。同時(shí)，如果沒有時(shí)間進(jìn)行測試，開發(fā)周期可能需要一年甚至更長的時(shí)間。

所有這些都意味著，對于開發(fā)人員而言，使用GPU 和CPU以外的任何東西都將是一件很難的事。

“這是一個(gè)快速發(fā)展的領(lǐng)域，開發(fā)人員需要能夠自己編寫軟件以及運(yùn)行現(xiàn)有框架。對于開發(fā)人員來說，使用TensorFlow或PyTorch并進(jìn)行修改是很常見的，嘗試新的東西也是很常見的。當(dāng)軟件開發(fā)商考慮嘗試不同的方法時(shí)，他們已經(jīng)知道可以在Nvidia GPU或Intel CPU開箱即用地運(yùn)行PyTorch或TensorFlow，AI初創(chuàng)公司也可能這么說，但情況可能并非如此?！?Richards說。

“在許多情況下，AI硬件公司的軟件人員會(huì)假設(shè)API函數(shù)在CPU上運(yùn)行，并異步卸載到其加速器。但是硬件供應(yīng)商假定軟件API功能在其處理器上運(yùn)行，這是完全不同的思維方式。他補(bǔ)充說，他與一些AI芯片供應(yīng)商合作，討論他們?yōu)锳I軟件人員提供接口方式，發(fā)現(xiàn)了這些深層次的分歧。

“關(guān)于AI芯片人們需要記住的最重要的事情之一是，盡管他們認(rèn)為自己在出售處理器，但該芯片必須與具有CPU主機(jī)的系統(tǒng)配合。還需記住的是，最終的Benchmark與單個(gè)芯片的數(shù)據(jù)關(guān)系不太大，因?yàn)樗皇窍到y(tǒng)的一部分?！?/p>

考慮到所有這些， Richards允許我們使用下面的圖表來展示所有遺漏的部分。至少可以說，如果你要使用AI加速器，需要深思。

Richards說，如果你是這個(gè)領(lǐng)域的硬件供應(yīng)商，那么每個(gè)項(xiàng)目都會(huì)帶來一個(gè)棘手的問題。除了漫長的開發(fā)時(shí)間之外，他們必須在板上投入一個(gè)芯片，并等待一年的時(shí)間才能知道是否成功，“任何AI處理器供應(yīng)商還必須說他們的第一個(gè)版本只是一個(gè)devkit，其產(chǎn)品是會(huì)下一個(gè)版本將投入生產(chǎn)。從他們的角度來看，這很艱難的，甚至不可能成為商業(yè)模式?！?/p>

Richards在他分享的第二張圖表中告訴我們，AI芯片的市場多樣化且不斷擴(kuò)大。如果從AI芯片初創(chuàng)公司的業(yè)務(wù)模型角度考慮這一點(diǎn)，這將令人大開眼界。

Richards說，許多開發(fā)人員將在上述三個(gè)部分中購買演示機(jī)。但是之后他們所做的工作卻完全不同，并決定了AI加速器的成敗方案。請記住，AI開發(fā)人員想要的是編寫自己的軟件并使他們選擇的工具與體系結(jié)構(gòu)相結(jié)合的能力。而且，如果看圖表最右邊的大型數(shù)據(jù)中心，這一主張變得更加困難，尤其是在超級計(jì)算站點(diǎn)或超大規(guī)模數(shù)據(jù)中心中，自定義代碼或舊代碼至關(guān)重要。

許多AI軟件開發(fā)人員都有HPC或者游戲的背景，他們固有地理解，對延遲敏感的任務(wù)應(yīng)該在CPU上運(yùn)行，而對計(jì)算敏感的任務(wù)會(huì)給加速器。因此，Richards總結(jié)說，真正重要的是整個(gè)系統(tǒng)。

實(shí)際情況是，很多重點(diǎn)都放在Benchmark的單芯片性能上，因此很明顯，除軟件人員外，其他所有人都忘記了用于AI的數(shù)據(jù)中心設(shè)備中的每一個(gè)都是系統(tǒng)中的一個(gè)部分。

雷鋒網(wǎng)編譯，via The NextPlatform 雷鋒網(wǎng)

相關(guān)文章：

這群清華學(xué)霸創(chuàng)業(yè)一年，就憑借Sticker AI芯片創(chuàng)造了數(shù)千萬銷售額！

能效比提高10倍且應(yīng)用遷移僅需1-2周 天數(shù)智芯的AI芯片將改變什么？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。