雷鋒網(wǎng)按，新推出的AI芯片因架構(gòu)的獨(dú)特性和軟件的易用性增加了客戶嘗試和遷移的成本，因此，軟件成為了能否快速、低成本遷移的關(guān)鍵?，F(xiàn)在普遍的做法是在TensorFlow寫一些后端集成新硬件，這給社區(qū)和AI芯片公司都帶來了負(fù)擔(dān)，增加了遷移的難度和成本。

目前，有不少項(xiàng)目都希望從AI編譯的角度避免重復(fù)性的工作，比如微軟亞洲研究院的NNFusion以及阿里云的HALO開源項(xiàng)目，降低從GPU向其它AI加速器遷移的成本。

有一個(gè)值得關(guān)注的開源框架TVM，開發(fā)者通過這個(gè)框架就可以將已有的模型部署到不同的硬件上，這是打開AI芯片的萬能鑰匙嗎？

對于處于AI硬件和軟件領(lǐng)域的芯片公司和開發(fā)人員而言，開源Apache TVM的努力已經(jīng)眾所周知。這是一個(gè)機(jī)器學(xué)習(xí)的編譯器框架，無論是何種類型的芯片，它都可以通過優(yōu)化配置滿足從數(shù)據(jù)中心到邊緣設(shè)備的需求。

如果AMD、高通、Arm、賽靈思、亞馬遜和許多其他公司還未支持它，那么它可能會(huì)散發(fā)出“神奇編譯器”的魔力，一些AI芯片初創(chuàng)公司幾年前就開始相關(guān)工作。

TVM的想法是不需要將機(jī)器學(xué)習(xí)模型專門針對某個(gè)硬件進(jìn)行手動(dòng)定制，進(jìn)而發(fā)揮傳統(tǒng)芯片巨頭以及初創(chuàng)公司芯片的潛力?，F(xiàn)在是時(shí)候?yàn)樾翧I芯片的生產(chǎn)確定標(biāo)準(zhǔn)，讓用戶無需為采用特定于體系結(jié)構(gòu)背負(fù)沉重負(fù)擔(dān)。畢竟，有很多機(jī)器學(xué)習(xí)的芯片可供選擇。

“硬件越來越多樣，圍繞這些硬件的軟件生態(tài)系統(tǒng)也是如此。再加上TensorFlow、Keras、PyTorch等深度學(xué)習(xí)框架，還有各種深度學(xué)習(xí)模型，它們之間的相互作用日益復(fù)雜。”華盛頓大學(xué)教授，TVM OctoML的聯(lián)合創(chuàng)始人兼聯(lián)合首席執(zhí)行官Luis Ceze說。

“這些軟件堆?，F(xiàn)在是用于特定用例或特定硬件（如cuDNN，ROCm等），這些都是通過初級(jí)工程師手工優(yōu)化，這些工程師優(yōu)化了線性代數(shù)代碼，將模型中的機(jī)器學(xué)習(xí)運(yùn)算符連接到帶有經(jīng)過調(diào)整的硬件庫的硬件。這對于芯片提供商來說效果很好，但是就使用硬件設(shè)備公司而言，效果是有限的。”

本質(zhì)上，TVM是一個(gè)編譯器加一個(gè)Runtime（運(yùn)行時(shí)）堆棧，帶有一組中間表示，這些中間表示將高級(jí)框架（如TensorFlow，PyTorch等）中的機(jī)器學(xué)習(xí)模型轉(zhuǎn)換為可以被不同硬件體系結(jié)構(gòu)理解的代碼，從服務(wù)器級(jí)GPU到低端移動(dòng)CPU甚至MIPS或RISC-V芯片。

對于希望在新硬件上運(yùn)行機(jī)器學(xué)習(xí)模型的芯片公司來說，這是個(gè)好消息，尤其是考慮到開發(fā)深度優(yōu)化的軟件堆棧的時(shí)間和成本。這也意味著，只要一次建模型，就可以將其部署在幾乎所有TVM支持的硬件上。

目前，支持TVM的列表包括幾乎所有主要的硬件供應(yīng)商以及多家初創(chuàng)公司。

Ceze表示，從深度學(xué)習(xí)模型到更小的可部署模塊的編譯流程，以及在具有更好性能的更多架構(gòu)上自動(dòng)生成和優(yōu)化模型，TVM的速度平均比手工優(yōu)化快2-10倍

Codeplay首席執(zhí)行官安德魯·理查茲（Andrew Richards）也致力于跨越AI硬件與軟件鴻溝。他補(bǔ)充說：“這類技術(shù)面臨的挑戰(zhàn)是如何將其應(yīng)用于不同AI加速器并實(shí)現(xiàn)不同的應(yīng)用。AI是一個(gè)非常活躍的研究領(lǐng)域，每天都會(huì)有新的進(jìn)展。在新硬件上快速運(yùn)行舊的神經(jīng)網(wǎng)絡(luò)模型并不是真正的挑戰(zhàn)，我們需要在新硬件上運(yùn)行新的神經(jīng)網(wǎng)絡(luò)。”

“太多的AI芯片公司都在努力運(yùn)行最新的基準(zhǔn)（Benchmark）。為了推動(dòng)AI芯片和AI軟件領(lǐng)域的發(fā)展，我們需要將硬件設(shè)計(jì)人員需要的圖編譯器（例如TVM）的自動(dòng)調(diào)整功能與AI研究人員需要的C ++或Python這樣的編程語言的常規(guī)編程能力相結(jié)合。這個(gè)挑戰(zhàn)使這個(gè)領(lǐng)域令人興奮?！?Richard繼續(xù)說道。

Ceze和他的OctoML團(tuán)隊(duì)正在這么做，將TVM商業(yè)化。“讓新硬件運(yùn)行新的模型對平臺(tái)是一個(gè)機(jī)會(huì)。例如，在視頻存儲(chǔ)庫中的云中大規(guī)模運(yùn)行計(jì)算機(jī)視覺來進(jìn)行內(nèi)容審核的應(yīng)用，通過我們的優(yōu)化程序，能夠有10倍的性能提升。” 

Ceze表示，對于機(jī)器學(xué)習(xí)工程師來說，他們代表著越來越多的用戶，厭倦了擔(dān)心部署模型的麻煩。如果必須在模型創(chuàng)建過程中考慮硬件部署的效率低下，那數(shù)據(jù)科學(xué)足夠困難。這就是人們選擇TVM和我們的原因，他們只需要專注于想要運(yùn)行的模型，而不是關(guān)注如何在特定硬件中運(yùn)行它們?！?/p>

正如我們多年來所看到的，如果在正確的時(shí)間做正確事，將開源商業(yè)化將有利可圖。盡管TVM獲得了廣泛的支持（大約三分之二來自行業(yè)/硬件制造商），但Ceze認(rèn)為他們有足夠的能力來獲取有關(guān)模型的類型和數(shù)量，硬件目標(biāo)、復(fù)雜程度和數(shù)量的信息。作為一個(gè)非常普遍的問題，一個(gè)中型計(jì)算機(jī)視覺的云計(jì)算模型每月的費(fèi)用約為1-1.5萬美元。

“我們提供的價(jià)值是，讓用戶獲得更易于使用的體驗(yàn)，并基于我們對所有主要芯片和模型的異構(gòu)的集合，獲得成本優(yōu)勢，并不斷進(jìn)行優(yōu)化。” Ceze表示。

到目前為止，該公司已經(jīng)籌集了1900萬美元的種子基金和A輪融資，盡管其一些最大的（經(jīng)過驗(yàn)證的）客戶都因保密協(xié)議不能公布，但考慮到大多數(shù)主要的芯片制造商（英特爾和英偉達(dá)等幾個(gè)著名的例外，特別是英偉達(dá)和其cuDNN），以及擁有自己的ASIC和一些行業(yè)巨頭云提供商。

未來是否有足夠大的業(yè)務(wù)來支持TVM還有待觀察，但對于AI芯片生態(tài)系統(tǒng)軟件之外的人，應(yīng)該認(rèn)識(shí)到的是，軟件是造成這個(gè)行業(yè)差異化的因素。特別是隨著時(shí)間的流逝，可以開始降低成本。

隨著開源的發(fā)展，我們可以期望TVM對更多設(shè)備的更廣泛支持，讓開發(fā)人員嘗試不同架構(gòu)。

原文鏈接：https://www.nextplatform.com/2021/01/15/a-skeleton-key-for-ai-hardware-experimentation/ 雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。