雷鋒網(wǎng)按，新推出的AI芯片因架構的獨特性和軟件的易用性增加了客戶嘗試和遷移的成本，因此，軟件成為了能否快速、低成本遷移的關鍵?，F(xiàn)在普遍的做法是在TensorFlow寫一些后端集成新硬件，這給社區(qū)和AI芯片公司都帶來了負擔，增加了遷移的難度和成本。

目前，有不少項目都希望從AI編譯的角度避免重復性的工作，比如微軟亞洲研究院的NNFusion以及阿里云的HALO開源項目，降低從GPU向其它AI加速器遷移的成本。

有一個值得關注的開源框架TVM，開發(fā)者通過這個框架就可以將已有的模型部署到不同的硬件上，這是打開AI芯片的萬能鑰匙嗎？

對于處于AI硬件和軟件領域的芯片公司和開發(fā)人員而言，開源Apache TVM的努力已經(jīng)眾所周知。這是一個機器學習的編譯器框架，無論是何種類型的芯片，它都可以通過優(yōu)化配置滿足從數(shù)據(jù)中心到邊緣設備的需求。

如果AMD、高通、Arm、賽靈思、亞馬遜和許多其他公司還未支持它，那么它可能會散發(fā)出“神奇編譯器”的魔力，一些AI芯片初創(chuàng)公司幾年前就開始相關工作。

TVM的想法是不需要將機器學習模型專門針對某個硬件進行手動定制，進而發(fā)揮傳統(tǒng)芯片巨頭以及初創(chuàng)公司芯片的潛力。現(xiàn)在是時候為新AI芯片的生產(chǎn)確定標準，讓用戶無需為采用特定于體系結構背負沉重負擔。畢竟，有很多機器學習的芯片可供選擇。

“硬件越來越多樣，圍繞這些硬件的軟件生態(tài)系統(tǒng)也是如此。再加上TensorFlow、Keras、PyTorch等深度學習框架，還有各種深度學習模型，它們之間的相互作用日益復雜?！比A盛頓大學教授，TVM OctoML的聯(lián)合創(chuàng)始人兼聯(lián)合首席執(zhí)行官Luis Ceze說。

“這些軟件堆棧現(xiàn)在是用于特定用例或特定硬件（如cuDNN，ROCm等），這些都是通過初級工程師手工優(yōu)化，這些工程師優(yōu)化了線性代數(shù)代碼，將模型中的機器學習運算符連接到帶有經(jīng)過調(diào)整的硬件庫的硬件。這對于芯片提供商來說效果很好，但是就使用硬件設備公司而言，效果是有限的?！?/strong>

本質(zhì)上，TVM是一個編譯器加一個Runtime（運行時）堆棧，帶有一組中間表示，這些中間表示將高級框架（如TensorFlow，PyTorch等）中的機器學習模型轉換為可以被不同硬件體系結構理解的代碼，從服務器級GPU到低端移動CPU甚至MIPS或RISC-V芯片。

對于希望在新硬件上運行機器學習模型的芯片公司來說，這是個好消息，尤其是考慮到開發(fā)深度優(yōu)化的軟件堆棧的時間和成本。這也意味著，只要一次建模型，就可以將其部署在幾乎所有TVM支持的硬件上。

目前，支持TVM的列表包括幾乎所有主要的硬件供應商以及多家初創(chuàng)公司。

Ceze表示，從深度學習模型到更小的可部署模塊的編譯流程，以及在具有更好性能的更多架構上自動生成和優(yōu)化模型，TVM的速度平均比手工優(yōu)化快2-10倍

Codeplay首席執(zhí)行官安德魯·理查茲（Andrew Richards）也致力于跨越AI硬件與軟件鴻溝。他補充說：“這類技術面臨的挑戰(zhàn)是如何將其應用于不同AI加速器并實現(xiàn)不同的應用。AI是一個非?；钴S的研究領域，每天都會有新的進展。在新硬件上快速運行舊的神經(jīng)網(wǎng)絡模型并不是真正的挑戰(zhàn)，我們需要在新硬件上運行新的神經(jīng)網(wǎng)絡。”

“太多的AI芯片公司都在努力運行最新的基準（Benchmark）。為了推動AI芯片和AI軟件領域的發(fā)展，我們需要將硬件設計人員需要的圖編譯器（例如TVM）的自動調(diào)整功能與AI研究人員需要的C ++或Python這樣的編程語言的常規(guī)編程能力相結合。這個挑戰(zhàn)使這個領域令人興奮。” Richard繼續(xù)說道。

Ceze和他的OctoML團隊正在這么做，將TVM商業(yè)化。“讓新硬件運行新的模型對平臺是一個機會。例如，在視頻存儲庫中的云中大規(guī)模運行計算機視覺來進行內(nèi)容審核的應用，通過我們的優(yōu)化程序，能夠有10倍的性能提升?！?nbsp;

Ceze表示，對于機器學習工程師來說，他們代表著越來越多的用戶，厭倦了擔心部署模型的麻煩。如果必須在模型創(chuàng)建過程中考慮硬件部署的效率低下，那數(shù)據(jù)科學足夠困難。這就是人們選擇TVM和我們的原因，他們只需要專注于想要運行的模型，而不是關注如何在特定硬件中運行它們?！?/p>

正如我們多年來所看到的，如果在正確的時間做正確事，將開源商業(yè)化將有利可圖。盡管TVM獲得了廣泛的支持（大約三分之二來自行業(yè)/硬件制造商），但Ceze認為他們有足夠的能力來獲取有關模型的類型和數(shù)量，硬件目標、復雜程度和數(shù)量的信息。作為一個非常普遍的問題，一個中型計算機視覺的云計算模型每月的費用約為1-1.5萬美元。

“我們提供的價值是，讓用戶獲得更易于使用的體驗，并基于我們對所有主要芯片和模型的異構的集合，獲得成本優(yōu)勢，并不斷進行優(yōu)化?！?Ceze表示。

到目前為止，該公司已經(jīng)籌集了1900萬美元的種子基金和A輪融資，盡管其一些最大的（經(jīng)過驗證的）客戶都因保密協(xié)議不能公布，但考慮到大多數(shù)主要的芯片制造商（英特爾和英偉達等幾個著名的例外，特別是英偉達和其cuDNN），以及擁有自己的ASIC和一些行業(yè)巨頭云提供商。

未來是否有足夠大的業(yè)務來支持TVM還有待觀察，但對于AI芯片生態(tài)系統(tǒng)軟件之外的人，應該認識到的是，軟件是造成這個行業(yè)差異化的因素。特別是隨著時間的流逝，可以開始降低成本。

隨著開源的發(fā)展，我們可以期望TVM對更多設備的更廣泛支持，讓開發(fā)人員嘗試不同架構。

原文鏈接：https://www.nextplatform.com/2021/01/15/a-skeleton-key-for-ai-hardware-experimentation/ 雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。