挑戰(zhàn) Google TPU，AI 芯片新玩家面臨哪些難題？

本文作者：吳優(yōu)

編輯：李帥飛

2021-08-08 12:20

導語：在數(shù)據(jù)中心領(lǐng)域占據(jù)一席之地的 AI 處理器，吸引了大量投資，也面臨巨大挑戰(zhàn)。

雷鋒網(wǎng)按：距離 Google 第一代 TPU 助力 AlphaGo 打敗李世石已有 5 年，Google TPU 已經(jīng)更新到第四代。與此同時，數(shù)據(jù)中心領(lǐng)域的 AI 芯片大熱，在大量投資下涌現(xiàn)了不少新玩家，盡管未來是光明的，但新玩家們不得不面對 Google 等大企業(yè)雄厚的財力和已經(jīng)形成的市場格局。挑戰(zhàn) Google TPU，AI 芯片新玩家還會面臨哪些難題？圍繞這一話題，外媒作者 BRIAN BAILEY 進行了全面而深入的解讀，雷鋒網(wǎng)對本文進行了不改變原意的編譯。

近些年，大量資金涌入到數(shù)據(jù)中心領(lǐng)域新型 AI 處理器的研發(fā)中。

但在投資熱潮的背后，也要注意到問題所在。畢竟，該領(lǐng)域需要處理的問題是特定的，結(jié)果不可預測；且該領(lǐng)域的競爭者們財力雄厚（因為它們往往是巨頭），能夠提供用戶黏性非常強的產(chǎn)品。

對于新型 AI 芯片設(shè)計公司而言，最大的問題在于：來自終端的數(shù)據(jù)不足。

挑戰(zhàn) Google TPU，AI 芯片新玩家面臨哪些難題？

需要多少個數(shù)據(jù)中心，才能實現(xiàn)盈利？

通常，芯片設(shè)計公司在設(shè)計一個新的 AI 處理器時，首先會弄清楚一個基本問題—— 如何定義產(chǎn)品的靈活性？是專為單一任務而設(shè)計？還是支持更多的工作負載？

這兩個問題之間存在一系列解決方案，但與過去的許多解決方案相比，為 AI 處理器找到合適的解決方案更加困難，對數(shù)據(jù)中心工作負載而言尤其如此。

之所以更加困難，是因為有許多因素需要平衡?！凹刃枰谝欢ǖ某杀竞蜁r間內(nèi)設(shè)計和制造芯片，又要考慮成本和回報問題。”Synopsys 人工智能產(chǎn)品和研發(fā)總監(jiān) Stelios Diamantidis 解釋道。這些限制因素縮小了 AI 處理器的潛在市場。

“設(shè)計和制造定制芯片，什么時候才能賺錢？”Synopsys 驗證組工程副總裁 Susheel Tadikonda 說。

“如果我們要為數(shù)據(jù)中心提供定制芯片，那么需要多少個數(shù)據(jù)中心才能實現(xiàn)盈利？也許可以高價出售芯片，但光是這樣遠遠不夠。如果是為消費電子設(shè)備設(shè)計和制造芯片，那么這一領(lǐng)域存在十億臺設(shè)備體量，這也是 AISC 芯片能夠賺取更多利潤的市場之一，當然設(shè)備體量越大越好?！?/p>

不過就算最終弄清楚多少個數(shù)據(jù)中心才能實現(xiàn)盈利，也無法確定設(shè)計方案。

“芯片定制化程度越來越高，以至于能夠為非常特定的算法創(chuàng)建芯片，提供更高的能效和性能，”西門子 EDA 戰(zhàn)略和業(yè)務發(fā)展高級經(jīng)理 Anoop Saha 說： “但這會犧牲一部分市場，也會縮短芯片的壽命。如果兩年后出現(xiàn)了一個新算法，那為舊算法定制的芯片的價值還會如初嗎？很多事情都會互相牽制?！?/p>

“一些邊緣算法確實已經(jīng)趨于穩(wěn)定。這是因為業(yè)界經(jīng)過多年研究，找到一些多場景適用的最佳算法，例如我們已經(jīng)看到的神經(jīng)卷積網(wǎng)絡算法 CNN（convolutional neural network），還有對于喚醒詞檢測、手寫識別等特定應用找到的最佳算法。”Anoop Saha 補充道。

芯片自定義的優(yōu)勢

要對芯片進行自定義，核心是理解面向何種工作負載——芯片自定義的確為許多玩家?guī)韮?yōu)勢。

Xilinx 人工智能和軟件產(chǎn)品營銷總監(jiān) Nick Ni 表示：“大多數(shù)大型企業(yè)已經(jīng)組建了自己的芯片部門，并為其數(shù)據(jù)中心一些高工作負載打造芯片。例如，如果 Google 將‘推薦’型神經(jīng)網(wǎng)絡視為其數(shù)據(jù)中心中最高的工作負載之一，那么它就很有必要為此創(chuàng)建專用芯片。如果排名第二的工作負載是語音識別，排名第三的是 YouTube 的視頻轉(zhuǎn)碼，那么為其打造專用芯片都是有意義的?！?/p>

“其實這里的機會很多，但 Google 只是一個孤例。幾年前，谷歌發(fā)表了一篇廣受好評的論文，文章陳述了一個事實——數(shù)據(jù)中心的工作負載類型非常豐富，但沒有一種工作負載占比超過 10%，這意味著還有大量占比微小的工作負載需要優(yōu)化?！?/p>

“大多數(shù)定制都是面向推理的，當這些定制芯片轉(zhuǎn)向訓練時，就需要浮點支持，”Synopsys 的 Diamantidis 表示。

“但是如果需要的是一個 100% 應用于推理的解決方案，那么它的定點（ fixed point）位數(shù)可能是八位甚至更低的精度。如果模型是固定的，那么在推理基礎(chǔ)設(shè)備之上進行定制是否有意義？例如，針對語音、視頻以及其他重量級應用程序的定制解決方案。大企業(yè)們（Hyperscaler）實際上正在投資應用于推理的芯片解決方案，這些推理適用于它們自身在 AI 領(lǐng)域的定制化高級模型和解決方案——但如果是需要處理多種應用，那么就需要更多的靈活性和可定制性。”

當然，對 Google 而言，這已經(jīng)是一個良性循環(huán)?！?TPU 旨在滿足 Google 數(shù)據(jù)中心內(nèi)的特定工作負載，”Synopsys 的 Tadikonda 說?！癎oogle 最開始打造TPU，是因為意識到處理如此龐大復雜的數(shù)據(jù)和計算，需要建立起大量的數(shù)據(jù)中心。"

“第一代 TPU 體積大且非常耗電，但它已經(jīng)通過不斷地學習而得到了改進，這正是這些 TPU 的工作，這就是 Google 。 ”

并非每家公司都能夠使用 Google 的反饋循環(huán)，不過其他公司也確有其他選擇?！拔覀儼l(fā)現(xiàn)，其中一個關(guān)鍵點是盡可能早得關(guān)注和重視選擇正確的架構(gòu)，”西門子的 Saha 說。“所謂正確，并不是指某一個人認為正確，也不是基于過去的經(jīng)驗，憑直覺做出的決定，因為現(xiàn)在還有太多的未知數(shù)。業(yè)界正在做的，是在設(shè)計周期早期，依靠數(shù)據(jù)驅(qū)動做出決定，這樣我們能夠在發(fā)現(xiàn)某些東西不起作用時迅速做出改變?！?/p>

這些決定是宏觀的，也可以是微觀的?！氨热缯f，你的存儲元素與計算元素差距有多大？” Saha問道：“再比如，多久執(zhí)行一次內(nèi)存讀取，這是一個重要的問題，因為讀取和寫入將直接影響整體的能效。業(yè)界正在尋找新的架構(gòu)，沒有人知道什么樣的架構(gòu)才真正起作用。不過可以確定的是，要有一定的可塑性，且在決定架構(gòu)之前，能夠確保有足夠的市場數(shù)據(jù)來支撐。”

硬件和算法迭代快

影響架構(gòu)選擇的另一個因素是硬件和算法的發(fā)展速度。這決定了數(shù)據(jù)中心所有者從他們購買的硬件中賺錢的時間，也決定了他們愿意支付的價格，同時限定了芯片開發(fā)的總成本。

那么，數(shù)據(jù)中心芯片（即硬件）的使用壽命是多久？

“通常情況下，芯片或電路板的壽命為三到四年，”Xilinx 的 Ni 說?！耙恍┹^為激進的數(shù)據(jù)中心可能會在這一時間段內(nèi)升級，還有一些則會持續(xù)使用更長時間。在人工智能領(lǐng)域，如果我們關(guān)注 Google TPU 的發(fā)布新聞，就能發(fā)現(xiàn)在過去六年左右的時間里，Google 發(fā)行了四個版本的 TPU，也就是說，幾乎每隔一兩年 Google 就會更換一次內(nèi)部硬件，針對 AI 等快速變化的工作負載進行優(yōu)化。”

換個角度來看，AI 芯片公司可能每 18 個月就有一次進入數(shù)據(jù)中心的機會?！耙獢噭舆@個市場并不容易，”Saha 說?！坝袃蓚€重要因素——更換現(xiàn)有數(shù)據(jù)中心芯片的頻率，以及添加新東西的頻率。我看見幾乎所有的數(shù)據(jù)中心都在嘗試更新的東西，幾乎每個構(gòu)建數(shù)據(jù)中心芯片的公司都在同一些終端客戶合作?！?/p>

“市場多久更換一次正在工作的芯片？只要芯片在工作，公司就會盡量延長芯片的使用壽命。一旦芯片進入數(shù)據(jù)中心，持續(xù)的時間會很長且難以更換。這就是為什么我們可以看到大型數(shù)據(jù)中心芯片領(lǐng)域有大量投資。”

“一部分投資者認為這是贏家通吃的市場，最終會有一至三個獲勝者獲得最大的市場份額。一旦市場被這些公司占領(lǐng)，這些公司的地位就很難被取代?！?/p>

設(shè)計面向 18 個月后的芯片

如果從今天開始設(shè)計芯片，那么這顆芯片必須滿足18個月后需要滿足的條件。

“當我們決定對芯片進行模塊化時，我們還必須針對特定精度進行優(yōu)化，”Xilinx 的 Ni 說?！袄?，當我們選擇在 8 位數(shù)精度上做文章時，我們不得不立下賭約，當這款產(chǎn)品成為主流時，8 位仍然是主流。

“我們還要確保制造出的產(chǎn)品可以處理混合精度網(wǎng)絡，其中一半是 8 位，四分之一是 4 位，另外四分之一是 1 位。為此，我們在 AI 引擎中執(zhí)行 8 位，其運行基本性能非?？?，然后可以在 FPGA 架構(gòu)中實現(xiàn) 4 位和 1 位 MAC 單元?！?/p>

設(shè)計時間和算法進化的時間要保持一致?！霸?18 個月內(nèi)，應用程序很可能會變得相當不同，”Tadikonda 警告說?！拔艺J為今天的數(shù)據(jù)科學家不會向任何人保證他們將在未來 18 個月內(nèi)運行與今天相同的模型。”

還有其他一系列決策也需要作出。

“量化可能是許多能效指標中的最大因素，”Saha 說。“量化將對推理產(chǎn)生更大的影響，推理分散在數(shù)據(jù)中心和邊緣之間，但在‘學習’端也需要一些量化。當我們量化成較低的位數(shù)時，就意味著我們正在權(quán)衡能效而不是準確性。訓練可能需要浮點數(shù)，不過有一些新型浮點數(shù)出現(xiàn)。谷歌在設(shè)計下一代 TPU 時，他們創(chuàng)造了 Bfloat16，這是用于訓練的“大腦浮點數(shù)”。它與 IEEE 浮點數(shù)非常不同，它在精度上具有浮點數(shù)的優(yōu)勢，但也具有顯著的能效優(yōu)勢?！?/p>

不過這將讓經(jīng)濟因素陷入困境。

“對于如此規(guī)模的 ASIC，需要在快速變化節(jié)奏里付出巨大的努力，只有少數(shù)公司能夠保證其經(jīng)濟性，”Tadikonda 說?！耙驗橛嘘P(guān)這些數(shù)據(jù)的用例正在增加，所以算法正在發(fā)生變化。我們今天認為有效的算法明天不一定有效，想要跟上節(jié)奏并處于最前沿，就必須不斷創(chuàng)新或重新研發(fā) ASIC。谷歌占據(jù)優(yōu)勢，因為它擁有足夠多的數(shù)據(jù)以至于能快速攪動局面，它從自己的 TPU 中學到了很多東西，知道為了保證程序運行地更好需要作出哪些改變?！?/p>

“如果我是第三方芯片開發(fā)商，我沒有這些數(shù)據(jù)，就只能依靠我的客戶來提供，因此周轉(zhuǎn)周期會更長。谷歌的情況非常特殊?！?/p>

數(shù)據(jù)的缺乏也給驗證帶來壓力?！案↑c硬件的驗證對滿足這些芯片的性能和功耗要求至關(guān)重要，”O(jiān)neSpin市場營銷主管 Rob Van Blommestein 說。

“長期以來，浮點硬件設(shè)計的驗證一直被認為是一項重大挑戰(zhàn)。FPU（floating-point unit）將浮點運算的數(shù)學復雜性與需要復雜控制路徑的各種特殊情況相結(jié)合。我們需要一種正式的驗證解決方案，以驗證由硬件浮點單元 (FPU) 計算出的算術(shù)運算結(jié)果是否與 IEEE 754 標準規(guī)范準確匹配?！?/p>