編輯 | 叢 末
目前深度學(xué)習(xí)的繁榮過(guò)度依賴算力的提升，在后摩爾定律時(shí)代可能遭遇發(fā)展瓶頸，在算法改進(jìn)上還需多多努力。根據(jù)外媒Venturebeat報(bào)道，麻省理工學(xué)院聯(lián)合安德伍德國(guó)際學(xué)院和巴西利亞大學(xué)的研究人員進(jìn)行了一項(xiàng)“深度學(xué)習(xí)算力”的研究。在研究中，為了了解深度學(xué)習(xí)性能與計(jì)算之間的聯(lián)系，研究人員分析了Arxiv以及其他包含基準(zhǔn)測(cè)試來(lái)源的1058篇論文。論文領(lǐng)域包括圖像分類、目標(biāo)檢測(cè)、問(wèn)答、命名實(shí)體識(shí)別和機(jī)器翻譯等。得出的結(jié)論是：訓(xùn)練模型的進(jìn)步取決于算力的大幅提高，具體來(lái)說(shuō)，計(jì)算能力提高10倍相當(dāng)于三年的算法改進(jìn)。而這算力提高的背后，其實(shí)現(xiàn)目標(biāo)所隱含的計(jì)算需求——硬件、環(huán)境和金錢(qián)成本將無(wú)法承受。 圖注：模型指標(biāo)的線性增長(zhǎng)和計(jì)算代價(jià)的指數(shù)增長(zhǎng)相關(guān)。為什么說(shuō)“深度學(xué)習(xí)過(guò)度依賴算力”？
他們得出這個(gè)結(jié)論的根據(jù)，是在1058篇論文中所統(tǒng)計(jì)的兩個(gè)信息：1、在給定的深度學(xué)習(xí)模型中，單次傳播（即權(quán)重調(diào)整）所需的浮點(diǎn)操作數(shù)。2、硬件負(fù)擔(dān)，或用于訓(xùn)練模型的硬件的計(jì)算能力，計(jì)算方式為處理器數(shù)量乘以計(jì)算速率和時(shí)間。（研究人員承認(rèn)，盡管這是一種不精確的計(jì)算方法，但在他們分析的論文中，對(duì)這種計(jì)算方式的報(bào)告比其他基準(zhǔn)要廣泛。）為了更清楚的說(shuō)明“單次傳播所需的浮點(diǎn)操作數(shù)”和“硬件負(fù)擔(dān)”這兩個(gè)指標(biāo)，作者在合著的研究報(bào)告中，舉了ImageNet的例子。作者說(shuō)，通過(guò)分析這些論文，目標(biāo)檢測(cè)、命名實(shí)體識(shí)別和機(jī)器翻譯尤其顯示出硬件負(fù)擔(dān)的大幅增加，而結(jié)果的改善卻相對(duì)較小。在流行的開(kāi)源ImageNet基準(zhǔn)測(cè)試中，計(jì)算能力貢獻(xiàn)了圖像分類準(zhǔn)確率的43％。 另外，即使是最樂(lè)觀的計(jì)算，要降低ImageNet上的圖像分類錯(cuò)誤率，也需要進(jìn)行10^5次以上的計(jì)算。深度學(xué)習(xí)需要的硬件負(fù)擔(dān)和計(jì)算次數(shù)自然涉及巨額資金花費(fèi)。據(jù)Synced的一篇報(bào)告估計(jì)，華盛頓大學(xué)的Grover假新聞檢測(cè)模型在大約兩周的時(shí)間內(nèi)訓(xùn)練費(fèi)用為25,000美元。OpenAI花費(fèi)了高達(dá)1200萬(wàn)美元來(lái)訓(xùn)練其GPT-3語(yǔ)言模型，而Google估計(jì)花費(fèi)了6912美元來(lái)訓(xùn)練BERT，這是一種雙向Transformer模型，重新定義了11種自然語(yǔ)言處理任務(wù)的SOTA。在去年6月的馬薩諸塞州大學(xué)阿默斯特分校的另一份報(bào)告中指出，訓(xùn)練和搜索某種模型所需的電量涉及大約626,000磅的二氧化碳排放量。這相當(dāng)于美國(guó)普通汽車(chē)使用壽命內(nèi)將近五倍的排放量。當(dāng)然，研究人員也同時(shí)指出，在算法水平上進(jìn)行深度學(xué)習(xí)改進(jìn)已經(jīng)成為提升算力性能的重要方向。他們提到了硬件加速器，例如Google的TPU、FPGA和ASIC，以及通過(guò)網(wǎng)絡(luò)壓縮和加速技術(shù)來(lái)降低計(jì)算復(fù)雜性的嘗試。他們還提到了神經(jīng)架構(gòu)搜索和元學(xué)習(xí)，這些方法使用優(yōu)化來(lái)搜索在某一類問(wèn)題上具有良好性能的架構(gòu)。OpenAI的一項(xiàng)研究表明，自2012年以來(lái)，將AI模型訓(xùn)練到ImageNet圖像分類中相同性能所需的計(jì)算量每16個(gè)月減少一半。Google的Transformer架構(gòu)超越了seq2seq，在seq2seq推出三年后，計(jì)算量減少了61倍。DeepMind的AlphaZero可以從頭開(kāi)始學(xué)習(xí)如何掌握國(guó)際象棋、將棋和圍棋游戲，與一年前該系統(tǒng)的前身AlphaGoZero相比，其計(jì)算量減少了八倍。計(jì)算能力的爆發(fā)結(jié)束了“AI的冬天”，并為各種任務(wù)的計(jì)算性能樹(shù)立了新的基準(zhǔn)。但是，深度學(xué)習(xí)對(duì)計(jì)算能力的巨大需求限制了它改善性能的程度，特別是在硬件性能改善的步伐變得緩慢的時(shí)代。研究人員說(shuō)：“這些計(jì)算限制的可能影響迫使機(jī)器學(xué)習(xí)轉(zhuǎn)向比深度學(xué)習(xí)更高效的技術(shù)?！?/span>深度學(xué)習(xí)會(huì)被算力鎖死么？頂層設(shè)計(jì)仍有希望
論文地址：https://science.sciencemag.org/content/368/6495/eaam9744
關(guān)于深度學(xué)習(xí)是否達(dá)到了計(jì)算能力上限這件事情，之前就有過(guò)討論，例如MIT、英偉達(dá)、微軟研究者合著的一篇 Science 論文便從軟件、算法、硬件架構(gòu)三個(gè)維度分析了算力的發(fā)展趨勢(shì)。在Science這篇論文中，作者給過(guò)去算力的提升歸納了兩個(gè)原因：一個(gè)是“底部”的發(fā)展，即計(jì)算機(jī)部件的小型化，其受摩爾定律制約；另一個(gè)是“頂部”的發(fā)展，是上面提到的軟件、算法、硬件架構(gòu)的統(tǒng)稱。在文章中，作者提到，在后摩爾定律時(shí)代，提升計(jì)算性能的方法，雖然“底部”已經(jīng)沒(méi)有太多提升的空間，但“頂部”還有機(jī)會(huì)。在軟件層面，可以通過(guò)性能工程（performance engineering）提高軟件的效率，改變傳統(tǒng)軟件的開(kāi)發(fā)策略，盡可能縮短軟件運(yùn)行時(shí)間，而不是縮短軟件開(kāi)發(fā)時(shí)間。另外，性能工程還可以根據(jù)硬件的情況進(jìn)行軟件定制，如利用并行處理器和矢量單元。在算法層面，在已有算法上的改進(jìn)是不均勻的，而且具有偶然性，大量算法進(jìn)展可能來(lái)源于新的問(wèn)題領(lǐng)域、可擴(kuò)展性問(wèn)題、根據(jù)硬件定制算法。另外，在今年的5月份，OpenAI針對(duì)AI算法在過(guò)去數(shù)年中性能的提升做了一個(gè)詳細(xì)的分析。他們發(fā)現(xiàn)，自2012年以來(lái)，在 ImageNet 分類上訓(xùn)練具有相同性能的神經(jīng)網(wǎng)絡(luò)，所需要的計(jì)算量，每16個(gè)月降低一半。與2012年相比，現(xiàn)在將神經(jīng)網(wǎng)絡(luò)訓(xùn)練到 AlexNet 的性能，所需的計(jì)算量?jī)H為原來(lái)的1/44（相比之下，摩爾定律僅降低為1/11）。顯然，算法上的進(jìn)步相比服從摩爾定理的硬件的進(jìn)步，能產(chǎn)生更多的效益。 在硬件層面，由于摩爾定律的制約，顯然需要改進(jìn)的是硬件的架構(gòu)，主要問(wèn)題就是如何簡(jiǎn)化處理器和利用應(yīng)用程序的并行性。通過(guò)簡(jiǎn)化處理器，可以將復(fù)雜的處理核替換為晶體管數(shù)量需求更少的簡(jiǎn)單處理核。由此釋放出的晶體管預(yù)算可重新分配到其他用途上，比如增加并行運(yùn)行的處理核的數(shù)量，這將大幅提升可利用并行性問(wèn)題的效率。簡(jiǎn)化的另一種形式是領(lǐng)域?qū)ｉT(mén)化（domain specialization），即針對(duì)特定應(yīng)用程序定制硬件。這種專門(mén)化允許考慮領(lǐng)域的特點(diǎn)，自定義簡(jiǎn)化硬件結(jié)構(gòu)，具有極強(qiáng)的針對(duì)性。Via https://venturebeat.com/2020/07/15/mit-researchers-warn-that-deep-learning-is-approaching-computational-limits/
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
