編輯 | 叢 末
目前深度學習的繁榮過度依賴算力的提升，在后摩爾定律時代可能遭遇發(fā)展瓶頸，在算法改進上還需多多努力。根據(jù)外媒Venturebeat報道，麻省理工學院聯(lián)合安德伍德國際學院和巴西利亞大學的研究人員進行了一項“深度學習算力”的研究。在研究中，為了了解深度學習性能與計算之間的聯(lián)系，研究人員分析了Arxiv以及其他包含基準測試來源的1058篇論文。論文領域包括圖像分類、目標檢測、問答、命名實體識別和機器翻譯等。得出的結論是：訓練模型的進步取決于算力的大幅提高，具體來說，計算能力提高10倍相當于三年的算法改進。而這算力提高的背后，其實現(xiàn)目標所隱含的計算需求——硬件、環(huán)境和金錢成本將無法承受。 圖注：模型指標的線性增長和計算代價的指數(shù)增長相關。他們得出這個結論的根據(jù)，是在1058篇論文中所統(tǒng)計的兩個信息：1、在給定的深度學習模型中，單次傳播（即權重調(diào)整）所需的浮點操作數(shù)。2、硬件負擔，或用于訓練模型的硬件的計算能力，計算方式為處理器數(shù)量乘以計算速率和時間。（研究人員承認，盡管這是一種不精確的計算方法，但在他們分析的論文中，對這種計算方式的報告比其他基準要廣泛。）為了更清楚的說明“單次傳播所需的浮點操作數(shù)”和“硬件負擔”這兩個指標，作者在合著的研究報告中，舉了ImageNet的例子。作者說，通過分析這些論文，目標檢測、命名實體識別和機器翻譯尤其顯示出硬件負擔的大幅增加，而結果的改善卻相對較小。在流行的開源ImageNet基準測試中，計算能力貢獻了圖像分類準確率的43％。 另外，即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進行10^5次以上的計算。深度學習需要的硬件負擔和計算次數(shù)自然涉及巨額資金花費。據(jù)Synced的一篇報告估計，華盛頓大學的Grover假新聞檢測模型在大約兩周的時間內(nèi)訓練費用為25,000美元。OpenAI花費了高達1200萬美元來訓練其GPT-3語言模型，而Google估計花費了6912美元來訓練BERT，這是一種雙向Transformer模型，重新定義了11種自然語言處理任務的SOTA。在去年6月的馬薩諸塞州大學阿默斯特分校的另一份報告中指出，訓練和搜索某種模型所需的電量涉及大約626,000磅的二氧化碳排放量。這相當于美國普通汽車使用壽命內(nèi)將近五倍的排放量。當然，研究人員也同時指出，在算法水平上進行深度學習改進已經(jīng)成為提升算力性能的重要方向。他們提到了硬件加速器，例如Google的TPU、FPGA和ASIC，以及通過網(wǎng)絡壓縮和加速技術來降低計算復雜性的嘗試。他們還提到了神經(jīng)架構搜索和元學習，這些方法使用優(yōu)化來搜索在某一類問題上具有良好性能的架構。OpenAI的一項研究表明，自2012年以來，將AI模型訓練到ImageNet圖像分類中相同性能所需的計算量每16個月減少一半。Google的Transformer架構超越了seq2seq，在seq2seq推出三年后，計算量減少了61倍。DeepMind的AlphaZero可以從頭開始學習如何掌握國際象棋、將棋和圍棋游戲，與一年前該系統(tǒng)的前身AlphaGoZero相比，其計算量減少了八倍。計算能力的爆發(fā)結束了“AI的冬天”，并為各種任務的計算性能樹立了新的基準。但是，深度學習對計算能力的巨大需求限制了它改善性能的程度，特別是在硬件性能改善的步伐變得緩慢的時代。研究人員說：“這些計算限制的可能影響迫使機器學習轉(zhuǎn)向比深度學習更高效的技術?！?/span>論文地址：https://science.sciencemag.org/content/368/6495/eaam9744
關于深度學習是否達到了計算能力上限這件事情，之前就有過討論，例如MIT、英偉達、微軟研究者合著的一篇 Science 論文便從軟件、算法、硬件架構三個維度分析了算力的發(fā)展趨勢。在Science這篇論文中，作者給過去算力的提升歸納了兩個原因：一個是“底部”的發(fā)展，即計算機部件的小型化，其受摩爾定律制約；另一個是“頂部”的發(fā)展，是上面提到的軟件、算法、硬件架構的統(tǒng)稱。在文章中，作者提到，在后摩爾定律時代，提升計算性能的方法，雖然“底部”已經(jīng)沒有太多提升的空間，但“頂部”還有機會。在軟件層面，可以通過性能工程（performance engineering）提高軟件的效率，改變傳統(tǒng)軟件的開發(fā)策略，盡可能縮短軟件運行時間，而不是縮短軟件開發(fā)時間。另外，性能工程還可以根據(jù)硬件的情況進行軟件定制，如利用并行處理器和矢量單元。在算法層面，在已有算法上的改進是不均勻的，而且具有偶然性，大量算法進展可能來源于新的問題領域、可擴展性問題、根據(jù)硬件定制算法。另外，在今年的5月份，OpenAI針對AI算法在過去數(shù)年中性能的提升做了一個詳細的分析。他們發(fā)現(xiàn)，自2012年以來，在 ImageNet 分類上訓練具有相同性能的神經(jīng)網(wǎng)絡，所需要的計算量，每16個月降低一半。與2012年相比，現(xiàn)在將神經(jīng)網(wǎng)絡訓練到 AlexNet 的性能，所需的計算量僅為原來的1/44（相比之下，摩爾定律僅降低為1/11）。顯然，算法上的進步相比服從摩爾定理的硬件的進步，能產(chǎn)生更多的效益。 在硬件層面，由于摩爾定律的制約，顯然需要改進的是硬件的架構，主要問題就是如何簡化處理器和利用應用程序的并行性。通過簡化處理器，可以將復雜的處理核替換為晶體管數(shù)量需求更少的簡單處理核。由此釋放出的晶體管預算可重新分配到其他用途上，比如增加并行運行的處理核的數(shù)量，這將大幅提升可利用并行性問題的效率。簡化的另一種形式是領域?qū)ｉT化（domain specialization），即針對特定應用程序定制硬件。這種專門化允許考慮領域的特點，自定義簡化硬件結構，具有極強的針對性。Via https://venturebeat.com/2020/07/15/mit-researchers-warn-that-deep-learning-is-approaching-computational-limits/
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
