深度學(xué)習(xí)的完整硬件指南

本文作者： AI研習(xí)社-譯站

2019-07-30 11:17

導(dǎo)語：深度學(xué)習(xí)是非常消耗計算資源的，毫無疑問這就需要多核高速的CPU。

原標題 | A Full Hardware Guide to Deep Learning
作者 | Tim Dettmers
譯者 | linlh、呀啦呼（Tufts University）、Ryan222（重慶郵電大學(xué)）

深度學(xué)習(xí)是非常消耗計算資源的，毫無疑問這就需要多核高速的CPU。但買一個更快的CPU有沒有必要？在構(gòu)建深度學(xué)習(xí)系統(tǒng)時，最糟糕的事情之一就是把錢浪費在不必要的硬件上。本文中我將一步一步教你如何使用低價的硬件構(gòu)建一個高性能的系統(tǒng)。

這些年來，我總共搭建了7個不同的深度學(xué)習(xí)工作站，盡管經(jīng)過了仔細的研究和推理，我在選擇硬件時也犯了很多錯誤。在這篇文章中，我將分享我這些年的經(jīng)驗，幫助你避免同樣的錯誤。

這篇博客的順序是按照我犯錯的嚴重程度編排的，所以我首先提到的是那些使人浪費最多錢的錯誤。

GPU

假設(shè)你將用GPU來進行深度學(xué)習(xí)或者你正在構(gòu)建或者升級用于深度學(xué)習(xí)的系統(tǒng)，那么拋開GPU是不合理的。GPU是深度學(xué)習(xí)應(yīng)用的心臟——訓(xùn)練過程速度的提升是非常的大的，不容忽視。

我在GPU推薦博客中對如何選擇GPU講的非常詳細，如何選擇GPU在深度學(xué)習(xí)系統(tǒng)中相當關(guān)鍵。在選擇GPU時，你可能會犯這三個錯誤：（1）性價比不高，（2）內(nèi)存不夠大，（3）散熱差。

性價比方面，我通常推薦 RTX 2070或者 RTX 2080 Ti。使用這些顯卡的時候，你應(yīng)該使用16位的模型，除此以外，eBay 的 GTX 1070， GTX 1080 和 GTX 1080 Ti 是非常好的選擇，選擇他們時，可以使用32位的模型，但不能是16位的模型。

在選擇GPU時，要十分留意你的內(nèi)存需求。在消耗同樣內(nèi)存的情況下，相比GTX，能跑16位模型的RTX能夠訓(xùn)練2倍大小的模型。正是因為RTX有著內(nèi)存優(yōu)勢，選擇RTX、學(xué)習(xí)高效地使用16位模型，能夠帶給你更好的的使用體驗。通常，對內(nèi)存的要求大致如下：

追求最高水平分數(shù)的研究：>=11 GB
探尋有趣架構(gòu)的研究：>=8 GB
其他的研究：8 GB
Kaggle：4 – 8 GB
初學(xué)者：8 GB (但是要注意檢查下應(yīng)用領(lǐng)域的模型大小)
企業(yè)：8 GB 用于原型， >=11 GB 用于訓(xùn)練

在你買了多塊RTX顯卡時，需要留意散熱問題。如果你想將 GPU 固定在彼此相鄰的 PCIe 插槽中，應(yīng)該確保使用帶有鼓風(fēng)機式風(fēng)扇的 GPU。否則，您可能會遇到溫度問題，并且您的 GPU 速度會變慢（約30％）并且損耗得更快。

深度學(xué)習(xí)的完整硬件指南

找茬時間到！

你能否識別出因性能不佳而出現(xiàn)故障的硬件部分？是其中一個GPU？或者也許這是CPU的錯？

RAM

購買內(nèi)存最大的錯誤就是買了主頻太高的內(nèi)存。第二個錯誤是沒有購買足夠大的內(nèi)存，導(dǎo)致在原型構(gòu)建上出問題。

需要的主頻

主頻是內(nèi)存公司引誘你購買“更快”的內(nèi)存的一種營銷手段，實際上幾乎沒有產(chǎn)生任何性能的提升。這個關(guān)于RAM的視頻很詳細地解釋了內(nèi)存在Linux上的技術(shù)竅門：內(nèi)存速度真的重要嗎？

此外，重要的是要知道內(nèi)存速度與快速CPU RAM-> GPU RAM傳輸幾乎無關(guān)。這是因為（1）如果你使用固定內(nèi)存（pinned memory），那么你的mini-batch會直接傳輸?shù)紾PU中而不需要CPU的干預(yù)，（2）如果你不使用固定內(nèi)存的話，快的和慢的內(nèi)存獲得的性能差別只有0-3%——把你的錢花到別處去！

內(nèi)存大小

內(nèi)存大小不會影響到深度學(xué)習(xí)的性能。但是，它可能會阻礙你輕松執(zhí)行GPU代碼（無需交換到磁盤）。你應(yīng)該有足夠的內(nèi)存來愉快地配合GPU工作。這意味你至少應(yīng)該有匹配GPU的內(nèi)存大小。比如說，如果你有一張24GB顯存的Titan RTX，那你至少應(yīng)該有24GB的內(nèi)存。但是，如果你有多塊GPU的話，你不需要更多的內(nèi)存。

“在內(nèi)存上匹配最大的GPU顯存”策略在于，如果你在處理大數(shù)據(jù)集時，你可能夠還是會內(nèi)存不足。最好的方式是和你的GPU匹配，如果你覺得內(nèi)存不夠，再買更大的內(nèi)存。

另外一個不同的策略受心理學(xué)的影響：心理學(xué)告訴我們，專注是一種隨著時間推移而耗盡的資源。內(nèi)存是為數(shù)不多的硬件之一，可以讓您浪費專注的精力，從而聚焦在解決更困難的編程問題。如果你有更多的內(nèi)存，你可以將注意力集中在更緊迫的事情上，而不是困擾在內(nèi)存瓶頸上浪費了大量時間。有了大量內(nèi)存你就可以避開這些瓶頸，為更為緊急的問題節(jié)約時間，提升效率。特別在Kaggle比賽中，我發(fā)現(xiàn)有著額外的內(nèi)存對于特征工程是非常有幫助的。如果資金足夠，并且好做大量的預(yù)處理工作，那么增加額外的內(nèi)存是一個非常好的選擇。按照這個策略，現(xiàn)在就要考慮購買更多、實惠的內(nèi)存，而不是后面再考慮。

CPU

人們常犯的最大錯誤是花太多的時間糾結(jié)CPU的PCIe通道數(shù)。其實，你并不需要太在意CPU的PCIe通道數(shù)。取而代之的是，應(yīng)該注重你的CPU和主板的組合是否能夠支撐起想要運行的GPU數(shù)量。第二個最常見錯誤是購買功能過于強大的CPU。

CPU和PCI-Express(新一代總線接口)

很多人癡迷于PCIe的通道數(shù)。然而，事情的真相是PCIe（的通道數(shù)）幾乎不會影響深度學(xué)習(xí)的表現(xiàn)。如果你只有一個單一的GPU，PCIe通道唯一的作用是能夠快速地將數(shù)據(jù)從你的CPU 內(nèi)存中轉(zhuǎn)換到GPU 內(nèi)存中。但是，一個具有32張圖片的ImageNet數(shù)據(jù)集批次（數(shù)據(jù)集的shape為32*225*225*3）和32位模型，在16通道PCIe上訓(xùn)練需要1.1毫秒，在8通道上需要2.3毫秒，在4通道上需要4.5毫秒。這些僅僅是理論上的數(shù)值，而在實際中你常常會發(fā)現(xiàn)PCIe會比理論速度慢上兩倍——但是它仍然像閃電一樣快。PCIe 通道的延時通常在納秒范圍內(nèi)，因此其延時問題可以被忽視。

綜上考慮后，我們提出了使用152層殘差網(wǎng)絡(luò)訓(xùn)練一個具有32張圖片的小批量ImageNet數(shù)據(jù)集所需的時間，如下所示：

向前傳播和向后傳播用時：216毫秒(ms)
使用16通道PCIe將數(shù)據(jù)從CPU內(nèi)存轉(zhuǎn)換到GPU內(nèi)存用時:大概2ms(理論上1.1ms)
使用8通道PCIe將數(shù)據(jù)從CPU內(nèi)存轉(zhuǎn)換到GPU內(nèi)存用時:大概5ms（理論上2.3ms）
使用4通道PCIe將數(shù)據(jù)從CPU內(nèi)存轉(zhuǎn)換到GPU內(nèi)存用時:大概9ms（理論上4.5ms）

因此將4通道的PCIe換成16通道的PCIe將給你的訓(xùn)練表現(xiàn)帶來大概3.2%的提升。然而，如果你的pyTorch數(shù)據(jù)下載器含有CUDA頁鎖定內(nèi)存，那么（改變PCIe的通道）其實給你的訓(xùn)練表現(xiàn)帶來的提升是0%。所以如果你僅使用1個GPU，那么不要把你的錢浪費在PCIe上！

當你在選擇CPU的PCIe通道和主板PCIe通道時，（一定要）明確所選的CPU和主板組合能夠支持期望的GPU數(shù)量。如果你買了一個支持2個GPU的主板，并且你最終確實需要用到2個GPU，那么就需要確認你購買的CPU能夠支持2個GPU，而沒有必要糾結(jié)PCIe的通道數(shù)。

PCIe通道數(shù)和多GPU并行

如果你在多GPU上并行的訓(xùn)練數(shù)據(jù)時，PCIe的通道數(shù)是重要的嗎？針對這個問題我在2016年的ICLR會議中發(fā)表了一篇論文，而且我可以告訴你如果你有96個GPU那么PCIe的通道數(shù)確實非常重要。然而如果你只有4個或者更少的GPU，那么PCIe通道數(shù)的影響不大。如果在兩到三個GPU上訓(xùn)練，我完全不會關(guān)心PCIe的通道數(shù)。當我使用四個GPU訓(xùn)練時，我才會確保每個GPU都能夠得到8條PCIe通道的支持（總共32條PCIe通道）。由于幾乎沒有人會在超過4個GPU上面運行一個系統(tǒng)，那么記住一個經(jīng)驗準則：不要為了在每個GPU中得到更多的PCIe花額外的錢——這沒有必要！

所需的 CPU 核數(shù)

為了能夠在CPU上作出明確的選擇，我們首先需要了解CPU以及它和深度學(xué)習(xí)間的關(guān)系。CPU為深度學(xué)習(xí)做了什么？當你在一個GPU上運行你的深度網(wǎng)絡(luò)時，CPU僅進行很簡單的運算。它主要主要(1)啟動GPU函數(shù)調(diào)用，(2)執(zhí)行CPU函數(shù)。

目前，CPU最大的應(yīng)用是數(shù)據(jù)預(yù)處理。常用的兩種數(shù)據(jù)預(yù)處理策略有著不同的CPU需求。

一種策略是在訓(xùn)練過程中進行預(yù)處理：

循環(huán)以下（三個）步驟：

1.導(dǎo)入小批量數(shù)據(jù)

2.預(yù)處理小批量數(shù)據(jù)

3. 訓(xùn)練小批量數(shù)據(jù)

第二種預(yù)處理策略是在訓(xùn)練之前進行預(yù)處理操作：

1. 導(dǎo)入數(shù)據(jù)

2. 循環(huán)以下（兩個）步驟：
導(dǎo)入小批量數(shù)據(jù)
訓(xùn)練小批量數(shù)據(jù)

對于第一種策略，一個多核CPU可以明顯地加強訓(xùn)練表現(xiàn)。對于第二種策略，你不需要一個很好的CPU。對第一種訓(xùn)練策略，我建議每個GPU至少有4個線程——通常每個GPU有兩個核心。我沒有對此進行嚴格的測試，但是每增加一個核心/GPU應(yīng)該有0-5%的額外性能提升。

對于第二種策略，我建議每個GPU最少有2個線程——通常每個GPU有一個核心。如果你使用第二種策略，那么更多的內(nèi)核并不會給你帶來明顯的性能提升。

所需的 CPU 主頻（時鐘頻率）

當人們考慮（購買）快速的CPU時，他們通常首先查看時鐘頻率。4GHz的CPU比3.5GHz的好，是嗎？這對于比較具有相同結(jié)構(gòu)的處理器來說通常是正確的，例如“Ivy Bridge微架構(gòu)”，但是對于不同架構(gòu)的處理器來說這并不好比較。此外，CPU主頻并不總是衡量性能的最佳方法。

在深度學(xué)習(xí)中CPU僅僅做一些微不足道的計算：增加一些參數(shù)，評估布爾表達式，在GPU或程序內(nèi)進行函數(shù)調(diào)用——這些都取決于CPU核心的時鐘頻率。

雖然這些理由看似合理，但是當我運行深度學(xué)習(xí)程序時卻發(fā)現(xiàn)CPU使用率為100%，那么這是為什么呢？為了找尋答案，我做了一些CPU降頻實驗。

深度學(xué)習(xí)的完整硬件指南

在MNIST和ImageNet數(shù)據(jù)集上的GPU降頻實驗：不同CPU時鐘頻率的性能以訓(xùn)練200個epoch的MNIST數(shù)據(jù)集和50個epoch的ImageNet數(shù)據(jù)集所花費的時間來衡量，其中最大的時鐘頻率作為每個CPU的基線。作為比較：從GTX 680升級到GTX Titan的性能提升約為 15％; 從GTX Titan到GTX 980又提升20％的性能; GPU超頻可為任何GPU帶來5％的性能提升。

值得注意的是，這些實驗是在落后過時的硬件設(shè)備上進行的，然而，對于現(xiàn)代的CPU/GPU它的結(jié)果仍然不變。

硬盤/SSD

一般來說硬盤不是深度學(xué)習(xí)的瓶頸。但也別整這種蠢事兒：當你從一個100MB/s的硬盤讀取mini-batch為32的ImageNet時候，需要185毫秒。你可以在數(shù)據(jù)使用前異步加載數(shù)據(jù)（比如說torch vision loader），因為加載數(shù)據(jù)需要185毫秒而ImageNet上運行的大多數(shù)DNN需要200毫秒來計算。我們完全可以提前加載下一個mini-batch來避免性能損失。

從生產(chǎn)效率來說，我推薦SSD，因為程序啟動反應(yīng)更快，大文件的預(yù)處理速度也更快。另外，NVMe SSD會帶給你更好的使用體驗。

電源（PSU）

你得確保你的電源能夠滿足所有預(yù)留GPU的功率需求。一般來說，GPU能耗會越來越低，所以不用更換電源，買個好的電源是個值當?shù)馁I賣。

在計算需要的功率時，你最好加上所有CPU和GPU功耗的10%作為功率峰值的緩沖。舉個例子，你有四個250瓦的GPU和一個150瓦的CPU，那我們需要一個最少4×250 + 150 + 100 = 1250瓦的電源。一般我會加上至少10%來確保一切正常，那么在這種情況下一共需要1375瓦。最后我會買一個1400瓦的電源。

你得注意有些電源即使達到了要求的功率，但是沒有足夠的8針或者6針PCIe插槽接口。你得多多注意這點。

另外請盡量購買高功率功效的電源——特別是你運行多個GPU且長時間運行。

滿負載運行一個4GPU系統(tǒng)（1000-1500瓦）來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)兩周會消耗300-500千瓦時。德國每千瓦時的價格是20分，所以會用60-100歐（66-111美金）。剛剛我們假設(shè)的電源效率是100%，如果使用的是效率是80%的電源，還要額外消耗18-26歐。使用單顆GPU的話，會少很多。但是不影響重點：值得在高效電源上多花點兒錢。

全天候的使用一些GPU會顯著的增加你的碳排放足跡，甚至這比你的交通（譬如飛機）和其他因素還要多。如果你想要負責(zé)的話，可以用紐約大學(xué)機器學(xué)習(xí)語言組（ML2）- 很容易辦到，也很便宜，可以作為深度學(xué)習(xí)研究院的標準。

CPU 和 GPU 的冷卻系統(tǒng)

冷卻非常重要，是整個系統(tǒng)中一個重要的瓶頸。相比較于糟糕的硬件選擇，它更容易降低性能。對于CPU，你可以使用標準散熱器或者一體化（AIO）水冷解決方案。但是對于GPU，你需要特別注意。

風(fēng)冷 GPUs

如果你有多顆GPU并且他們中間有足夠的空間（在3-4顆GPU的位置放置2顆GPU），風(fēng)冷是安全可靠的。當你想去冷卻3-4顆GPU的時候，可能會犯一個巨大的錯誤。這時候你需要認證考慮在這個案例中的選擇。

運行一個算法的時候，現(xiàn)代GPU會提高他們的速度以及功耗，直至最大值。一旦GPU達到溫度臨界值（通常為80°C），GPU就會降低運算速度防止達到溫度闕值。這樣可以在保持GPU過熱的同時實現(xiàn)最佳性能。

對于深度學(xué)習(xí)程序而言，典型的風(fēng)扇速度預(yù)編程時間表設(shè)計得很糟糕。啟動一個深度學(xué)習(xí)程序后幾秒鐘就會達到溫度闕值，結(jié)果就是性能會下降0-10%。多個GPU之間相互加熱，性能會下降的更明顯（10%-25%）。

因為 NVIDIA GPU 在大部分情況下是作為游戲 GPU，它們對windows進行了優(yōu)化。在Windows中點一點鼠標就能改變風(fēng)扇計劃的方式在Linux中行不通?？墒谴蠖鄶?shù)深度學(xué)習(xí)庫都是針對Linux編寫。

如果你有一臺Xorg服務(wù)器（Ubuntu），唯一的選項是用“coolbits”來設(shè)置溫度。對于單個GPU來說，這種方法非常奏效。當有多個GPU的時候，其中一些沒有監(jiān)視器，模擬出監(jiān)視器來監(jiān)測他們是很艱難晦澀的工作。我曾經(jīng)花過很長的時間嘗試使用實時啟動CD來恢復(fù)我的圖形設(shè)置，但是從沒有在無監(jiān)視器GPU上成功運行過。

在風(fēng)冷系統(tǒng)下運行3-4顆GPU需要尤其重視風(fēng)扇設(shè)計?！肮娘L(fēng)機式”風(fēng)扇設(shè)計讓冷風(fēng)進入GPU，然后從機箱背部吹出熱風(fēng)。“非鼓風(fēng)機式”風(fēng)扇吸入GPU附近的空氣來冷卻它。但是如果是多顆GPU，那么它們的周圍就沒有冷空氣，使用“非鼓風(fēng)機式”風(fēng)扇的GPU會越來越熱，最終通過降低性能來降溫。我們應(yīng)該不惜一切代價來必變在3-4顆GPU的環(huán)境中使用“非鼓風(fēng)機式”風(fēng)扇。

多GPU使用的水冷系統(tǒng)

另一種更棒更昂貴的方式是使用水冷系統(tǒng)。如果你只有一顆GPU或者兩顆GPU之間有足夠的空間（比如在3-4顆GPU的主板上有兩顆GPU），我不建議使用水冷系統(tǒng)。在4GPU配置中，水冷保證即使最強勁的GPU也能保持低溫，而這在風(fēng)冷中是不可能實現(xiàn)的。水冷的另一個優(yōu)點是運行很安靜，這對于在公共區(qū)域運行多GPU來說是一個巨大的優(yōu)勢。每顆GPU需要100美金的成本安裝水冷，另外需要一些額外的前期成本（大約50美金）。組裝有水冷的計算機也會需要一些額外工作，但是不用擔(dān)心，會有詳細的指南來指導(dǎo)你安裝，僅僅需要你多付出幾個小時。維護工作也沒有那么的復(fù)雜費力。

一個冷卻的案例

大型的塔式服務(wù)器在GPU位置有額外的風(fēng)扇，所以我為深度學(xué)習(xí)集群購買了他們。然后我發(fā)現(xiàn)太不劃算了，只下降了2-5°C卻要付出大量的投資。最重要的部分是直接在GPU上安裝冷卻系統(tǒng)，完全沒必要為冷卻系統(tǒng)買貴不啦嘰的殼子。

冷卻的總結(jié)

對于一個GPU來說，風(fēng)冷足夠了。如果你有多個GPU，你可以在接受性能損失（10% - 15%）的情況下使用“鼓風(fēng)式”風(fēng)冷系統(tǒng)，或者花更多的錢購置水冷系統(tǒng)，雖然難以設(shè)置但是它可以保證沒有性能損失。對于不同的場景，我們可以因地制宜選擇風(fēng)冷或者水冷。我建議使用風(fēng)冷就好--使用“鼓風(fēng)式”GPU。如果你想使用水冷，請使用一體化水冷（AIO）方案。

主板

你的主板上應(yīng)該有足夠的PCIe端口來支持你需要運行的GPU數(shù)量（即使你有更多的PCIe 插槽，但是一般限制最多4顆GPU）；另外，銘記大部分GPU都會占據(jù)兩個PCIe卡槽的寬度，所以如果想使用多顆GPU，請確保購買的主板有足夠的預(yù)留空間。主板不僅需要有足夠的PCIe插槽位置，而且需要支持你購買的GPU。在新蛋上你可以查看到對應(yīng)主板的信息和PCIe情況。

電腦機箱

麻煩買個能放下全尺寸長度GPU的機箱。大部分的機箱都沒問題，不過還是查看尺寸規(guī)格來確保沒有買了個小號的；或者你可以嘗試在google image里面搜索這款兒，然后看有沒有有GPU在里面的圖片。

另外如果使用定制化水冷系統(tǒng)，得確保你的機箱有足夠空間來放置散熱器。因為每個GPU的散熱器都需要單獨的空間。

顯示器

剛開始吧我覺得寫一些關(guān)于顯示器的心得很蠢，但是它們各不相同，所以我還是整點話吧。

花在我的3臺27寸顯示器上的錢是我最值當?shù)耐顿Y了。當使用多顯示器的時候，生產(chǎn)力提升很多。只有一臺顯示器的話，我會感覺完全干不了活。在這事兒上別妥協(xié)，如果干活不開森，深度學(xué)習(xí)系統(tǒng)再快有啥意思咧？

深度學(xué)習(xí)的完整硬件指南