0
| 本文作者： 宗仁 | 2016-08-19 17:38 |
進行深度學(xué)習(xí)的訓(xùn)練向來不被認(rèn)為是CPU的強項，但是以CPU研發(fā)見長的英特爾并不甘心屈服于這個定位，在過去的幾年里，英特爾及其合作伙伴一直在探索用CPU來進行快速有效的深度學(xué)習(xí)開發(fā)的方法。代號KNL的Xeon Phi至強芯片是英特爾的努力嘗試之一，同時在深度學(xué)習(xí)算法的改進上，英特爾也做了一些努力。
近日，在美國舊金山舉行的IDF16大會上，與英特爾聯(lián)合宣布啟動了KNL試用體驗計劃的浪潮集團副總裁、技術(shù)總監(jiān)胡雷鈞做了基于英特爾至強融合處理器KNL和FPGA上的深度學(xué)習(xí)的試用體驗報告。報告介紹了高性能計算和深度學(xué)習(xí)發(fā)展的趨勢、深度學(xué)習(xí)在高性能計算平臺上的挑戰(zhàn)和解決辦法、大規(guī)模深度學(xué)習(xí)平臺的系統(tǒng)設(shè)計、多核設(shè)備和機群系統(tǒng)的算法設(shè)計（包括KNL和FPGA各自的技術(shù)分析) 4部分的內(nèi)容。下面我們從摩爾定律的演變開始，看企業(yè)在實踐過程中，如何基于英特爾至強融合處理器KNL和FPGA，搭建最佳的深度學(xué)習(xí)算法。
1965年摩爾定律提出后，我們開始依次進入1965-2005年的單核CPU時代；2006至如今的多核CPU時代；2012至如今的多核英特爾MIC時代。
高性能計算設(shè)備聯(lián)手大數(shù)據(jù)提升深度學(xué)習(xí)的發(fā)展的同時，深度學(xué)習(xí)也在促進新的高性能計算模型的發(fā)展。歸根結(jié)底，我們把深度學(xué)習(xí)現(xiàn)在的成功歸功于三方面：1）大量標(biāo)簽數(shù)據(jù)樣本的出現(xiàn)：圖片（10億級）/語音（10萬小時以上）。2）好的算法，模型，軟件的出現(xiàn)： 算法：DNN/CNN/RNN 軟件：Caffe/TensorFlow/MXNet 3）高性能計算樣本的激勵：AlphaGo可視為典型例子。
具體表現(xiàn)為兩方面，其一，大規(guī)模深度學(xué)習(xí)平臺的系統(tǒng)設(shè)計。比如離線訓(xùn)練要求的：高性能；在線識別要求的：低功耗。其二，多核設(shè)備和機群系統(tǒng)的算法設(shè)計問題。比如，多核設(shè)備異構(gòu)細(xì)粒度并行算法；機群系統(tǒng)的分布式以及粗粒度并行算法。這些都是不容易解決的問題。
上述的挑戰(zhàn)之一，大規(guī)模深度學(xué)習(xí)平臺的系統(tǒng)設(shè)計問題，具體分為兩種：
離線訓(xùn)練平臺特點：計算機密集型/交流密集型——使用KNL平臺最合適。
在線識別平臺特點：高吞吐量，低功耗——使用FPGA平臺最合適。
最終呈現(xiàn)出來的完整深度學(xué)習(xí)平臺，就是KNL+FPGA 機群+OPA網(wǎng)絡(luò)+Lustre存儲 (由Linux和Clusters演化而來, 可以看做一個解決海量存儲問題而設(shè)計的全新文件系統(tǒng))的全新結(jié)合體。
在我們的浪潮—Intel中國并行計算實驗室里，KNL/FPGA技術(shù)研究；HPC/深度學(xué)習(xí)應(yīng)用；第一代 Xeon Phi Book三個方向的探索正如火如荼地進行著。
下面詳細(xì)介紹具體應(yīng)用實踐中（SKA【平方公里陣列望遠(yuǎn)鏡】的數(shù)據(jù)處理軟件Gridding、大規(guī)模線性方程組求解器GMRES和開源深度學(xué)習(xí)并行計算框架Caffe-MPI的KNL版本）的高性能計算平臺和其算法表現(xiàn)。
它是英特爾第二代MIC架構(gòu)，基于X86 架構(gòu)的多核計算：擁有最多72核，總計288線程。目前有3個產(chǎn)品模型：包括處理器；協(xié)處理器；KNL-F。支持大規(guī)模記憶和高速寬帶：DDR4：384 GB，90+GB/s。MCDRAM: 16GB, 500GB/s。
KNL技術(shù)的優(yōu)勢：高性能、高應(yīng)用可適性、高可擴展性、可編程。
性能：1KNL/2 CPU=6.88X 。（疊加）擴展效率：95%
Caffe有許多用戶，在中國非常流行。在數(shù)據(jù)規(guī)模很大的情況下，一個節(jié)點通常需要很長的時間去訓(xùn)練。這就要求，Caffe的前饋計算，權(quán)重計算，網(wǎng)絡(luò)更新可在并行機群環(huán)境中處理。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
