雷鋒網(wǎng)獲悉。近日，英特爾開源了基于 Apache Spark 框架的分布式深度學(xué)習(xí)庫 BigDL。通過使用BigDL，用戶可以將他們的深度學(xué)習(xí)應(yīng)用程序作為標(biāo)準(zhǔn)的 Spark 程序發(fā)布（即將基于BigDL的深度學(xué)習(xí)代碼直接嵌入已有的Spark程序中），同時，BigDL還簡化了基于Hadoop框架的數(shù)據(jù)加載過程。

據(jù)團隊在GitHub平臺上的介紹，BigDL具有如下三大特點：

1. 豐富的深度學(xué)習(xí)支持。

BigDL的源代碼基于Scala語言實現(xiàn)，同時從Torch框架中汲取了諸多先進的理念。比如像Torch一樣，BigDL也為用戶實現(xiàn)了一個Tensor類，該類基于英特爾MKL庫實現(xiàn)，可以進行各種常見的高階數(shù)學(xué)運算。另外，受到 Torch 框架下的神經(jīng)網(wǎng)絡(luò)包（這里指 nn 包，neural network package） 的啟發(fā)，BigDL還提出了Module類的概念，同時還模仿Torch實現(xiàn)了Table類和Criterion類。

雷鋒網(wǎng)注：這里MKL庫的全稱是“Math Kernel Library”，即英特爾的數(shù)學(xué)核心函數(shù)庫，其中包含了諸多常規(guī)數(shù)學(xué)計算的最優(yōu)實現(xiàn)，包括快速傅里葉變換和矩陣乘法等，這些計算在深度學(xué)習(xí)領(lǐng)域的模型訓(xùn)練中有著非常廣泛的應(yīng)用。

2. 極高的性能表現(xiàn)。

BigDL基于一種同步小批量的隨機梯度下降法（Stochastic Gradient Descent，SGD）對模型進行訓(xùn)練，該方法的能夠支持單個 Spark 任務(wù)的跨平臺運行，每個平臺的執(zhí)行器（executor）都可以執(zhí)行一個多線程引擎并處理其中一小部分的批量數(shù)據(jù)。

正式由于引入了英特爾MKL和多線程，使得BigDL庫在英特爾 Xeon 服務(wù)器上的表現(xiàn)要優(yōu)于Caffe、Torch 或 TensorFlow 等其他的開源框架，甚至達到了主流GPU的運算速度。

3. 強大的擴展能力。

BigDL 可以通過利用 Apache Spark 框架、同步的隨機梯度下降算法，和 Spark 框架下的 all-reduce 通信進行有效的擴展，以“大數(shù)據(jù)的規(guī)模”執(zhí)行數(shù)據(jù)分析任務(wù)。外媒報道稱，BigDL 可一次支持幾十個 Xeon 服務(wù)器的擴展。

根據(jù)上述特點，團隊在GitHub平臺上給出了如下三點BigDL最適合的應(yīng)用場景：

1. 直接在Hadoop/Spark框架下進行大數(shù)據(jù)分析（即將數(shù)據(jù)存儲在HDFS、HBase、Hive等數(shù)據(jù)庫上）；

2. 在Spark程序中/工作流中加入深度學(xué)習(xí)功能；

3. 利用現(xiàn)有的 Hadoop/Spark 集群來運行深度學(xué)習(xí)程序，然后將代碼與其他的應(yīng)用場景進行動態(tài)共享，例如ETL（Extract、Transform、Load，即通常所說的數(shù)據(jù)抽取）、數(shù)據(jù)倉庫（data warehouse）、功能引擎、經(jīng)典機器學(xué)習(xí)、圖表分析等。

值得一提的是，BigDL提供了一個基于亞馬遜AWS EC2服務(wù)器實現(xiàn)的完整鏡像，并附帶諸多可以直接運行的用例：包括使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的文本分類用例、圖像分類用例，以及將 Torch/Caffe 中經(jīng)過預(yù)訓(xùn)練的模型加載到 Spark 中進行預(yù)測計算的用例等，感興趣的朋友可以在這里查看：   https://github.com/intel-analytics/BigDL/wiki/Running-on-EC2

目前，社區(qū)討論中的大多數(shù)用戶都表示希望 BigDL 的后續(xù)版本加入對 Python 的支持，以及開發(fā)基于MKL的深度學(xué)習(xí)擴展包。

BigDL庫在GitHub平臺上的開源地址如下：  https://github.com/intel-analytics/BigDL   感興趣的朋友可以在頁面下方找到團隊給出的各種教程，包括如何在各個操作系統(tǒng)平臺上安裝和運行BigDL，以及BigDL在谷歌討論組的地址等。

來源：infoq，雷鋒網(wǎng)編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。