雷鋒網(wǎng) AI 科技評論按：日前，阿里巴巴宣布將旗下的大數(shù)據(jù)營銷平臺阿里媽媽的算法框架 X-Deep Learning（下文簡稱 XDL）進(jìn)行開源。XDL 是阿里媽媽基于自身廣告業(yè)務(wù)自主研發(fā)的深度學(xué)習(xí)框架，目前已經(jīng)大規(guī)模部署應(yīng)用在核心生產(chǎn)場景。

業(yè)界首個面向高維稀疏數(shù)據(jù)場景的深度學(xué)習(xí)開源框架

據(jù)悉，這是阿里巴巴首次公開的深度學(xué)習(xí)框架，不同于 TensorFlow、PyTorch、MxNet 等深度學(xué)習(xí)開源框架面向圖像、視頻、語音等低維稠密數(shù)據(jù)而設(shè)計(jì)，XDL 是業(yè)界首個面向超大規(guī)模高維稀疏數(shù)據(jù)場景的深度學(xué)習(xí)開源框架。

數(shù)據(jù)的高維稀疏性既是阿里媽媽業(yè)務(wù)場景的重要特征，也是互聯(lián)網(wǎng)的眾多核心應(yīng)用場景（如廣告、推薦、搜索等）的特征，覆蓋了大多數(shù)互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)應(yīng)用模式。而 XDL 對于推薦、搜索、廣告等互聯(lián)網(wǎng)場景的工業(yè)化應(yīng)用意義重大，其針對推薦、搜索、廣告等場景的訓(xùn)練方式獨(dú)創(chuàng)了結(jié)構(gòu)化壓縮、高階模型嵌套訓(xùn)練等范式，對大規(guī)模深度網(wǎng)絡(luò)的存儲、通信、計(jì)算等都有一個數(shù)量級以上的效率提升。

相較于 TensorFlow、PyTorch 等深度學(xué)習(xí)開源框架來說，XDL 的優(yōu)勢還體現(xiàn)在它不僅僅只是一個訓(xùn)練框架，還是面向高維稀疏數(shù)據(jù)場景的完整解決方案，尤其是一系列在阿里媽媽的核心業(yè)務(wù)場景經(jīng)過生產(chǎn)驗(yàn)證的算法模型，這對于推薦、搜索、廣告等領(lǐng)域從業(yè)者來說，有極高的參考價值，可以幫助這個行業(yè)的很多團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)的跨越式前進(jìn)。

引領(lǐng)高維稀疏數(shù)據(jù)場景的深度學(xué)習(xí)標(biāo)準(zhǔn)，打造開放與易用的 XDL 框架

據(jù)阿里媽媽透露，XDL 框架從設(shè)計(jì)之初，就具備了足夠的開放性和易用性，開源是水到渠成的一步。據(jù)雷鋒網(wǎng)了解，XDL 框架具有五大系統(tǒng)核心能力：

第一，為高維稀疏數(shù)據(jù)場景而生。XDL 針對高維稀疏數(shù)據(jù)場景，進(jìn)行了性能優(yōu)化，支持千億級參數(shù)的超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練；

第二，工業(yè)級分布式訓(xùn)練。XDL 原生支持工業(yè)級的大規(guī)模分布式訓(xùn)練，具備完整的分布式容災(zāi)語義，可水平擴(kuò)展至上干并發(fā)，支持批量學(xué)習(xí)與在線學(xué)習(xí)模式；

第三，橋接多后端支持。XDL 創(chuàng)造性地采用了橋接的架構(gòu)設(shè)計(jì)理念，復(fù)用了現(xiàn)有的開學(xué)深度學(xué)習(xí)框架的單節(jié)點(diǎn)稠密計(jì)算能力，支持 TensorFlow 與 MxNet 作為其單節(jié)點(diǎn)計(jì)算后端。這種橋接的架構(gòu)，使得 XDL 跟業(yè)界的開源社區(qū)無縫對接。此外，對于已經(jīng)在使用其它開源框架的企業(yè)或者個人用戶，也可以在原有系統(tǒng)基礎(chǔ)上輕松進(jìn)行擴(kuò)展。

第四，高效的結(jié)構(gòu)化壓縮訓(xùn)練。XDL 針對互聯(lián)網(wǎng)數(shù)據(jù)的特點(diǎn)，提出了結(jié)構(gòu)化壓縮訓(xùn)練模式，大幅縮減 IO 通信量和訓(xùn)練計(jì)算量，訓(xùn)練效率可達(dá) 10 倍以上的提升；

第五，獨(dú)創(chuàng)的高級模型服務(wù)器。XDL 提出了全新的 model shuffle 模式，原生支持多模態(tài)網(wǎng)絡(luò)、異構(gòu)計(jì)算網(wǎng)絡(luò)等復(fù)雜算法。

創(chuàng)新的算法解決方案

除了核心的 XDL 訓(xùn)練框架外，阿里媽媽透露將全面開源面向高維稀疏數(shù)據(jù)場景的系統(tǒng)化解決方案，計(jì)劃分批次對外發(fā)布，包括面向在線實(shí)時服務(wù)的高性能深度學(xué)習(xí)預(yù)估引擎、面向全庫實(shí)時檢索的全新深度學(xué)習(xí)匹配引擎。值得一提的是，這些系統(tǒng)解決方案還內(nèi)置阿里媽媽自主研發(fā)的一系列創(chuàng)新算法，包括：

• 點(diǎn)擊率預(yù)估領(lǐng)域的深度興趣網(wǎng)絡(luò)（Deep Interest Network，DIN）、用戶興趣演化網(wǎng)絡(luò)（Deep Interest Evolution Network，DIEN）以及跨媒介網(wǎng)絡(luò)（Cross Media Network，CMN）

• 轉(zhuǎn)化率預(yù)估領(lǐng)域的全空間多任務(wù)模型（Entire Space Multi-task Model，ESMM）

• 匹配召回領(lǐng)域的樹型深度匹配模型（Tree-based Deep Match，TDM）

• 模型壓縮領(lǐng)域的基于蒸餾模式的模型壓縮訓(xùn)練算法（Rocket Training）

最后，我們也來回顧一下 TensorFlow、PyTorch 以及國內(nèi)的 Paddlepaddle 等深度學(xué)習(xí)開源框架：

• TensorFlow：谷歌于 2015 年 11 月宣布開源 TensorFlow 深度學(xué)習(xí)框架，這一框架基于谷歌推出的第一代內(nèi)部深度學(xué)習(xí)框架——DistBelief 框架。在開源時，谷歌曾表示，開源 TensorFlow 能夠加速谷歌在人工智能上的部署，幫助其在人工智能發(fā)展日益重要的未來搶占更多主導(dǎo)權(quán)。過去三年間，TensorFlow 在開發(fā)者社區(qū)享有盛譽(yù)，已成為最為常用的深度學(xué)習(xí)框架之一，目前不僅支持 Eager Execution 動態(tài)圖機(jī)制，還集成了 NVIDIA TensorRT，此外，TensorFlow 中文社區(qū)論壇（https://www.tensorflowers.cn）也正式上線。據(jù)悉，谷歌將于 2019 年發(fā)布 TensorFlow v 2.0。

• PyTorch：2017 年初，F(xiàn)acebook 在 Torch 的基礎(chǔ)上，針對 Python 語言發(fā)布了全新的機(jī)器學(xué)習(xí)工具包——PyTorch。目前，PyTorch 已經(jīng)融合了 Caffe2 和 ONNX 支持模塊化、面向生產(chǎn)的功能，并保留了其靈活、以研究為中心的設(shè)計(jì)。

• Paddlepaddle：2016 年 8 月底，百度開源自研深度學(xué)習(xí)平臺 PaddlePaddle。2017 年 11 月，PaddlePaddle 發(fā)布三項(xiàng)新功能：PaddlePaddleFluid，PaddlePaddleCloud，PaddlePaddleEDL，這三大新功能的推出，進(jìn)一步加強(qiáng)了 PaddlePaddle 的易用性，提高了效率，并降低了開發(fā)者的使用門檻。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。