0
雷鋒網 AI 科技評論按：日前，阿里巴巴宣布將旗下的大數(shù)據營銷平臺阿里媽媽的算法框架 X-Deep Learning（下文簡稱 XDL）進行開源。XDL 是阿里媽媽基于自身廣告業(yè)務自主研發(fā)的深度學習框架，目前已經大規(guī)模部署應用在核心生產場景。
據悉，這是阿里巴巴首次公開的深度學習框架，不同于 TensorFlow、PyTorch、MxNet 等深度學習開源框架面向圖像、視頻、語音等低維稠密數(shù)據而設計，XDL 是業(yè)界首個面向超大規(guī)模高維稀疏數(shù)據場景的深度學習開源框架。
數(shù)據的高維稀疏性既是阿里媽媽業(yè)務場景的重要特征，也是互聯(lián)網的眾多核心應用場景（如廣告、推薦、搜索等）的特征，覆蓋了大多數(shù)互聯(lián)網企業(yè)的數(shù)據應用模式。而 XDL 對于推薦、搜索、廣告等互聯(lián)網場景的工業(yè)化應用意義重大，其針對推薦、搜索、廣告等場景的訓練方式獨創(chuàng)了結構化壓縮、高階模型嵌套訓練等范式，對大規(guī)模深度網絡的存儲、通信、計算等都有一個數(shù)量級以上的效率提升。
相較于 TensorFlow、PyTorch 等深度學習開源框架來說，XDL 的優(yōu)勢還體現(xiàn)在它不僅僅只是一個訓練框架，還是面向高維稀疏數(shù)據場景的完整解決方案，尤其是一系列在阿里媽媽的核心業(yè)務場景經過生產驗證的算法模型，這對于推薦、搜索、廣告等領域從業(yè)者來說，有極高的參考價值，可以幫助這個行業(yè)的很多團隊實現(xiàn)技術的跨越式前進。
據阿里媽媽透露，XDL 框架從設計之初，就具備了足夠的開放性和易用性，開源是水到渠成的一步。據雷鋒網了解，XDL 框架具有五大系統(tǒng)核心能力：
第一，為高維稀疏數(shù)據場景而生。XDL 針對高維稀疏數(shù)據場景，進行了性能優(yōu)化，支持千億級參數(shù)的超大規(guī)模深度學習模型訓練；
第二，工業(yè)級分布式訓練。XDL 原生支持工業(yè)級的大規(guī)模分布式訓練，具備完整的分布式容災語義，可水平擴展至上干并發(fā)，支持批量學習與在線學習模式；
第三，橋接多后端支持。XDL 創(chuàng)造性地采用了橋接的架構設計理念，復用了現(xiàn)有的開學深度學習框架的單節(jié)點稠密計算能力，支持 TensorFlow 與 MxNet 作為其單節(jié)點計算后端。這種橋接的架構，使得 XDL 跟業(yè)界的開源社區(qū)無縫對接。此外，對于已經在使用其它開源框架的企業(yè)或者個人用戶，也可以在原有系統(tǒng)基礎上輕松進行擴展。
第四，高效的結構化壓縮訓練。XDL 針對互聯(lián)網數(shù)據的特點，提出了結構化壓縮訓練模式，大幅縮減 IO 通信量和訓練計算量，訓練效率可達 10 倍以上的提升；
第五，獨創(chuàng)的高級模型服務器。XDL 提出了全新的 model shuffle 模式，原生支持多模態(tài)網絡、異構計算網絡等復雜算法。
除了核心的 XDL 訓練框架外，阿里媽媽透露將全面開源面向高維稀疏數(shù)據場景的系統(tǒng)化解決方案，計劃分批次對外發(fā)布，包括面向在線實時服務的高性能深度學習預估引擎、面向全庫實時檢索的全新深度學習匹配引擎。值得一提的是，這些系統(tǒng)解決方案還內置阿里媽媽自主研發(fā)的一系列創(chuàng)新算法，包括：
點擊率預估領域的深度興趣網絡（Deep Interest Network，DIN）、用戶興趣演化網絡（Deep Interest Evolution Network，DIEN）以及跨媒介網絡（Cross Media Network，CMN）
轉化率預估領域的全空間多任務模型（Entire Space Multi-task Model，ESMM）
匹配召回領域的樹型深度匹配模型（Tree-based Deep Match，TDM）
模型壓縮領域的基于蒸餾模式的模型壓縮訓練算法（Rocket Training）
最后，我們也來回顧一下 TensorFlow、PyTorch 以及國內的 Paddlepaddle 等深度學習開源框架：
TensorFlow：谷歌于 2015 年 11 月宣布開源 TensorFlow 深度學習框架，這一框架基于谷歌推出的第一代內部深度學習框架——DistBelief 框架。在開源時，谷歌曾表示，開源 TensorFlow 能夠加速谷歌在人工智能上的部署，幫助其在人工智能發(fā)展日益重要的未來搶占更多主導權。過去三年間，TensorFlow 在開發(fā)者社區(qū)享有盛譽，已成為最為常用的深度學習框架之一，目前不僅支持 Eager Execution 動態(tài)圖機制，還集成了 NVIDIA TensorRT，此外，TensorFlow 中文社區(qū)論壇（https://www.tensorflowers.cn）也正式上線。據悉，谷歌將于 2019 年發(fā)布 TensorFlow v 2.0。
PyTorch：2017 年初，F(xiàn)acebook 在 Torch 的基礎上，針對 Python 語言發(fā)布了全新的機器學習工具包——PyTorch。目前，PyTorch 已經融合了 Caffe2 和 ONNX 支持模塊化、面向生產的功能，并保留了其靈活、以研究為中心的設計。
Paddlepaddle：2016 年 8 月底，百度開源自研深度學習平臺 PaddlePaddle。2017 年 11 月，PaddlePaddle 發(fā)布三項新功能：PaddlePaddleFluid，PaddlePaddleCloud，PaddlePaddleEDL，這三大新功能的推出，進一步加強了 PaddlePaddle 的易用性，提高了效率，并降低了開發(fā)者的使用門檻。雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
