0
雷鋒網(wǎng) AI 科技評(píng)論按：11 月 28 日，阿里巴巴宣布將旗下的大數(shù)據(jù)營銷平臺(tái)阿里媽媽的算法框架 X-Deep Learning（下文簡稱 XDL）進(jìn)行開源，其中，XDL 的面向高維稀疏數(shù)據(jù)場(chǎng)景、工業(yè)級(jí)分布式訓(xùn)練以及橋接多后端支持三大主要特點(diǎn)，更是引起了業(yè)界的廣泛關(guān)注。
12 月 21 日，阿里媽媽正式對(duì) XDL 開源，雷鋒網(wǎng) AI 科技評(píng)論也借這一機(jī)會(huì)對(duì)阿里媽媽 XLD 團(tuán)隊(duì)進(jìn)行了采訪，來了解 XDL 研發(fā)背后的契機(jī)和技術(shù)積累、應(yīng)用場(chǎng)景、特點(diǎn)優(yōu)勢(shì)及未來規(guī)劃。
XDL 四位主要負(fù)責(zé)人：
靖世：研究員，阿里媽媽定向廣告技術(shù)團(tuán)隊(duì)負(fù)責(zé)人兼阿里媽媽算法平臺(tái)負(fù)責(zé)人
見獨(dú)：資深技術(shù)專家，阿里媽媽工程平臺(tái)技術(shù)負(fù)責(zé)人
懷人：資深算法專家，阿里媽媽算法平臺(tái)深度學(xué)習(xí)方向負(fù)責(zé)人兼定向廣告排序算法團(tuán)隊(duì)負(fù)責(zé)人
樂迪：資深技術(shù)專家，阿里媽媽大數(shù)據(jù)計(jì)算與機(jī)器學(xué)習(xí)平臺(tái)的工程架構(gòu)負(fù)責(zé)人
據(jù)悉，XDL 這一框架的研發(fā)萌芽于 2016 年年初，當(dāng)時(shí) XDL 團(tuán)隊(duì)就開始探索深度學(xué)習(xí)在廣告技術(shù)中端到端建模的方法，在這個(gè)過程中遇到的來自業(yè)務(wù)和技術(shù)方面的挑戰(zhàn)，則促成了 XDL 研發(fā)。
在采訪中，XDL 團(tuán)隊(duì)透露，在阿里發(fā)布開源 XDL 這一消息后，就有超過十家以上的大中型公司向阿里媽媽團(tuán)隊(duì)表達(dá)了它們的需求，這無疑大大也大大增強(qiáng)了團(tuán)隊(duì)對(duì)于這一框架的信心。采訪最后，他們還表達(dá)了對(duì) XDL 的愿景：「希望在國內(nèi)的推薦、搜索、廣告領(lǐng)域，XDL 是深度學(xué)習(xí)框架最主流的選擇?！?/p>
1.這一框架是從什么時(shí)候開始進(jìn)行研發(fā)的？基于怎樣的契機(jī)和阿里已有的技術(shù)積累？
XDL 是從 2016 年中期開始研發(fā)的。不過實(shí)際上，早在 2016 年初的時(shí)候，我們就在探討深度學(xué)習(xí)在廣告技術(shù)的發(fā)展方向，并在當(dāng)時(shí)提出了面向核心的點(diǎn)擊率（CTR）預(yù)估建模的 Deep Interest Network 算法雛形；2016 年年中，我們啟動(dòng)了第一個(gè)基于深度學(xué)習(xí)的端到端 CTR 模型的研發(fā)，并且希望不只是采用 Embedding+MLP 這樣的簡單架構(gòu)，而是實(shí)現(xiàn)深度學(xué)習(xí)模型更靈活多樣的創(chuàng)新迭代。這是 XDL 項(xiàng)目啟動(dòng)前的一個(gè)大背景。
具體來說，XDL 的研發(fā)主要受業(yè)務(wù)和技術(shù)兩個(gè)層面的驅(qū)動(dòng)，這也是該項(xiàng)目啟動(dòng)的契機(jī)：
一方面是業(yè)務(wù)場(chǎng)景對(duì)深度學(xué)習(xí)提出了更高的要求。在淘寶這樣的電商場(chǎng)景下，數(shù)據(jù)具有高維稀疏的特點(diǎn)，比如在淘寶上的一個(gè)用戶對(duì)應(yīng)一個(gè)商品，二者間的樣本非常稀疏，因而給數(shù)據(jù)表示、組織以及傳輸、計(jì)算帶來了極大的挑戰(zhàn)。一開始，我們也曾嘗試過使用 TensorFlow 來構(gòu)建技術(shù)框架來解決這一問題，但實(shí)踐后很快得出結(jié)論，單純使用 TensorFlow 很難解決阿里媽媽面對(duì)的問題。
另一方面則是技術(shù)的變革驅(qū)動(dòng)了我們?cè)谠摷夹g(shù)領(lǐng)域的研究。隨著深度學(xué)習(xí)的發(fā)展，其網(wǎng)絡(luò)結(jié)構(gòu)變得特別復(fù)雜，我們認(rèn)為這種復(fù)雜的復(fù)合網(wǎng)絡(luò)結(jié)構(gòu)的迭代、優(yōu)化的效率，在硬件和軟件層面都有很大的提升空間。
XDL 研發(fā)前，阿里主要有兩個(gè)技術(shù)積累：一是阿里媽媽事業(yè)部牽頭做的阿里巴巴最早一代的基于MPI 協(xié)議搭建的分布式機(jī)器學(xué)習(xí)平臺(tái)，其中實(shí)現(xiàn)了邏輯回歸、MLR、GBDT 等一系列大規(guī)模并行算法；另一個(gè)是阿里巴巴內(nèi)部之前啟動(dòng)的圖像深度學(xué)習(xí)項(xiàng)目，做了一個(gè)類似分層的深度學(xué)習(xí)端到端的框架，但是由于這個(gè)框架跟 Caffe 的功能有較大重合，因此沒有對(duì)其進(jìn)行開源，而之后我們也發(fā)現(xiàn)它對(duì)業(yè)界可能并沒有那么大的增量，因而只在內(nèi)部進(jìn)行使用，最后也轉(zhuǎn)向其他框架的研發(fā)了。
2. 研發(fā)至今，經(jīng)歷了哪些比較大的迭代？
現(xiàn)在開源的 XDL 已經(jīng)經(jīng)歷了三次迭代。第一個(gè)版本是由算法團(tuán)隊(duì)主導(dǎo)的，第二個(gè)版本則是由引擎工程團(tuán)隊(duì)主導(dǎo)，現(xiàn)在的第三個(gè)版本是由工程團(tuán)隊(duì)和算法團(tuán)隊(duì)合作迭代的。
3. XDL 目前用在阿里的哪些業(yè)務(wù)場(chǎng)景？未來是否會(huì)考慮將這一框架應(yīng)用到其他場(chǎng)景？
XDL 作為阿里媽媽的一個(gè)橫向的機(jī)器學(xué)習(xí)平臺(tái)，在支撐阿里巴巴的各項(xiàng)業(yè)務(wù)，目前應(yīng)用最多的是阿里媽媽的定向廣告，包括展示廣告和信息流廣告，在這個(gè)典型應(yīng)用場(chǎng)景中，每天支撐大約 100 個(gè)模型的生產(chǎn)化訓(xùn)練。
將這一框架應(yīng)用到更多的其他場(chǎng)景中，也是我們對(duì) XDL 進(jìn)行開源的初衷。我們認(rèn)為在廣告、推薦、搜索等互聯(lián)網(wǎng)業(yè)務(wù)中，在目前業(yè)內(nèi)已有的框架基礎(chǔ)上去搭建一個(gè)深度學(xué)習(xí)平臺(tái)還有很多工作要做，包括結(jié)構(gòu)化數(shù)據(jù)處理、模型結(jié)構(gòu)的創(chuàng)新研發(fā)等，但是如果不只是遵循谷歌、Facebook 等國外公司的網(wǎng)絡(luò)結(jié)構(gòu)的話，就對(duì)框架及框架邊界提出了更高的要求。因此，我們將結(jié)構(gòu)化數(shù)據(jù)處理以及模型分布式計(jì)算等與傳統(tǒng)結(jié)構(gòu)不一樣的經(jīng)驗(yàn)沉淀下來，從算法包到底層計(jì)算框架賦能企業(yè)，使其在自己的業(yè)務(wù)上進(jìn)行更好的迭代。
后期我們也會(huì)開放一些工業(yè)界的數(shù)據(jù)集，讓研究者也能以這些技術(shù)和數(shù)據(jù)集為基礎(chǔ)，進(jìn)行獨(dú)立的創(chuàng)新研發(fā)。
4.相較于目前兩大深度學(xué)習(xí)開源框架 TensorFlow 和 PyTorch 來說，XDL 獨(dú)有的特色和產(chǎn)品優(yōu)勢(shì)集中體現(xiàn)在哪些方面？
相較于目前兩大深度學(xué)習(xí)開源框架 TensorFlow 和 PyTorch 來說，XDL 的特色和產(chǎn)品優(yōu)勢(shì)集中體現(xiàn)兩個(gè)方面：
第一，XDL 面向超大規(guī)模高維稀疏特征的深度學(xué)習(xí)進(jìn)行了分布式運(yùn)行時(shí)的設(shè)計(jì)與優(yōu)化，這個(gè)對(duì)推薦、搜索、廣告等互聯(lián)網(wǎng)場(chǎng)景的工業(yè)化應(yīng)用至關(guān)重要，而 TensorFlow、PyTorch 等開源深度學(xué)習(xí)框架更多的是面向圖像、視頻、語音等低維稠密數(shù)據(jù)場(chǎng)景進(jìn)行了優(yōu)化。 例如，XDL 針對(duì)推薦、搜索、廣告等場(chǎng)景的訓(xùn)練方式獨(dú)創(chuàng)了結(jié)構(gòu)化壓縮、高階模型嵌套訓(xùn)練等范式，對(duì)大規(guī)模深度網(wǎng)絡(luò)的存儲(chǔ)、通信、計(jì)算等有一個(gè)數(shù)量級(jí)以上的效率提升。
第二，XDL 不僅僅只是一個(gè)訓(xùn)練框架，我們開源的是面向高維稀疏數(shù)據(jù)場(chǎng)景的完整解決方案，尤其是一系列在阿里媽媽的核心業(yè)務(wù)場(chǎng)景經(jīng)過生產(chǎn)驗(yàn)證的算法模型，這對(duì)于推薦、搜索、廣告等領(lǐng)域從業(yè)者來說，有極高的參考價(jià)值，可以幫助這個(gè)行業(yè)的很多團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)的跨越式前進(jìn)。
5.在具體的應(yīng)用上，XDL 的性能達(dá)到了什么程度，是否有針對(duì) TensorFlow、PyTorch 的「槽點(diǎn)」進(jìn)行更深層次的優(yōu)化？
由于 XDL 主要針對(duì)推薦、搜索、廣告這些場(chǎng)景，因此我們會(huì)重點(diǎn)考量 XDL 在這些高維稀疏場(chǎng)景下的性能，我主要從三個(gè)層面來講：
第一個(gè)是從分布式水平擴(kuò)展能力來看，TensorFlow、PyTorch 等適用于低維稠密數(shù)據(jù)的框架在機(jī)器并行度增加時(shí)，其性能無法實(shí)現(xiàn)較好的提升，例如 TensorFlow 在并發(fā)度達(dá)到百以上時(shí)，很難再通過增加更多的計(jì)算資源來提升整體的訓(xùn)練吞吐率，而 XDL 在千級(jí)別的并發(fā)度上，也能實(shí)現(xiàn)線性的提升。
第二個(gè)是從支持的特征和參數(shù)的規(guī)模來看，XDL 支持模型的規(guī)模和參數(shù)比傳統(tǒng)情況下有所提升，XDL 可以支持千億參數(shù)的大規(guī)模深度學(xué)習(xí)模型訓(xùn)練，包括批量訓(xùn)練模式和在線訓(xùn)練模式。
第三個(gè)是從實(shí)際運(yùn)行的性能來看，在高維稀疏分布式訓(xùn)練下，XDL 大部分模型比開源的 TensorFlow 模型整體高出十倍以上的一個(gè)量級(jí)。
6.開源之后，主要的用戶群體是哪些人？這一框架又是怎樣滿足不同領(lǐng)域的用戶需求的？
我們?cè)?11 月 28 號(hào)發(fā)布了開源計(jì)劃后，就有超過十家以上的大中型公司向我們表達(dá)了需求，這是因?yàn)槲覀儗?XDL 定義為一個(gè)偏向企業(yè)級(jí)用戶的框架，包括 XDL 所面向的高維稀疏場(chǎng)景以及推薦、搜索、廣告這三個(gè)互聯(lián)網(wǎng)最核心的典型場(chǎng)景，因此我們會(huì)在 To B 這個(gè)方向上有較大的著力點(diǎn)。
在滿足不同領(lǐng)域的用戶需求方面，首先，由于 XDL 本身帶有很強(qiáng)的歸屬性，它跟 TensorFlow 等通用開源框架不太一樣。一方面非企業(yè)級(jí)用戶并不需要處理太多的工業(yè)場(chǎng)景數(shù)據(jù)，XDL 對(duì)他們的必要性不是很多；另一方面，在工業(yè)場(chǎng)景下，XDL 除了考慮訓(xùn)練框架本身的基礎(chǔ)屬性，還需要考慮怎么跟生產(chǎn)系統(tǒng)耦合、怎么訪問和調(diào)度嵌入數(shù)據(jù)、數(shù)據(jù)訓(xùn)練后又怎樣將模型發(fā)布到生產(chǎn)系統(tǒng)中等等一系列問題。對(duì)此，我們給出的其實(shí)是一整套解決方案。當(dāng)然，這套方案并不能覆蓋所有用戶的需求，我們之所以開源，也是希望以生態(tài)化的開放方式，來讓業(yè)界共同發(fā)展這個(gè)領(lǐng)域。
另外從業(yè)務(wù)價(jià)值上講，推薦、搜索、廣告三大場(chǎng)景已是互聯(lián)網(wǎng)信息爆炸時(shí)代的一個(gè)「標(biāo)配」，因?yàn)檫@些場(chǎng)景足夠大且足夠有特點(diǎn)，而阿里媽媽又正好覆蓋了這些場(chǎng)景，從業(yè)務(wù)場(chǎng)景到整個(gè)解決方案，有助于實(shí)際解決各種各樣的技術(shù)挑戰(zhàn)。
7. 對(duì)這一框架未來的發(fā)展有怎樣的愿景？
希望在國內(nèi)的推薦、搜索、廣告領(lǐng)域，XDL 是深度學(xué)習(xí)框架最主流的選擇。
8.目前 TensorFlow 和 PyTorch 的用戶群體已經(jīng)很大了，你們認(rèn)為 XDL 的未來地位能否與二者并肩，又打算如何推廣 XDL？
XDL 確實(shí)對(duì) TensorFlow 和 PyTorch 的一些能力進(jìn)行了擴(kuò)展，我們也希望能在推薦、搜索、廣告領(lǐng)域建立一個(gè)龐大的技術(shù)生態(tài)去與 PyTorch 和 TensorFlow 比肩，但目前還處于邁向這個(gè)目標(biāo)的重要階段。當(dāng)下，我們主要還是比較務(wù)實(shí)地將一些技術(shù)成果公布出來，按照我們認(rèn)為對(duì)的方向以及業(yè)界的需求，希望能夠填補(bǔ)在搜索、推薦、廣告等高維稀疏場(chǎng)景的技術(shù)真空，至于最終能否實(shí)現(xiàn) TensorFlow 和 PyTorch 這樣的生態(tài)級(jí)別，需要我們和業(yè)界的共同努力。
9. 接下來是否會(huì)投入專門的團(tuán)隊(duì)對(duì)這一框架進(jìn)行維護(hù)和更新？有哪些更新計(jì)劃？
一方面，這個(gè)框架進(jìn)行開源后，一定會(huì)有很多人在使用過程中遇到一些問題或者需要我們幫助的地方，我們這邊會(huì)有專門的團(tuán)隊(duì)來負(fù)責(zé)對(duì)用戶反饋的 bug 等整個(gè)社區(qū)的問題進(jìn)行解答，社區(qū)建設(shè)是我們非?？粗氐囊粋€(gè)方面。
另一方面，針對(duì)對(duì)我們這個(gè)框架有迫切需求的公司，我們之后也會(huì)組織一些類似 workshop 這樣的會(huì)議和活動(dòng)，來與他們進(jìn)行面對(duì)面的交流。同時(shí)，我們還會(huì)有針對(duì)性地挑選出一些合作伙伴，以重點(diǎn)貼身服務(wù)的方式幫助其完成初期的全鏈路系統(tǒng)建設(shè)，并從它們的視角去考量用戶使用等方面的需求。
除此之外，我們還會(huì)結(jié)合阿里內(nèi)部其他團(tuán)隊(duì)的力量，來將這件事情做起來。至于之后的發(fā)展方向和更新規(guī)劃，還需要我們團(tuán)隊(duì)進(jìn)行討論后才能正式公布。
109. 是否會(huì)考慮借用社區(qū)的形式，和開發(fā)者一起去維護(hù)這個(gè)框架？
當(dāng)然會(huì)，因?yàn)槲覀兿Ｍo用戶帶來價(jià)值，我主要從以下三個(gè)層面來談一下：
第一個(gè)層面是底層設(shè)計(jì)上的橋接兼容，可以讓用戶直接使用自己熟悉的編程方式就可以獲得 XDL 的結(jié)構(gòu)化數(shù)據(jù)的分布式建模能力以及大規(guī)模稀疏數(shù)據(jù)的計(jì)算能力；
第二個(gè)我們將 XDL 進(jìn)行開源，也是希望讓用戶（有能力的情況下）可以在框架中自行改動(dòng)，而不是僅僅給他們一個(gè) API 接口，讓他們?cè)谠粕吓芤慌埽?/p>
第三個(gè)是我們也在框架中直接給了算法模板，展示了我們自己如何使用框架設(shè)計(jì)相關(guān)算法。
XDL 目前已在 Github 社區(qū)開放，大家可前往以下地址獲?。?/span>
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
