0
雷鋒網(wǎng) AI科技評論消息,繼微軟和Facebook聯(lián)手發(fā)布ONNX開源生態(tài)標準,日前,微軟和亞馬遜又達成一致,攜手發(fā)布Gluon深度學(xué)習(xí)庫。
據(jù)微軟方面表示,Gluon是一個深度學(xué)習(xí)庫(接口),它是一個支持符號式和命令式編程的API,在創(chuàng)造深度學(xué)習(xí)模型的過程中能極大的簡化進程,而不會使訓(xùn)練速度減慢。Gluon也將支持CNTK(Microsoft Cognitive Toolkit)深度學(xué)習(xí)庫。Gluon為開發(fā)者提供的高級KPI能讓他們交替運行不同的深度學(xué)習(xí)庫。
Gluon具體介紹
Gluon用于構(gòu)建神經(jīng)網(wǎng)絡(luò),很簡潔,是一個動態(tài)的高級深度學(xué)習(xí)庫(接口),在使用MXNet和CNTK時都可以調(diào)用它,微軟Azure的所有服務(wù)、工具和基礎(chǔ)結(jié)構(gòu)也將全面支持Gluon。Gluon為開發(fā)者提供的接口非常好用,它支持高度可擴展的訓(xùn)練,能高效的評估模型。對于經(jīng)驗老道的研究人員來說,在發(fā)揮Gluon的優(yōu)勢時完全不會犧牲靈活性。對于一些公司、數(shù)據(jù)科學(xué)家和開發(fā)者來說,Gluon支持一些高級API和預(yù)建/模塊化的構(gòu)件,很簡潔,并且非常適用于深度學(xué)習(xí)。
Gluon的主要特征和好處
Gluon能讓開發(fā)者更簡單的學(xué)習(xí)、規(guī)定和調(diào)試深度神經(jīng)網(wǎng)絡(luò),也可以讓接下來的迭代和保持更加簡單,也支持開發(fā)作者快速構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò),主要的亮點如下:
符號式和命令式編程
對于高級用戶,Gluon支持很多復(fù)雜技術(shù),如動態(tài)圖和靈活結(jié)構(gòu)。目前還沒有同時支持符號式和命令式編程的其他工具包。
Hybridization
Gluon包含完全的符號化的自動微分代碼,這些代碼已經(jīng)被程序執(zhí)行了,也包括控制流。
Gluon通過hybridization實現(xiàn)這一點:靜態(tài)計算圖先被計算出來,然后在隨后的迭代中緩存和重用。計算圖也可以被導(dǎo)出,例如給移動設(shè)備提供服務(wù)。
規(guī)定復(fù)雜模型
Gluon自帶一個豐富的內(nèi)嵌層庫,通過重用庫中預(yù)建的構(gòu)件,可以大大簡化規(guī)定復(fù)雜模型架構(gòu)的任務(wù)。
執(zhí)行高效
Gluon支持循環(huán)和不規(guī)則張量(ragged tensors)(能批處理變長度序列),對于RNN和LSTM模型具有空前的效率。
支持稀疏數(shù)據(jù)
Gluon提供對稀疏和量化數(shù)據(jù)及操作的全面支持,可以用于計算和通信。稀疏性在NLP領(lǐng)域的深度神經(jīng)網(wǎng)絡(luò)中非常常見,而量化對于運行時性能評估至關(guān)重要。
先進的調(diào)度
雖然在單個GPU上進行調(diào)度很容易,但在多個GPU上操作要復(fù)雜得多。通過MXNet或CNTK后端,Gluon在符號式和命令式模式下都提供自動分配。
總結(jié)
利用Gluon,開發(fā)者將能使用他們最喜歡的高級編程模型、工具和平臺,更快地傳遞一些新的、令人興奮的創(chuàng)新AI觀念。Gluon將和ONNX(能支持用戶用標準格式創(chuàng)造和保存AI模型)一起,創(chuàng)造一個全新的開放AI生態(tài)。期待大家利用這些工具帶來更多更好的想法。
關(guān)于ONNX,可以參見雷鋒網(wǎng) AI科技評論此前報導(dǎo):Facebook、微軟聯(lián)合推出 ONNX 標準,號稱要解決開發(fā)框架碎片化。
目前在MXNet上已經(jīng)可以使用Gluon接口了,可以在GitHub上查看詳情,地址為:
https://github.com/gluon-api/gluon-api/
微軟也表示他們即將推出支持CNTK的版本,雷鋒網(wǎng) AI科技評論也將持續(xù)關(guān)注,為大家?guī)碜钚孪ⅰ?/p>
雷鋒網(wǎng) AI科技評論編輯整理。
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。