丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能開(kāi)發(fā)者 正文
發(fā)私信給楊曉凡
發(fā)送

0

微軟開(kāi)源深度學(xué)習(xí)工具包CNTK更新2.3版,帶來(lái)多重性能改進(jìn)

本文作者: 楊曉凡 2017-12-01 10:14
導(dǎo)語(yǔ):在模型越來(lái)越大、數(shù)據(jù)越來(lái)越多的今天,模型運(yùn)行速度真的是一大痛點(diǎn)

微軟開(kāi)源深度學(xué)習(xí)工具包CNTK更新2.3版,帶來(lái)多重性能改進(jìn)

雷鋒網(wǎng) AI 科技評(píng)論消息,近日微軟更新了自家開(kāi)源深度學(xué)習(xí)工具包CNTK,新的版本號(hào)為2.3,帶來(lái)了多項(xiàng)性能改進(jìn)。

CNTK全名為Computational Network Toolkit,與谷歌的TensorFlow、Facebook的Caffe/Caffe2一樣是開(kāi)源的計(jì)算平臺(tái)/工具包,意在服務(wù)更多深度學(xué)習(xí)、人工智能的研究人員和開(kāi)發(fā)者們。從2016年開(kāi)源起,微軟就宣傳CNTK的性能明顯高于Caffe、Theano、TensoFlow等其它的一些熱門(mén)工具,當(dāng)然也提供了基于英偉達(dá)cuDNN的一到多GPU加速支持。

CNTK在2.0的多個(gè)Beta和RC版本中逐步更新了面向Python、C++、C#、Java等語(yǔ)言的API支持,對(duì)Keras的后端支持,Python示例和教程、自動(dòng)安裝等等一大堆新功能,接著在2.1中把cuDNN版本升級(jí)到了6.0、支持Universal Windows Platform,在2.2中做了許多模型支持相關(guān)的改進(jìn)之后,近日CNTK也發(fā)布了2.3版本。雷鋒網(wǎng) AI 科技評(píng)論把更新內(nèi)容簡(jiǎn)單介紹如下:

CNTK 2.3 更新重點(diǎn)

  • 對(duì)ONNX標(biāo)準(zhǔn)的更好支持(關(guān)于ONNX看這里

  • 分布式訓(xùn)練支持切換到NCCL2,帶來(lái)更好的性能(NCCL是英偉達(dá)官方的多卡訓(xùn)練庫(kù),詳細(xì)解讀看這里

  • 改進(jìn)了C# API 的支持

  • (2.2版本中必須安裝OpenCV庫(kù))現(xiàn)在OpenCV不是必須安裝的,只有當(dāng)用到TensorBoard Image功能和圖像讀取功能時(shí)才需要安裝它

  • 多重性能改進(jìn)

  • 增加了網(wǎng)絡(luò)優(yōu)化API

  • 更快的稀疏Adadelta

性能改進(jìn)的相關(guān)項(xiàng)目包含

  • 改進(jìn) C# API,提升訓(xùn)練和預(yù)測(cè)性能

  • 通過(guò)自由動(dòng)態(tài)軸的支持,提升帶有卷積操作的網(wǎng)絡(luò)的訓(xùn)練速度。對(duì)于某些模型,訓(xùn)練速度可以提升5倍以上;

  • 提升驗(yàn)證性能,移除了許多不需要的驗(yàn)證檢查;

  • CPU 卷積中更多地使用MKL-ML,AlexNet的訓(xùn)練速度可以提升4倍;

  • Linux的正式版CNTK-GPU會(huì)默認(rèn)使用NCCL2,可以降低分布式訓(xùn)練中的聚合開(kāi)銷(xiāo)。對(duì)于Python用戶來(lái)說(shuō)沒(méi)有什么影響,Linux的Python自己就帶有NCCL支持。BrainScript版本的用戶需要先自己手工安裝NCCL庫(kù)作為CNTK的運(yùn)行環(huán)境,就像CUDA和CUDNN一樣。CPU版本和Windows版本都不受影響,因?yàn)槟壳癗CCL只支持Linux。

  • 提升了梯度稀疏時(shí)Adadelta的更新速度。現(xiàn)在每次更新的運(yùn)行時(shí)間和梯度中不為零的元素的數(shù)量成正比。對(duì)于在單個(gè)GPU上運(yùn)行的帶有高維稀疏輸入(大約2百萬(wàn)特征)的前饋模型,性能可以提升5倍。內(nèi)存需求稍有增加,每一個(gè)稀疏的輸入特征會(huì)需要額外的四個(gè)字節(jié)空間(對(duì)前面提到的模型來(lái)說(shuō)一共增加8MB左右的內(nèi)存需求)

其它值得注意的項(xiàng)目

  • 2.3版本是最后一個(gè)支持Python3.4的版本,未來(lái)版本的CNTK將不再支持Python3.4。

  • ONNX方面,優(yōu)化標(biāo)準(zhǔn)支持的同時(shí),ONNX標(biāo)準(zhǔn)也更新到了最新版本;目前已經(jīng)覆蓋了ResNet、Inception、VGG在內(nèi)的多數(shù)計(jì)算機(jī)視覺(jué)模型

  • 增加了GPU上分組卷積的支持

CNTK2.3版本此次發(fā)布了運(yùn)行在Windows下的CPU、GPU、GPU+1bit-SGD、UWP等多個(gè)版本以及運(yùn)行在Linux下的CPU、GPU、GPU+1bit-SGD三個(gè)版本,都支持64位系統(tǒng)。有需要的研究人員和開(kāi)發(fā)者請(qǐng)到CNTK的 github 馬上更新吧。

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。

相關(guān)文章:

如何理解Nvidia英偉達(dá)的Multi-GPU多卡通信框架NCCL?

Facebook、微軟聯(lián)合推出? ONNX 標(biāo)準(zhǔn),號(hào)稱要解決開(kāi)發(fā)框架碎片化

微軟為什么要用英偉達(dá)的GPU來(lái)支持CNTK? | GTC China 2016

雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知

微軟開(kāi)源深度學(xué)習(xí)工具包CNTK更新2.3版,帶來(lái)多重性能改進(jìn)

分享:
相關(guān)文章

讀論文為生

日常笑點(diǎn)滴,學(xué)術(shù)死腦筋
當(dāng)月熱門(mén)文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)