雷鋒網(wǎng) AI 研習(xí)社按，上個(gè)月，Caffe2 代碼正式并入 PyTorch，就在今天，F(xiàn)acebook AI 系統(tǒng)與平臺(tái)部（AI Infra and Platform）副總 Bill Jia 發(fā)文表示，PyTorch 1.0 發(fā)布在即，全新的版本融合了 Caffe2 和 ONNX 支持模塊化、面向生產(chǎn)的功能，并保留了 PyTorch 現(xiàn)有的靈活、以研究為中心的設(shè)計(jì)。Caffe2 作者賈揚(yáng)清也在知乎表示，這篇文章是他對(duì)「如何看待 Caffe2 代碼并入 PyTorch」的最新回答。

雷鋒網(wǎng) AI 研習(xí)社將正文編譯整理如下：

縱觀人工智能的發(fā)展之路，從研究到生產(chǎn)涉及到多個(gè)步驟和工具，為了提高系統(tǒng)的準(zhǔn)確性和性能，需要不停測(cè)試新方法，不斷進(jìn)行部署和迭代，這一過程非常費(fèi)時(shí)和復(fù)雜。

為了加速和優(yōu)化這一流程，我們推出 PyTorch 1.0，它是 PyTorch 的最新版本。

PyTorch 1.0 結(jié)合了 Caffe2 和 ONNX 模塊化、面向生產(chǎn)的性能，并將這些性能與 PyTorch 現(xiàn)有的靈活、以研究為中心的設(shè)計(jì)結(jié)合在一起，為從研究原型設(shè)計(jì)到生產(chǎn)部署大量 AI 項(xiàng)目提供快速、無縫的路徑。

有了 PyTorch 1.0，AI 開發(fā)者可以通過混合前端在命令式和聲明式執(zhí)行模式之間無縫轉(zhuǎn)換，從而快速實(shí)驗(yàn)、優(yōu)化性能。

PyTorch 1.0 中的技術(shù)已經(jīng)為大量 Facebook 產(chǎn)品和服務(wù)賦能，包括每天 60 億次的文本翻譯。

我們將在未來幾個(gè)月內(nèi)推出 PyTorch 1.0 測(cè)試版，會(huì)發(fā)布一系列工具、庫、預(yù)訓(xùn)練模型、每個(gè)開發(fā)階段的數(shù)據(jù)集，使得社群能大規(guī)模地快速創(chuàng)建和部署新的 AI 產(chǎn)品。

從研究到生產(chǎn)之路

得益于 PyTorch 命令式前端靈活和高效的編程模型，大家可以更快速地進(jìn)行原型設(shè)計(jì)和實(shí)驗(yàn)。

PyTorch 初版在一年多前推出，它的速度、生產(chǎn)力和支持動(dòng)態(tài)圖等前沿 AI 模型的優(yōu)點(diǎn)，使它成為 AI 研究人員中流行和重要的開發(fā)工具。

它的下載量超過 110 萬次，是上個(gè)月在 arxiv 上引用次數(shù)排名第二的深度學(xué)習(xí)框架，加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家們?cè)鴮?PyTorch 的動(dòng)態(tài)圖功能用于他們矚目的 CycleGAN 圖像轉(zhuǎn)換研究中。

圖： 利用 PyTorch 實(shí)現(xiàn) CycleGAN 圖像轉(zhuǎn)換

盡管當(dāng)前版本的 PyTorch 為 AI 研究和開發(fā)提供了很大的靈活性，但考慮到它與 Python 的緊密耦合，在大規(guī)模生產(chǎn)上想要保持高性能是個(gè)挑戰(zhàn)。

我們經(jīng)常需要將研究代碼——訓(xùn)練腳本或訓(xùn)練好的模型——轉(zhuǎn)換成 Caffe2 中的圖表示，以便大規(guī)模生產(chǎn)。Caffe2 基于圖的 executor 為開發(fā)人員提供最先進(jìn)的優(yōu)化功能，如圖轉(zhuǎn)換、高效內(nèi)存重用和緊密的硬件接口集成。

Caffe2 項(xiàng)目于兩年前啟動(dòng)，旨在規(guī)范我們的 AI 生產(chǎn)工具。現(xiàn)在 Facebook 的服務(wù)器正在用 Caffe2 運(yùn)行神經(jīng)網(wǎng)絡(luò)，此外，全球范圍內(nèi)有超過 10 億部手機(jī)（包括第八代 iPhone 和第 6 代 Android CPU）上都有用到 Caffe2。

今天，Caffe2 在所有模型上的預(yù)測(cè)量每天超過 200 萬億，無論模型大小，都能實(shí)現(xiàn)最優(yōu)的生產(chǎn)性能。

在過去，從 PyTorch 到 Caffe2 之間遷徙，進(jìn)行傳送和生產(chǎn)，是時(shí)間密集型的人工過程，容易出錯(cuò)。為了解決這個(gè)問題，我們與一些硬件和軟件公司合作推出了 ONNX（Open Neural Network Exchange），這是一種表示深度學(xué)習(xí)模型的開放格式。

有了 ONNX，開發(fā)人員可以在不同框架之間共享模型，例如，導(dǎo)出在 PyTorch 中構(gòu)建的模型，并將它們導(dǎo)入到 Caffe2 中。這使得 Facebook 能在大規(guī)模服務(wù)器和移動(dòng)端部署時(shí)更流暢地進(jìn)行 AI 研究、訓(xùn)練和推理。

我們已經(jīng)使用了這些工具（PyTorch、Caffe2 和 ONNX）來構(gòu)建和部署 Translate，Translate 已經(jīng)在大規(guī)模使用——幫助翻譯 Facebook 上 48 種最常用的語言。

另外還有 VR，這些工具已經(jīng)在 Oculus 的產(chǎn)品上應(yīng)用，在新研究的部署上起到至關(guān)重要的作用，可以使得虛擬化身更加真實(shí)。

盡管將這三種工具進(jìn)行組合很有效，但仍然存在一些極其復(fù)雜和耗時(shí)的人工步驟，我們?nèi)匀徊荒軣o縫將新的 AI 研究創(chuàng)新帶到生產(chǎn)中。

集研究和生產(chǎn)于一身的框架

PyTorch 1.0 融合了即時(shí)和圖執(zhí)行模式，支持靈活研究和生產(chǎn)性能優(yōu)化。更具體地說，PyTorch 1.0 提供了一個(gè)混合前端，使大家能夠無縫在即時(shí)模式的原型設(shè)計(jì)和圖執(zhí)行模式的生產(chǎn)間共享大部分代碼，而不是非得要開發(fā)人員重寫整套代碼，以從 Python 中優(yōu)化或遷移。

此外，ONNX 也與 PyTorch 1.0 進(jìn)行了融合，大家可以在 PyTorch 1.0 模型與其他 AI 框架間進(jìn)行互操作。

ONNX 還作為加速運(yùn)行或特定硬件庫的集成接口，這使得開發(fā)人員可以自由混合和匹配最好的 AI 框架和工具，而不需要使用資源密集型的定制工程。

Facebook 致力于讓 ONNX 支持新特征和功能，ONNX 仍然是一種強(qiáng)大的開放格式，也是運(yùn)用 PyTorch 1.0 進(jìn)行開發(fā)的重要部分。

構(gòu)建端到端深度學(xué)習(xí)系統(tǒng)

除了 PyTorch 1.0，我們還將開源許多我們目前頻繁使用的 AI 工具，包括 Translate——一個(gè) PyTorch 庫——用于快速、靈活的神經(jīng)機(jī)器翻譯，新一代 ELF——一個(gè)用于 AI 推理應(yīng)用的綜合游戲平臺(tái)。

開發(fā)人員還可以使用類似 Glow（一種機(jī)器學(xué)習(xí)編譯器，可以在不同硬件平臺(tái)上提升框架性能）的工具，還有 Tensor Comprehensions（從高級(jí)數(shù)學(xué)運(yùn)算中自動(dòng)生成高效 GPU 代碼的工具）。

我們也開源了其他庫，比如 Detectron，它用于對(duì)象檢測(cè)研究，可以輸出邊框和對(duì)象實(shí)例分割結(jié)果。

大家可以訪問 facebook.ai/developers（Facebook AI 開發(fā)者網(wǎng)站）查看完整開源名單，可以在 PyTorch 和 Caffe2 博客上了解更多關(guān)于 PyTorch 的信息。

接下來幾個(gè)月，我們將重構(gòu)和統(tǒng)一 Caffe2 與 PyTorch 0.4 的代碼庫，刪除重復(fù)組件、共享抽象。最終，將產(chǎn)生一個(gè)支持高效的圖模式執(zhí)行，包括性能分析、移動(dòng)端部署、廣泛集成等的統(tǒng)一框架。

與 ONNX 等其他開放 AI 項(xiàng)目一樣，我們也與其他公司和社群合作，為更多開發(fā)人員提供這種加速研究到生產(chǎn)的能力。

現(xiàn)在，微軟計(jì)劃在 Azure 云和開發(fā)者產(chǎn)品（包括 Azure Machine Learning 服務(wù)和 Data Science Virtual Machines）上支持 PyTorch 1.0。亞馬遜 Web Services 目前已經(jīng)支持最新版本的 PyTorch 并在 P3 GPU 實(shí)例上進(jìn)行了優(yōu)化，他們計(jì)劃在 PyTorch 1.0 可用之后盡快在其云產(chǎn)品（包括 Amazon Machine Image）上提供支持。

這僅僅是個(gè)開始，我們希望創(chuàng)建和共享更好的 AI 編程模型、接口和自動(dòng)優(yōu)化工具?，F(xiàn)今，AI 是 Facebook 的一項(xiàng)基礎(chǔ)性技術(shù)，它使現(xiàn)有的產(chǎn)品更好，是構(gòu)建全新體驗(yàn)的力量之源。大家可以在論文、代碼和模型上看到我們的工作，我們可以與所有的 AI 研究人員和實(shí)踐者一起研究，以更快地推進(jìn)最先進(jìn)的技術(shù)，并以全新的方式幫助應(yīng)用這些技術(shù)。

via：https://code.facebook.com

雷鋒網(wǎng) AI 研習(xí)社編譯整理。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。