2 月 7 日，谷歌通過博客正式發(fā)布了 TensorFlow Fold，該庫針對 TensorFlow 1.0 框架量身打造，可以幫助深度學(xué)習(xí)開發(fā)者根據(jù)不同結(jié)構(gòu)的輸入數(shù)據(jù)建立動態(tài)的計算圖（Dynamic Computation Graphs），簡化了模型訓(xùn)練階段對輸入數(shù)據(jù)的預(yù)處理過程，提升了系統(tǒng)的運行效率。

一般而言，大部分的深度學(xué)習(xí)項目都需要對模型的訓(xùn)練數(shù)據(jù)進行一定程度的預(yù)處理。在這個過程中，各種不同規(guī)模和結(jié)構(gòu)的輸入數(shù)據(jù)（例如不同分辨率的圖片數(shù)據(jù)）將被裁剪成相同的維度和尺寸，然后被壓入棧，等待模型訓(xùn)練階段的批處理流程。這一步驟之所以至關(guān)重要，是因為它使得 TensorFlow 等高性能的深度學(xué)習(xí)框架可以并行地針對不同的輸入數(shù)據(jù)運行同一個計算圖，加上當(dāng)前的 GPU 和多核 CPU 普遍支持的 SIMD（Single Instruction Multiple Data，單指令多數(shù)據(jù)流） 等加速技術(shù)，大大提升了深度學(xué)習(xí)模型的運算速度。

然而，依然存在諸多問題域無法進行一般的預(yù)處理，因此模型必須針對不同的輸入數(shù)據(jù)建立不同的計算圖。例如自然語言理解中的解析樹（parse trees），源代碼中的抽象語法樹（abstract syntax trees）以及網(wǎng)頁中的 DOM 樹等等。在這些問題中，不同的輸入數(shù)據(jù)具有不同的計算圖，而且這些計算圖并不能劃分到同一個批處理流程中，因而也就無法實現(xiàn)對處理器、內(nèi)存和高速緩存的最高效利用。

谷歌此次發(fā)布的 TensorFlow Fold 完美解決了這一問題。按照谷歌官方博客的介紹，TensorFlow Fold 庫會根據(jù)每個不同的輸入數(shù)據(jù)建立單獨的計算圖，因為各個輸入數(shù)據(jù)都可能具有各自不同的規(guī)模和結(jié)構(gòu)，因此計算圖也應(yīng)該各不相同。此后，動態(tài)批處理功能將自動組合這些計算圖，以實現(xiàn)在輸入數(shù)據(jù)內(nèi)部和不同輸入數(shù)據(jù)之間的批處理操作，同時還可以通過插入一些附加指令來實現(xiàn)不同批處理操作之間的數(shù)據(jù)互通。更重要的是，相比于其他實現(xiàn)，TensorFlow Fold 將 CPU 的速度提高了 10 倍以上，GPU 的速度提高了 100 倍。

更全面的原理介紹詳見《DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS》，論文鏈接如下：  https://openreview.net/pdf?id=ryrGawqex

上圖的動畫展示了一個利用動態(tài)批處理運行的遞歸神經(jīng)網(wǎng)絡(luò)。相同顏色的操作被劃分到同一次批處理中，這使得 TensorFlow 能夠更高效地運行。其中Embed操作負責(zé)將單詞轉(zhuǎn)換為向量表示，F(xiàn)C（完全連接，F(xiàn)ully Connected）操作負責(zé)將單詞向量組合為短語的向量。該網(wǎng)絡(luò)最后的輸出是一個完整句子的向量表示。雖然這里只展示了一個針對單一語句的解析樹，但實際上該網(wǎng)絡(luò)可以在任意形狀和大小的多個解析樹上并行地進行動態(tài)批處理。

目前，谷歌已經(jīng)在 Github 平臺開源了 TensorFlow Fold 庫的源代碼。需要注意的是，目前 TensorFlow Fold 只在 Linux 平臺進行了測試，而且由于API接口的變化，TensorFlow Fold 目前也只適配了 TensorFlow 1.0 。另外，TensorFlow Fold 兼容 Python 2.7 和 3.3+ 版本。詳細的安裝和文檔說明請見 Github 頁面： https://github.com/tensorflow/fold 

來源：googleblog，雷鋒網(wǎng)編譯雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。