0
| 本文作者： AI研習(xí)社-譯站 | 2018-07-12 18:18 |
雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術(shù)博客，原標(biāo)題 Deploying PyTorch and Keras Models to Android with TensorFlow Mobile ，作者為 John Olafenwa 。
翻譯 | 于志鵬 整理 | MY
截止到今年，已經(jīng)有超過 20 億活躍的安卓設(shè)備。安卓手機(jī)的迅速普及很大程度上是因為各式各樣的智能 app，從地圖到圖片編輯器應(yīng)有盡有。隨著深度學(xué)習(xí)的出現(xiàn)，我們的手機(jī) app 將變得更加智能。下一代由深度學(xué)習(xí)驅(qū)動的手機(jī) app 將可以學(xué)習(xí)并為你定制功能。一個很顯著的例子是「Microsoft Swiftkey」，這是一個鍵盤 app, 能通過學(xué)習(xí)你常用的單詞和詞組來幫助你快速打字。
計算機(jī)視覺，自然語言處理，語音識別和語音合成等技術(shù)能夠大大改善用戶在移動應(yīng)用方面的體驗。幸運的是，在移動應(yīng)用方面，有很多工具開發(fā)成可以簡化深度學(xué)習(xí)模型的部署和管理。在這篇文章中，我將闡釋如何用 TensorFlow mobile 將 PyTorch 和 Keras 部署到移動設(shè)備。
用 TensorFlow mobile 部署模型到安卓設(shè)備分為三個步驟：
將你的訓(xùn)練模式轉(zhuǎn)換到 TensorFlow
在安卓應(yīng)用中添加 TensorFlow mobile 作為附加功能
在你的應(yīng)用中使用 TensorFlow 模式寫 Java 代碼執(zhí)行推理。
在這篇文章中，我將介紹整個過程，最后完成一個植入圖像識別功能的安卓應(yīng)用
安裝
本教程會用到 PyTorch 和 Keras 兩個框架-遵循下列指導(dǎo)安裝你想使用的機(jī)器學(xué)習(xí)框架。安裝哪個由你選擇。
首先，安裝 TensorFlow：
如果你是 PyTorch 的開發(fā)者，確保你安裝的是 PyTorch 的最新版本。關(guān)于安裝 PyTorch 的指導(dǎo)文件，請查閱我之前的文章。
如果你是 Keras 的開發(fā)者，使用以下命令安裝：
Android Studio（至少3.0 的版本）
https://developer.android.com/studio
將 PyTorch 模式轉(zhuǎn)成 Keras 模式
這部分僅適用于 PyTorch 開發(fā)者。如果你使用的是 Keras，你可以跳到 “將 Keras 模式轉(zhuǎn)成 TensorFlow 模式”章節(jié)。
首先我們要做的是將我們的 PyTorch 模式參數(shù)轉(zhuǎn)成 Keras 中的同等參數(shù)。
為了簡化這個過程，我創(chuàng)建了一個腳本來自動運行轉(zhuǎn)化。在此教程中，我們將使用 Squeezenet 。這是一種很小但具備合理精確度的移動架構(gòu)。在這兒下載預(yù)訓(xùn)練模式（只有5M!)。
在轉(zhuǎn)權(quán)值之前，我們需要在 PyTorch 和 Keras 中定義 Squeezenet 模型。
如下圖所示，在這兩種框架下定義 Squeezenet，然后將 PyTorch 權(quán)值 轉(zhuǎn)成 Keras。
創(chuàng)建文件 convert.py，包括下面的代碼并運行腳本。
上面是已經(jīng)轉(zhuǎn)好權(quán)值的，你所需要做的是將 Keras 模型保存為 squeezenet.h5。到這一步，我們可以拋棄 PyTorch 模型，繼續(xù)下一步了。
將 Keras 轉(zhuǎn)成 TensorFlow 模式
到這一步，你已經(jīng)有了 Keras 模式，無論是從 PyTorch 轉(zhuǎn)化而來的還是直接用 Keras 訓(xùn)練而獲得的。你可以在這兒下載預(yù)訓(xùn)練的 Keras Squeezenet 模式。下一步是將我們整個的模型架構(gòu)和權(quán)值轉(zhuǎn)成可運行的 TensorFlow 模型。
創(chuàng)建一個新文件 ConvertToTensorflow.py 并添加以下代碼。
上面的代碼將我們的 squeezenet.pb 保存到了 output_dir 中。并在同一文件夾中創(chuàng)建 了 TensorBoard 事件。
為了更加清晰地理解你的模型，你可以用 TensorBoard 將它可視化。
打開命令行并輸入
tensorboard –logdir=output_dir_path
output_dir_path 是你的 output_dir 路徑。
一旦 TensorBoard 成功啟動，你將看到提示讓你打開如下 url COMPUTER_NAME:6006
將 URL 地址輸入到瀏覽器中，將顯示以下界面。
為了可視化你的模式，雙擊 IMPORT.
仔細(xì)看下該模型并記下輸入和輸出節(jié)點的名字（框架中的第一個和最后一個）。
如果你的命名和我之前代碼一樣的話，他們就應(yīng)該是 input_1 和output_1 。
到這一步， 我們的模型就可以調(diào)用了。
將TensorFlow Mobile 添加到你的項目中
TensorFlow 有 2 個針對移動設(shè)備的庫，分別是「TensorFlow Mobile」和「TensorFlow Lite.」Lite 版本設(shè)計得非常小，所有的依賴庫大約只有 1M。它的模型也更優(yōu)化。另外，在安卓 8 以上的設(shè)備中，還可以用神經(jīng)網(wǎng)絡(luò) API 加速。與「TensorFlow Mobile」不同,「TensorFlow Lite.」目前還不太完善，有些層并不能實現(xiàn)預(yù)期的效果。此外，windows 系統(tǒng)還不支持編譯庫和將模式轉(zhuǎn)成原生格式的操作。因此，在這個教程里，我堅持用 TensorFlow Mobile.
如果沒有現(xiàn)存項目的話，使用 Android Studio，創(chuàng)建一個新的安卓項目。然后添加TensorFlow Mobile 依賴庫到你的build.gradle 文件。
implementation ‘org.tensorflow:tensorflow-android:+’
Android studio 將提示你同步 gradle，點擊 Sync Now 等待同步完成。
到這一步項目就創(chuàng)建完成了。
在你的移動 App 上執(zhí)行推理
在用代碼執(zhí)行推理前，你需要將轉(zhuǎn)化的模式 (squeezenet.pb) 添加到你的應(yīng)用的資源文件夾里。
在 Android Studio 中右擊你的項目，鼠標(biāo)移到「添加文件夾」選項，然后選擇「資源文件夾」。這時會在你的 app 目錄下創(chuàng)建一個資源文件夾。然后，拷貝你的模式到此目錄下。
點擊 here 下載標(biāo)簽類，并拷貝文件到資源目錄。
現(xiàn)在你的項目包含了分類圖像的所有工具。
添加一個新的 Java 類到你的項目的主包中，取名為 ImageUtils , 然后將以下代碼拷貝到其中。
如果不理解上面的代碼也沒關(guān)系，這是一些未在核心 TensorFlow-Mobile 庫中實現(xiàn)的功能。因此，在參考了一些官方樣例后，我寫了這些代碼以方便后續(xù)工作。
在你的主活動中，創(chuàng)建一個 ImageView 和一個 TextView ，這將被用來顯示圖像和其預(yù)測結(jié)果。
在你的主活動中，你需要加載 TensorFlow-inference 庫和初始化一些類變量。在你的 onCreate 方法前添加以下內(nèi)容:
添加一個計算預(yù)測類的函數(shù)：
添加函數(shù)來接收Image Bitmap并在其上執(zhí)行推理：
以上代碼在后臺線程中運行預(yù)測，并將預(yù)測的類和它的評估得分寫到我們之前定義的 TextView 中。
注意在主 UI 線程運行推理時可能會掛起。記住一個原則 ：“永遠(yuǎn)在你的后臺線程運行推理！”
本教程的重點是圖像識別，為此我在資源文件夾中添加了一只小鳥的圖像。在標(biāo)準(zhǔn)應(yīng)用程序中，你要用代碼從文件系統(tǒng)加載圖像。
添加任何你想做預(yù)測的圖像到資源文件夾中。為了方便的運行算法，在下列的代碼中，我們在一個按鈕上添加了一個點擊監(jiān)聽。該監(jiān)聽可以加載該圖像并調(diào)用預(yù)測功能。
很好！所有步驟都已完成！雙擊檢驗一下，如果都沒有問題。點擊「Bulid APK.」按鈕
APK很快就創(chuàng)建完成了，之后在設(shè)備上安裝并運行App.
結(jié)果如下圖所示：
為了得到更新奇的體驗，你的 App 應(yīng)當(dāng)從安卓文件系統(tǒng)加載圖像或用攝像頭抓取圖像，而不是從資源文件夾加載。
總結(jié)
移動端的深度學(xué)習(xí)框架將最終轉(zhuǎn)變我們開發(fā)和使用 app 的方式。使用上述代碼，你能輕松導(dǎo)出你訓(xùn)練的 PyTorch 和 Keras 模型到 TensorFlow。運用 TensorFlow Mobile 和這篇文章中介紹的步驟，你可以將卓越的 AI 功能完美的植入到你的移動端應(yīng)用中。
安卓項目的完整代碼和模型轉(zhuǎn)換工具在我的 GitHub 上可以找到。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
