0
雷鋒網(wǎng)按： Google I/O 2018 上，谷歌發(fā)布了可供開發(fā)者定制移動端機器學習模型的 ML Kit 開發(fā)套件，關于該套件中的核心技術：Learn2Compress 模型壓縮技術，谷歌也火速在 Google AI 上撰文對其進行了詳細介紹和實戰(zhàn)測試，雷鋒網(wǎng) AI 科技評論將其內(nèi)容編譯如下。
大家都知道，要成功地訓練和運行深度學習模型，通常要求海量的計算資源，超大內(nèi)存以及足夠的能源來支撐，這也就為想要在移動端（mobile）和 IoT 設備上同樣成功地運行模型帶來了相應的障礙。移動端機器學習（On-device machine learning）允許你直接在該設備上運行推理，且具有保證數(shù)據(jù)隱私性和隨時使用的優(yōu)勢，不管網(wǎng)絡連接狀況如何。此前的移動端機器學習系統(tǒng)，如輕量神經(jīng)網(wǎng)絡 MobileNets 和 ProjectionNets 均通過對模型效率的優(yōu)化來處理資源瓶頸問題。但如果你想要在手機上的移動應用中運行自己設計和訓練的模型呢？
現(xiàn)在谷歌幫你解決了這個難題，在 Google I/O 2018 上，谷歌面向所有移動端開發(fā)者發(fā)布了移動端機器機器學習開發(fā)套件 ML Kit。該 ML Kit 開發(fā)套件中的一項即將可用的核心功能，是由谷歌 research 團隊開發(fā)的 Learn2Compress 技術所驅動的一項自動模型壓縮服務。Learn2Compress 技術能夠在 TensorFlow Lite 內(nèi)定制移動端深度學習模型，定制后的模型可高效的運行在移動端設備上，無需擔心內(nèi)存不足和運行速度過慢。谷歌也很高興不久后在 ML Ki 中實現(xiàn) Learn2Compress 技術驅動的圖像識別功能。Learn2Compress 技術將率先開放給一小部分開發(fā)者，并將在接下來的幾個月內(nèi)提供給更多的開發(fā)者們使用。對該技術特性感興趣并有意設計自己模型的開發(fā)者可以點擊此網(wǎng)址（https://g.co/firebase/signup）進行注冊。
Learn2Compress 技術融合了此前研究中介紹的 ProjectionNet 等學習框架，并結合了神經(jīng)網(wǎng)絡模型壓縮的幾項前沿技術。Learn2Compress 技術的工作原理是這樣的：先輸入一個用戶提供的預先訓練好的 TensorFlow 模型，隨后 Learn2Compress 技術開始訓練和優(yōu)化該模型，并自動生成一個隨時可用的移動端模型，該模型尺寸較小，內(nèi)存占用和能源利用效率更高，且能在保證最小限度丟失準確率的情況下達到更快的推理速度。
為了達成模型壓縮的目的，Learn2Compress 技術使用了多重神經(jīng)網(wǎng)絡優(yōu)化和下面三項模型壓縮技術：
通過移除那些對預測沒有太大作用的的權重或者運算（比如低分權重）來修剪，降低模型尺寸。該操作尤其能使包含稀疏輸入或輸出的移動端模型的效率得到相當大的提升，雖然模型在尺寸上被壓縮小 2 倍，但仍保留著原來模型 97% 的預測質(zhì)量。
在訓練模型的過程中應用的量子化技術格外有效，該技術可以通過減少用于模型權重和激活數(shù)值的位數(shù)來提升模型推理速度。例如，使用 8-bit 固定點表示而非浮點數(shù)值可以加速模型推理，降低能源消耗以及有望進一步將模型尺寸縮小 4 倍。
遵循老師-學生學習策略的聯(lián)合訓練（Joint training）和蒸餾（distillation）方法—保證最小限度丟失準確率的前提下，谷歌在使用一個大的老師網(wǎng)絡（在該案例中，使用的是用戶提供的 TensorFlow 模型）來訓練一個壓縮學生網(wǎng)絡（即移動端模型 on-device model）。
老師網(wǎng)絡可以是固定的（就像在蒸餾方法中那樣）或者是被共同優(yōu)化的，老師網(wǎng)絡甚至還可以同時訓練不同尺寸的多種學生模型。因而，Learn2Compress 技術只需一次操作就可以生成具有不同尺寸和不同推理速度的多種移動端模型，而非單一模型，同時還支持開發(fā)者從中選取最符合自己應用需求的那個模型。
以上這些再加上其他類似遷移學習這樣的技術也可以使模型壓縮進程更加具有效率和可擴展至大規(guī)模數(shù)據(jù)集。
為了證明 Learn2Compress 技術的有效性，谷歌基于幾個在圖像和自然語言任務中使用的最先進的深度神經(jīng)網(wǎng)絡（如 MobileNets，NASNet，Inception，ProjectionNet 等），并使用該技術將它們壓縮成移動端模型。給定一個任務和數(shù)據(jù)集，谷歌就可以使用該技術生成具有不同的推理速度和模型尺寸的多種移動端模型。
在圖像識別方面，Learn2Compress 技術可生成適合手機應用的，且具有良好預測精度的既小又快的模型。舉個例子，在 ImageNet 任務上，Learn2Compress 技術可實現(xiàn)一個比 Inception v3 baseline 小 22 倍，比 MobileNet v1 baseline 小 4 倍的模型，而準確率僅下降了 4.6-7%。在 CIFAR-10 上，使用共享參數(shù)來共同的訓練多種 Learn2Compress 模型所花費的時間，只比訓練單獨的一個 Learn2Compress 大模型多耗時 10%，例如 yields 3 壓縮模型在尺寸上要小 94 倍，而速度上快 27 倍，成本降低 36 倍，且能達到很好的預測質(zhì)量（90-95% 的 top-1 級別準確度）。
谷歌也很開心地看到開發(fā)者已經(jīng)使用這種技術做出了一些成果。例如，一個名為 Fishbrain 的垂釣愛好者社交平臺使用了谷歌的 Learn2Compress 技術，將平臺目前的圖像識別云模型（尺寸大小 80MB+，達到了 91.8% 的 top-3 級別準確度）壓縮成了一個十分小的移動端模型（尺寸少于 5MB，但仍保持與原來大模型相似的準確度）。在另外一些案例中，谷歌發(fā)現(xiàn)得益于正則化效應（regularization effect），壓縮后的模型在準確度上甚至有稍微勝于原來的大模型的可能。
谷歌表示，隨著機器學習和深度學習技術的不斷發(fā)展，他們將會繼續(xù)改進 Learn2Compress 技術并將其擴展至更多的用戶案例（不僅局限于圖像識別這類模型）。谷歌還很期待上線 ML Kit 的模型壓縮云服務。谷歌希望 Learn2Compress 技術可以幫助開發(fā)者自動構建和優(yōu)化他們自己的移動端機器學習模型，這樣開發(fā)者們就可以專注于開發(fā)包含計算機視覺、自然語言以及其他機器學習應用在內(nèi)的優(yōu)秀的應用程序和酷炫的用戶體驗了。
via Google AI Blog，雷鋒網(wǎng)AI科技評論編譯。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
