雷鋒網(wǎng) AI 科技評(píng)論按：為了順應(yīng)“在本地設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型”的潮流，以及具體點(diǎn)來說，給自家Pixel 2以及未來的手機(jī)上的AI加速芯片（the Pixel Visual Core）提供運(yùn)行庫，谷歌正式發(fā)布了TensorFlow Lite，作為TensorFlow Mobile API的升級(jí)版進(jìn)入公眾視野，同時(shí)開源+長期更新。

TensorFlow桌面和TensorFlow Lite的定位固然有所不同，前者可以兼顧訓(xùn)練和推理，后者則是專門考慮如何在移動(dòng)設(shè)備上高效運(yùn)行；這導(dǎo)致它們的技術(shù)特點(diǎn)有所區(qū)別，TensorFlow桌面的模型也需要經(jīng)過轉(zhuǎn)換后才能在TensorFlow Lite上運(yùn)行。

另一方面，在發(fā)布TensorFlow Lite軟件的同時(shí)，谷歌研究院也另外發(fā)出一篇博文介紹了一種新的模型壓縮方法，不僅有優(yōu)秀的壓縮效果，壓縮后的模型也可以直接在TensorFlow Lite上運(yùn)行，可謂是一個(gè)重大好消息。雷鋒網(wǎng) AI 科技評(píng)論把這篇博文翻譯如下。

TensorFlow Lite

2017年早些時(shí)候，谷歌發(fā)布了Android Wear 2.0，首次支持在移動(dòng)設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型，用來提供智能化的消息處理。之前在谷歌的Gmail、Inbox、Allo里提供的基于云服務(wù)的“智能回復(fù)”功能也就首次可以在任何程序中工作，包括第三方的即時(shí)消息軟件。有了本地的機(jī)器學(xué)習(xí)計(jì)算能力后就再也不需要連接到云服務(wù)上，在路上就可以直接從智能手表回復(fù)聊天消息。

美國時(shí)間11月14日，谷歌正式發(fā)布了TensorFlow Lite，這是TensorFlow用于移動(dòng)設(shè)備和嵌入式設(shè)備的輕量化版本。這個(gè)開發(fā)框架專門為機(jī)器學(xué)習(xí)模型的低延遲推理做了優(yōu)化，專注于更少的內(nèi)存占用以及更快的運(yùn)行速度。作為軟件資源庫的一部分，谷歌也發(fā)布了一個(gè)可以運(yùn)行在設(shè)備上的聊天模型以及一個(gè)demo app，它們是谷歌編寫的運(yùn)行在TensorFlow Lite上的自然語言應(yīng)用的樣例，供開發(fā)人員和研究者們研究學(xué)習(xí)、開發(fā)更多新的本地運(yùn)行的機(jī)器智能功能。輸入聊天對(duì)話消息以后，這個(gè)模型就可以生成一條建議的回復(fù)；它的推理過程非常高效，可以輕松嵌入到各種聊天軟件中，利用設(shè)備自身的計(jì)算能力提供智能的聊天功能。

谷歌發(fā)布的這個(gè)本地運(yùn)行的聊天模型運(yùn)用了一種訓(xùn)練緊湊神經(jīng)網(wǎng)絡(luò)（以及其它機(jī)器學(xué)習(xí)模型）的新機(jī)器學(xué)習(xí)架構(gòu)，它基于一個(gè)聯(lián)合優(yōu)化范式，最初發(fā)表在論文 ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections 中。這種架構(gòu)可以高效地運(yùn)行在計(jì)算能力和內(nèi)存都較為有限的移動(dòng)設(shè)備上，通過高效的“投影”操作，它可以把任意輸入轉(zhuǎn)換成一個(gè)緊湊的位向量表征，這個(gè)過程中類似的輸入會(huì)被投影到相鄰的向量中；根據(jù)投影類型的不同這些向量可以是密集的也可以是稀疏的。比如，“嘿如何了？”和“兄弟你如何了？”兩條消息就有可能被投影到相同的向量表征上去。

通過這樣的想法，谷歌的聊天模型就以很低的計(jì)算開銷和內(nèi)存消耗加入了這些高效的操作。這個(gè)在設(shè)備本地運(yùn)行的模型是谷歌用端到端的方法訓(xùn)練的，訓(xùn)練過程中使用了聯(lián)合訓(xùn)練兩個(gè)不同模型的機(jī)器學(xué)習(xí)框架；這兩個(gè)訓(xùn)練的模型，一個(gè)是緊湊的“投影”模型（如上文所述），同時(shí)還結(jié)合了一個(gè)“訓(xùn)練器”模型。兩個(gè)模型是聯(lián)合訓(xùn)練的，投影模型從訓(xùn)練器模型中學(xué)習(xí)；訓(xùn)練器模型有著專家的特質(zhì)，它是用更大、更復(fù)雜的機(jī)器學(xué)習(xí)架構(gòu)創(chuàng)建的，而投影模型就像一個(gè)跟在后面學(xué)習(xí)的學(xué)生。在訓(xùn)練過程中，也可以疊加其它的量化、蒸餾之類的技術(shù)，達(dá)到更緊湊的壓縮效果，或者也可以選擇性地優(yōu)化目標(biāo)函數(shù)的某些部分。一旦訓(xùn)練結(jié)束，這個(gè)更小的投影模型就可以直接在設(shè)備上做推理任務(wù)。

在推理過程中，訓(xùn)練后的投影模型會(huì)被編譯成一系列 TensorFlow Lite 的操作，而這些操作都是為移動(dòng)平臺(tái)的快速執(zhí)行優(yōu)化過的，可以直接在設(shè)備上執(zhí)行。這個(gè)本地運(yùn)行的聊天模型的TensorFlow Lite推理圖如下所示。

這個(gè)用上述的聯(lián)合訓(xùn)練方法端到端訓(xùn)練的聊天模型是開源的，今天（美國時(shí)間11月14日）就會(huì)和代碼一起發(fā)布出來。同時(shí)還會(huì)發(fā)布一個(gè)demo app，這樣研究人員和開發(fā)人員就可以輕松地下載它們、在自己的移動(dòng)設(shè)備上試試看它提供的一鍵智能回復(fù)功能。這個(gè)架構(gòu)能根據(jù)應(yīng)用需求提供不同模型大小、不同預(yù)測(cè)質(zhì)量的配置功能，操作也很方便。除了一些已知的模型可以給出很好回復(fù)的消息之外，系統(tǒng)還可以把一組固定的聊天對(duì)話中觀察到、然后學(xué)習(xí)編譯到模型中的流行的回復(fù)語句作為預(yù)測(cè)失敗后的備選語句。它背后的模型和谷歌在自家應(yīng)用中提供“智能回復(fù)”功能的模型有一些區(qū)別。

在聊天模型之后

有趣的是，上面描述的機(jī)器學(xué)習(xí)架構(gòu)保證了背后隱含的模型具有各種靈活的選擇。谷歌的研究人員們把這個(gè)架構(gòu)設(shè)計(jì)得可以與不同的機(jī)器學(xué)習(xí)方法兼容，比如，與TensorFlow深度學(xué)習(xí)共同使用時(shí)，就可以為隱含模型學(xué)到一個(gè)輕量化的神經(jīng)網(wǎng)絡(luò)（“投影網(wǎng)絡(luò)”），并用一個(gè)圖框架（“投影圖”）來表征這個(gè)模型，不再是神經(jīng)網(wǎng)絡(luò)的形式。

聯(lián)合訓(xùn)練框架也可以用來給使用其它機(jī)器學(xué)習(xí)建模架構(gòu)的任務(wù)訓(xùn)練輕量級(jí)的本地運(yùn)行模型。比如，谷歌把一個(gè)復(fù)雜的前向傳輸或者循環(huán)網(wǎng)絡(luò)架構(gòu)（比如LSTM）作為訓(xùn)練器模型，訓(xùn)練得到的投影架構(gòu)就可以簡單地由動(dòng)態(tài)投影操作和寥寥幾層全連接層組成。整個(gè)架構(gòu)是以端到端的方式在TensorFlow中通過反向傳播訓(xùn)練的。訓(xùn)練結(jié)束后，緊湊的投影網(wǎng)絡(luò)就可以直接用來做推理。通過這樣的方法，谷歌的研究人員們成功訓(xùn)練了不少小巧的投影模型，它們不僅在模型大小方面有大幅度下降（最高可以縮小幾個(gè)數(shù)量級(jí)），而且在多種視覺和語言分類任務(wù)中可以保證同樣的準(zhǔn)確率但性能高得多。類似地，他們也用圖學(xué)習(xí)范式訓(xùn)練了其它的輕量級(jí)模型，即便是在半監(jiān)督學(xué)習(xí)的設(shè)定中。

谷歌表示，他們?cè)陂_源TensorFlow Lite后會(huì)持續(xù)改進(jìn)以及發(fā)布新版本。通過這些機(jī)器學(xué)習(xí)架構(gòu)學(xué)到的模型，不管是已經(jīng)發(fā)布的還是將在未來發(fā)布的，都不僅可以應(yīng)用在多種自然語言和計(jì)算機(jī)視覺應(yīng)用中，也可以嵌入已有的應(yīng)用中提供機(jī)器智能的功能。同時(shí)谷歌當(dāng)然也希望及機(jī)器學(xué)習(xí)和自然語言處理大家庭中的其它研究者和開發(fā)者也可以在這些基礎(chǔ)上共同應(yīng)對(duì)谷歌尚未發(fā)現(xiàn)或者尚未解決的新問題。

via Google Research Blog，雷鋒網(wǎng) AI 科技評(píng)論編譯。

相關(guān)文章：

Google正式發(fā)布TensorFlow Lite預(yù)覽版，針對(duì)移動(dòng)/嵌入設(shè)備的輕量級(jí)解決方案

TensorFlow全新的數(shù)據(jù)讀取方式：Dataset API入門教程

谷歌發(fā)布TensorFlow 1.4版本：支持分布式訓(xùn)練，迎來三大新變化

緊跟未來深度學(xué)習(xí)框架需求，TensorFlow推出Eager Execution

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。