0
| 本文作者： 亞萌 | 2017-02-10 18:35 |
雷鋒網(wǎng)消息，谷歌近日發(fā)布了全新應(yīng)用于可穿戴設(shè)備的Android Wear 2.0系統(tǒng)和相關(guān)設(shè)備，而這一批系統(tǒng)和設(shè)備，將具有一項(xiàng)新技能：運(yùn)行谷歌全新的“設(shè)備端”機(jī)器學(xué)習(xí)技術(shù)。下面是對(duì)該項(xiàng)技術(shù)的介紹，原文載于Googleblog，由雷鋒網(wǎng)編譯整理。
設(shè)備端的機(jī)器智能
為了打造會(huì)話理解和圖像識(shí)別領(lǐng)域領(lǐng)先的技術(shù)，我們通常將多種先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)（比如深度神經(jīng)網(wǎng)絡(luò)和基于圖的機(jī)器學(xué)習(xí)）結(jié)合起來使用。然而，以上提到的機(jī)器學(xué)習(xí)系統(tǒng)往往需要大量的計(jì)算能力和存儲(chǔ)空間?？墒牵绻胍诓徽撌欠襁B接到的云端的情況下，個(gè)人手機(jī)、智能手表和IoT設(shè)備都能運(yùn)行機(jī)器智能，又要怎么辦呢？
昨天，我們發(fā)布了Android Wear 2.0系統(tǒng)和全新的可穿戴設(shè)備，這些設(shè)備將會(huì)運(yùn)行谷歌首個(gè)完全“設(shè)備端”（on-device）的機(jī)器學(xué)習(xí)技術(shù)，首先用于“智能回復(fù)”（Smart Reply）這一功能上。這個(gè)“設(shè)備端”機(jī)器學(xué)習(xí)系統(tǒng)由谷歌Expander研發(fā)團(tuán)隊(duì)開發(fā)，在不需要接入云端的情況下，將“智能回復(fù)”功能應(yīng)用于各第三方的訊息App上。所以現(xiàn)在，你若在手表上收到了一條信息，輕敲回復(fù)選項(xiàng)就可以了。
這個(gè)系統(tǒng)的研發(fā)從去年開始，當(dāng)時(shí)我們的團(tuán)隊(duì)正在為Allo和Inbox里的會(huì)話理解開發(fā)相應(yīng)的機(jī)器學(xué)習(xí)系統(tǒng)。 Android Wear團(tuán)隊(duì)找到我們，并詢問將“智能回復(fù)”直接應(yīng)用在智能設(shè)備上的可能性。因?yàn)橹悄茉O(shè)備的計(jì)算和存儲(chǔ)量都是有限的，我們很快就判斷這種移植根本不可能。
但我們的產(chǎn)品經(jīng)理Patrick McGregor意識(shí)到這對(duì)于Expander團(tuán)隊(duì)來說是個(gè)獨(dú)特的挑戰(zhàn)和機(jī)會(huì)，可以從頭開始設(shè)計(jì)一個(gè)全新的、輕型機(jī)器學(xué)習(xí)架構(gòu)，這不僅讓“智能回復(fù)”應(yīng)用于Android Wear系統(tǒng)，還應(yīng)用于其它眾多設(shè)備端的移動(dòng)應(yīng)用程序。于是，我們與Android Wear團(tuán)隊(duì)的Tom Rudick、Nathan Beach等同事一起，開始著手建立這個(gè)全新的系統(tǒng)。
建立輕型會(huì)話理解模型的一個(gè)簡(jiǎn)單策略，就是在設(shè)備上創(chuàng)建一個(gè)小型的包含一般規(guī)則的字典（輸入—>回復(fù)映射），并且在推理階段，使用一個(gè)樸素的查找策略。這個(gè)可以執(zhí)行簡(jiǎn)單的預(yù)測(cè)任務(wù)，包括使用一些特征進(jìn)行分類 （比如對(duì)文本里的情感進(jìn)行二元分類，例如“我愛這部電影”傳遞出一種積極的情感，而“演員的表演很糟糕”則傳達(dá)一種消極情感）。但是，它的規(guī)模并沒有大到去執(zhí)行包含豐富詞匯和語言變化的復(fù)雜自然語言任務(wù)。
另一方面，機(jī)器學(xué)習(xí)模型，比如RNN（如LSTM），結(jié)合圖學(xué)習(xí)（graph learning），已經(jīng)被證明是用于自然語言理解的復(fù)雜序列學(xué)習(xí)里極強(qiáng)悍的工具，包括“智能回復(fù)”。然而，為了適應(yīng)設(shè)備存儲(chǔ)空間而將這么豐富的模型進(jìn)行壓縮，并在低計(jì)算成本的情況下產(chǎn)生魯棒的預(yù)測(cè)（快速按需），這是非常具有挑戰(zhàn)性的。在我們的早期實(shí)驗(yàn)里，受到限制的模型僅僅預(yù)測(cè)一小批回復(fù)語句，我們還使用其他包括量化（quantization）、字母級(jí)別模型等技術(shù)，并不能產(chǎn)生有用的結(jié)果。
所以，我們?yōu)樵O(shè)備端機(jī)器學(xué)習(xí)系統(tǒng)建立了一種不同的解決方法，我們一開始使用了一個(gè)快速、有效的機(jī)制，將相似的傳入訊息聚集起來，并將他們投影到相似的（附近的）位向量表征里。雖然執(zhí)行這個(gè)投影步驟有幾種方法，比如使用單詞嵌入（word embeddings）或者編碼網(wǎng)絡(luò)（encoder networks），我們應(yīng)用了局部敏感哈希算法（locality sensitive hashing ，LSH) 的修改版本來降低維度，把數(shù)百萬個(gè)獨(dú)特的單詞轉(zhuǎn)換為短小的、固定長度的位序列。
這允許我們?yōu)橐粭l傳入訊息的投影進(jìn)行非常快速、即時(shí)（on-the-fly）的計(jì)算，占用很少的內(nèi)存，由于我們并不需要存儲(chǔ)傳入訊息、單詞嵌入甚至是用來訓(xùn)練的整個(gè)模型。
投影步驟：相似訊息組合在一起，投射到鄰近向量里。比如，“hey, how's it going?”與 "How's it going buddy?" 這兩條訊息內(nèi)容是相似的，或許會(huì)投射到同樣的向量 11100011。另一條相似的訊息“Howdy, everything going well?”被映射到一個(gè)附近的向量11100110，與前兩條相差2位。
接下來，使用我們的半監(jiān)督圖學(xué)習(xí)框架，我們的系統(tǒng)把傳入訊息和投影結(jié)合在一起，共同訓(xùn)練一個(gè)“訊息投入模型”，學(xué)習(xí)預(yù)測(cè)可能的回復(fù)語句。圖學(xué)習(xí)框架能夠訓(xùn)練一個(gè)魯棒的模型，通過從各種資源里找出的語義關(guān)系——訊息/回復(fù)互動(dòng)、單詞/短語相似性、語義集群信息——學(xué)習(xí)有用的投影操作，來映射良好的回復(fù)語句預(yù)測(cè)。
學(xué)習(xí)步驟：（頂部）的訊息、投射和相應(yīng)回復(fù)語句一起，在一個(gè)機(jī)器學(xué)習(xí)框架里，同步學(xué)習(xí)一個(gè)“訊息投射模型”。（底部）訊息投射模型學(xué)習(xí)，將回復(fù)語句與相應(yīng)傳入訊息的投射聯(lián)系在一起。比如，模型投射兩種不同的訊息“Howdy, everything going well?”和“How’s it going buddy?”投射到附近的位向量里，并且學(xué)習(xí)著將其映射成相關(guān)的回復(fù)語句（底部左圖）。
值得注意的是，就像我們前面提到的，盡管“訊息投影模型”用復(fù)雜的機(jī)器學(xué)習(xí)架構(gòu)和云計(jì)算進(jìn)行訓(xùn)練，但是模型本身在設(shè)備上存在和運(yùn)行。設(shè)備上的App可以傳遞用戶的傳入訊息，并從設(shè)備端模型上接受回復(fù)語句預(yù)測(cè)選項(xiàng)，而不需要離開設(shè)備去獲得數(shù)據(jù)。這個(gè)模型也可以適應(yīng)用戶書寫風(fēng)格和個(gè)人偏好，從而提供一種個(gè)性化的體驗(yàn)。
推理步驟：模型將學(xué)習(xí)好的映射應(yīng)用于一條傳入訊息（或訊息序列）里，并且推薦相關(guān)的多條回復(fù)語句。推理過程在設(shè)備上運(yùn)行，使得模型適應(yīng)用戶數(shù)據(jù)和個(gè)性化書寫風(fēng)格。
為了得到開箱即用的設(shè)備端系統(tǒng)，我們必須要進(jìn)行一些額外的改進(jìn)，比如優(yōu)化設(shè)備上的計(jì)算速度、從模型中生成豐富多樣的回復(fù)語句等等。不久之后，我們將進(jìn)行一些科學(xué)發(fā)表，介紹更多設(shè)備端機(jī)器學(xué)習(xí)系統(tǒng)工作的細(xì)節(jié)。
當(dāng)我們踏上從無到有打造這項(xiàng)技術(shù)的旅程時(shí)，一開始我們并不確定，這些模型的預(yù)測(cè)結(jié)果質(zhì)量是否合格。我們非常驚訝地發(fā)現(xiàn)，它能在非常有限的計(jì)算能力和存儲(chǔ)資源的情況下，在安卓的可穿戴設(shè)備上工作良好，對(duì)此我們非常興奮。我們期待繼續(xù)改善模型，為用戶提供共更加愉悅的會(huì)話體驗(yàn)，我們將會(huì)提升這個(gè)設(shè)備端的機(jī)器學(xué)習(xí)平臺(tái)，接下來的幾個(gè)月里將其應(yīng)用于新的領(lǐng)域。
現(xiàn)在，你可以在你的Google手表或任何運(yùn)行Android Wear 2.0系統(tǒng)的手表上使用這一功能。這一功能已經(jīng)可以在Google Hangouts、Google Messenger和眾多第三方App上使用。我們也會(huì)為第三方穿戴設(shè)備App的開發(fā)者提供API接口。
更多雷鋒網(wǎng)相關(guān)內(nèi)容：
除了發(fā)布Ticwatch 2，出門問問還“跨界‘帶來另一款產(chǎn)品
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
