0
雷鋒網(wǎng)按：Facebook的AML和FAIR團隊合作進行自然語言處理對自然語言理解進行著合作研究。在2017年4月19日舉辦的F8開發(fā)者大會上，F(xiàn)acebook向公眾介紹了他們的研究進展、自然語言理解在Facebook產(chǎn)品中的應(yīng)用，并且介紹了平民化的自然語言理解平臺CLUE，希望依靠大家的力量，繼續(xù)豐富自然語言理解的應(yīng)用。
演講者：Facebook工程主管Benoit Dumoulin，技術(shù)項目主管Aparna Lakshmiratan。雷鋒網(wǎng)AI科技評論聽譯。
（首先上臺的是Benoit）大家好，我是Benoit，我是Facebook自然語言理解團隊的負(fù)責(zé)人。
我們團隊隸屬于AML（applied machine learning，機器學(xué)習(xí)應(yīng)用小組）。今天我想給大家講講幾個我們團隊最近的工作成果，講講我們正在研究什么，同時也會講到我們遇到、并且正在努力解決的問題和挑戰(zhàn)。等一下我還會請一個同事上臺來介紹一個有意思的產(chǎn)品，其中就用到了我們團隊開發(fā)的技術(shù)。
進入正題，當(dāng)你打開Facebook之后，你肯定會用到文字。文字是重要的溝通方式，F(xiàn)acebook的每個產(chǎn)品里面都能看到文字，Instagram，Messenger，Whatsapp等等，文字真的到處都是。而你每天在Facebook看到的或者寫下的文字，是沒有任何要求，任何人都可以隨意發(fā)揮的，不需要戲劇化或者怎樣。所以如果我們能夠理解這些文字，那我們就肯定可以讓每個用戶的使用感受都得到提升。
理由是這樣的，拿我自己舉例吧，其實我是法國裔加拿大人，在蒙特利爾長大的（觀眾喝彩），（笑）。那我呢，工作是科學(xué)家，業(yè)余時間喜歡冰球，所以當(dāng)我每天打開Facebook的時候，我想看到我朋友們的新動向、想跟他們聊天；我也想知道最新的冰球比賽結(jié)果如何，你看現(xiàn)在就有一場，我挺關(guān)心我喜歡的俱樂部怎么樣了——不告訴你們叫什么（笑）。同時呢，除了看這些新聞，我還需要關(guān)注機器學(xué)習(xí)方面的動向，我得知道下一場會議在什么時候、都有誰會去、我的朋友們?nèi)ゲ蝗?、是誰組織的、有沒有什么優(yōu)秀論文等等，各種各樣的事情。為了達到這樣的目的呢，我們就需要想辦法理解這些文字內(nèi)容，然后根據(jù)我的興趣進行匹配。
我們經(jīng)常提到“自然語言理解”和“內(nèi)容識別”，要表達什么意思呢？簡單說就是能給別人解釋——一段文字經(jīng)過算法處理以后，我們能夠做出結(jié)論或者進行引申。在我們能做的事情里面，最基本的之一就是給文字分類。
比如（右邊）這段內(nèi)容是我發(fā)的，把它輸?shù)綑C器里，就能訓(xùn)練它如何把內(nèi)容分類成為話題，然后就能跟別人解釋了，“哦，這段內(nèi)容是關(guān)于廚藝的?！?（左邊）還有一段關(guān)于籃球的內(nèi)容是我的朋友Jole發(fā)的，不過如果你仔細(xì)看一下文字的話，你就會發(fā)現(xiàn)它也是關(guān)于廚藝的，只是不那么明顯。不過不用擔(dān)心，我們訓(xùn)練的機器也可以處理這樣的內(nèi)容。
我們當(dāng)然還能做更棒的，更深入地理解一段話，區(qū)分出其中的實體。這是另一個朋友的動態(tài)，要去看演出，這個樂隊我沒怎么聽說過。當(dāng)你仔細(xì)看一下文字部分就會發(fā)現(xiàn)，名字挺逗， 樂隊名字是“Muckbucket Sunshine”，演出地點是“BOM BOM ROOM”。那如果這種時候我們能區(qū)分出實體，知道了是哪個樂隊、在哪個場館演出，然后就可以把它匹配給喜歡音樂的人；然后呢，我們不需要把所有音樂相關(guān)的信息都推薦給他們，只需要推薦跟這個樂隊或者這個場館相關(guān)的就可以了。我們所講的“內(nèi)容識別”大概就是這樣。
對于Messenger，你們在聽過昨天的演講、參加一些活動以后就會知道，一旦能夠理解文字內(nèi)容了，就可以做一些很有趣的事情。比如這段對話，我和我的兩個朋友打算一起出去喝酒。區(qū)分一下實體的話，就是我們要去palo alto，時間也能看得出來。這里我想強調(diào)一下，人類可以很容易地理解這段對話，實際上我們3個人用了3種不同的方式來表達時間。
所以我們的目標(biāo)就是設(shè)計和訓(xùn)練人工智能，讓它們對文字內(nèi)容的理解準(zhǔn)確度達到人類水平，確實是這樣。這個目標(biāo)其實挺難達到的，我試著跟你們解釋一下，F(xiàn)acebook上面的文字完全是自由地書寫的，沒有任何限制，用戶們想怎么寫就怎么寫，對不對。
我們打算怎樣達到這個目標(biāo)呢，不是什么秘密，我們用了深度學(xué)習(xí)的方法。我們最重要的方法之一是來自這篇論文的。它的名字叫《從零開始進行文本理解》（《Text understanding from scratch》），是幾年前公開的，其中介紹了可以用深度學(xué)習(xí)，就是只需一個標(biāo)準(zhǔn)的網(wǎng)絡(luò)模型就能進行語言識別，并且解決大多數(shù)在其中遇到的問題。我們跟Facebook的研究團隊一起研究了這篇論文，然后我們就決定建立一個能夠支持論文中這樣的算法的平臺。
這是我們在Facebook建的這個平臺建好以后的樣子，我們把它叫做Deep Text，是幫我們達成文本識別方面目標(biāo)的秘密武器。我們把這個平臺建立得可以靈活切換，還可以升級拓展。我們每天會拿很多文本給它訓(xùn)練或者處理。它需要支持多種語言，如果你參與了之前的演講，你一定明白我們有很多用其它語言的用戶，他們同樣會用不同的語言創(chuàng)造很多內(nèi)容，我們也需要理解。還有，這個方面有許許多多的問題需要解決，我們希望這個平臺能夠以無縫的方式解決許多種不同的問題。
我剛才解釋過的內(nèi)容分類、實體識別和區(qū)分只是眾多待解決問題中的幾個，我們還可以做很多別的事情。我等下還會說一個叫做“文本相似性”的，也是能夠很自然地用這樣的平臺解決的?，F(xiàn)在我們回過頭來再講一下Deep Text，看看它是怎么解決文本分類的問題的。
剛才說過Deep Text用到了深度學(xué)習(xí)，其中很有意思的一點就是單詞是以向量的形式表示的。我們在向量空間里表示這些詞，這樣一來，語義學(xué)上相似的詞也就會處在更接近的位置上；不怎么相似的詞就會離得很遠。這里是一張這種表示方法的示意圖，里面的藍色和粉色點就是單詞。可以看到，幾個球類運動的名稱挨得比較近，其它概念性的詞雖然也跟運動相關(guān)，但是離得就要遠一些。
我們實際的措施，基本上是基于卷積網(wǎng)絡(luò)的，這是一種很自然的吸收組合上下文的方法。這里的“上下文”是指，如果你單獨拿一個詞出來，它可能會有好多種含義，但是當(dāng)這個詞在句子中、有上下文的時候，那這個詞的意思就會變得明確得多。這就是我們這種方法可以很自然地做到這件事的原因?；旧夏阋沧约耗茏鲆粋€話題或者分類識別器，就用這樣的網(wǎng)絡(luò)。
剛才我提到了文本相似性，它可以很好地說明我們這個平臺的靈活性。關(guān)于文本相似性，我們就拿上一頁的那種網(wǎng)絡(luò)，然后把它拓展成了一個復(fù)雜得多的模型，像這樣。在這里我們要做的是，用一側(cè)的網(wǎng)絡(luò)對一份文本內(nèi)容進行分析建模，我們把這種模型叫做“雙塔模型”，如果你是業(yè)內(nèi)人士的話，你肯定明白我是什么意思。所以你用一側(cè)的網(wǎng)絡(luò)對一條文本進行建模，用另一側(cè)的網(wǎng)絡(luò)對另一條文本進行建模，然后再用一個函數(shù)對語義區(qū)別大的進行懲罰。
有了這樣的方法，我們就可以做很厲害的事情了。比如這個，我不是喜歡冰球嘛，那么有了這樣的模型，如果有一個我喜歡的動態(tài)，那這個模型就可以學(xué)會找到更多的語義類似的動態(tài)，然后我就可以看到更多自己喜歡的東西。這個模型挺厲害的，我們在很多Facebook的產(chǎn)品中都用到了這個模型。
這是我們當(dāng)前所做的，對于未來，我們想要做得更好。這是我們在通往與人類類似的文本識別準(zhǔn)確率路上的小目標(biāo)之一，我們可以把文字和圖片或者視頻進行聯(lián)合識別。還是回到我朋友Jole的這個動態(tài)，文字部分是很隱晦的，但是這張圖片非常好理解。所以如果把兩者加以結(jié)合，讓圖片和文字里面的信息都發(fā)揮作用，建立一個聯(lián)合識別的模型，就肯定會對這份內(nèi)容有很好的理解。
以上就是我們最近在做的事情，我們也一直努力做出更好的成果。那么我就講到這里，下面我會邀請我的同事上臺，她會繼續(xù)給大家講一些的實際產(chǎn)品，其中就用到了我們團隊開發(fā)的技術(shù)。
（Benoit走下講臺，觀眾鼓掌，Aparna走上講臺）
謝謝Benoit，我是Aparna，我來跟大家講講目前Deep Text是如何運用在真實的Facebook產(chǎn)品中的。我不知道大家有沒有想過，實際上人們會用Facebook的群組做各種各樣的事情，尤其是用它來買賣東西。
大概一年之前，群組的商務(wù)團隊找到我們，讓我們幫忙看看有沒有辦法知道一個動態(tài)是不是關(guān)于賣東西的；如果真的要賣東西，我們能不能幫用戶更好地達成他的目標(biāo)，來給用戶更好的使用體驗。這其中的難點是，當(dāng)用戶想要賣東西的時候，我們不想給用戶發(fā)動態(tài)的方式加上任何束縛，我們還是希望用戶用自然語言、自由地表達，但是我們還是要能夠識別出用戶想要賣東西的意愿。當(dāng)我們有了Deep Text以后，我們就可以做一個高精確度的分類器，它可以閱讀用戶的動態(tài)，看看用戶有沒有賣東西的打算。而且它還可以識別得更深，就像剛才Benoit說的那樣，識別文本中的實體，在這個場景下就可以是產(chǎn)品名稱、價格、主要特性，然后我們就可以給用戶提供很有吸引力的使用體驗。
再舉一個例子，社交推薦，我在自己的Facebook上都經(jīng)常會使用這個功能。借助Deep Text，我們可以觀察用戶的動態(tài)，如果你在讓你朋友幫忙推薦東西的，比如好吃的飯館、好玩的活動，又比如這個例子里，想找一個靠譜的理發(fā)店。我們能做的就是，用Deep Text判斷用戶想要做什么樣的事情，一旦判斷出來，接下來的事情會給用戶很棒的體驗，當(dāng)你的朋友給出建議以后，評論會分類，找出其中的實體，更重要的是把找到的實體鏈接到Facebook的地址簿里，然后展示成美觀的地圖，方便用戶互動，最終達成自己的目標(biāo)。
最后再說一個應(yīng)用的話，你們可能在昨天的演講里已經(jīng)聽過了，那就是Messenger中的M建議。當(dāng)M覺得它能夠幫助你做什么的時候，它就會自動在你的聊天中跳出來。它吸引人的地方，就是縮短了從“想做”到“做成”之間的距離。所以M可以幫忙做很多你想要做的事情。比如，當(dāng)M發(fā)現(xiàn)你要去哪里的時候，它可以幫你叫一輛車，看你喜歡Uber還是lift，而且可以不用離開Messenger界面就叫到車。現(xiàn)在這段視頻就演示了當(dāng)M發(fā)現(xiàn)用戶打算叫外賣，只要點一下，就可以用一種新的體驗叫到外賣。
而且你還會發(fā)現(xiàn)這種體驗是共享化的，對話里的每個人都可以參與這個點餐的過程。點好以后仍然通過M就可以完成付款。所以這些事情都可以不用離開Messenger界面就可以搞定，而隨著M變得越來越智能，我們也希望有更多類似這樣的建議可以給更多的用戶意愿帶來方便。
接下來我想講講，當(dāng)我們在研發(fā)這些產(chǎn)品的時候都遇到了一些什么樣的困難。
第一個困難是，很難批量復(fù)制機器學(xué)習(xí)所需要的專家。大多數(shù)時候，我們團隊的機器學(xué)習(xí)專家和產(chǎn)品團隊的工程師一起合作，做出這些非常高準(zhǔn)確度的分類器。但是你會注意到，在我提到的這些應(yīng)用例子里，我們還想給很多很多別的用戶意愿做出分類器，還有很多很多的實體我們想要識別提取，但是很明顯，我們沒辦法像批量化建立功能一樣地讓機器專家們也批量化。
第二個問題是重復(fù)使用性，我們AML團隊很看重這件事。回想一下前面我舉的兩個例子，其中有一個提取地址的功能，我們會覺得這個功能既要用在Messenger的M建議功能里，也要用在社交推薦里是很自然的事情。所以我們也在想如何才能建立一個平臺，讓不同的程序都能共享和重復(fù)使用這個平臺的模型、特性以及數(shù)據(jù)，這樣它們就都可以找到突破口，避免開發(fā)的時候要每次重復(fù)做類似的工作。
第三個難點你們應(yīng)該都理解，機器學(xué)習(xí)的關(guān)鍵是數(shù)據(jù)，高質(zhì)量的有標(biāo)簽數(shù)據(jù)；要獲得這樣的數(shù)據(jù)，大家可能都知道，不僅僅是難，而且還很費錢。所以我們也在想如何優(yōu)化標(biāo)簽，讓我們在訓(xùn)練這些分類器和提取器的時候盡可能提高標(biāo)簽的使用效率。
這幾點就把我們引向了CLUE。CLUE是一個語言識別引擎，是一個自助式的平臺。
而CLUE做的事情，是讓機器學(xué)習(xí)變得民主化，它用優(yōu)秀的人工智能和漂亮的用戶界面吸引著人們進入，這樣Facebook的每個用戶，不一定非要是機器學(xué)習(xí)專家，都可以到CLUE里面用最先進的自然語言理解技術(shù)建立一個實體提取器和內(nèi)容分類器。這樣，當(dāng)任何的新應(yīng)用需要的時候，都可以由CLUE這個統(tǒng)一的入口來建立提取器和分類器。
第二個方面是，CLUE是建立于Deep Text和Facebook的AI開發(fā)平臺FB LearnerFlow2和Caffe2之上的，相信你們今天已經(jīng)聽說過它們了。對Facebook整體來說，這些怕平臺極大地提高了靈活性，讓人們可以共享和重復(fù)使用模型、數(shù)據(jù)和特性。
第三個方面是對標(biāo)簽效率的提升。CLUE使用了“主動學(xué)習(xí)”功能，這個功能在機器學(xué)習(xí)社區(qū)經(jīng)常可以見到，讓它可以為獲取到的標(biāo)簽做出優(yōu)化，讓分類器只學(xué)習(xí)它還需要學(xué)習(xí)的、還沒有弄明白的標(biāo)簽。
接下來，我會站在一個想要運用CLUE的工程師的角度，利用它自助式的設(shè)計，建立一個分類器，就比如叫外賣的吧。那么你首先需要做的事情是收集一些數(shù)據(jù)，你需要先給分類器一些正確的樣本，比如能表現(xiàn)出叫外賣意愿的短語或者句子。你可以看到，CLUE提供了一個非常平易近人的用戶界面，帶有一些關(guān)鍵詞搜索來提示你，方便你輸入帶有這種意愿的語句。
在這個例子里，“我想吃賽百味或者漢堡王”就帶有叫外賣的意愿，算是一個不錯的開始。你可以添加許多這樣的確實具有意愿的句子，來達成你的目標(biāo)。正確和不正確的樣本都行，當(dāng)你開始收集以后，你需要做的就是給他們加標(biāo)簽。
同樣地，CLUE有一個美觀的用戶界面來讓你做這件事。你不僅可以標(biāo)出哪些有意愿，哪些沒意愿，而像Benoit前面說的那樣，還可以給實體加標(biāo)簽。對我們這個例子來講，“賽百味”和“漢堡王”都是值得加標(biāo)簽的內(nèi)容，可以幫助你達成你的目標(biāo)。
當(dāng)你添加好標(biāo)簽以后，CLUE就會自動地在后臺訓(xùn)練出一個分類器。在你添加標(biāo)簽的過程中，你就已經(jīng)得到了一個可以使用的分類器了。如果你才剛剛開始的話，效果可能還不是很好，但是畢竟有一個了。然后你就可以看看分類器運行的狀況如何。
CLUE支持多種可視化方式，比如召回率曲線、AUC曲線等等，很多種圖形供你選擇?，F(xiàn)在你還可以監(jiān)控你的分類器運行狀況如何，來看看你計劃的任務(wù)完成得如何。
你還可以用CLUE做一件厲害的事情，就是你可以用這種初始狀態(tài)的分類器去分類真實的Facebook信息流，看看結(jié)果如何。我來演示一下要怎么做，在用這個分類器對真實的信息流分類以后，可能很多東西已經(jīng)分類對了，但是更重要的是，能看到有哪些東西分類錯了。
在這個例子里，CLUE就告訴你，你的分類器好像有點弄混了，分不清“能送上門嗎”和“我們端著面條說吧”。這就可以提示你如何改進數(shù)據(jù)和標(biāo)簽，給分類器更正這些錯誤，給怎樣得到越來越好的結(jié)果指明了方向。
這就是我前面提到過的主動學(xué)習(xí)循環(huán)。隨著你調(diào)整好了你的模型，當(dāng)你對結(jié)果滿意的時候，就可以點一下CLUE里面的“部署”按鈕，就這么簡單。點一下按鈕，你的分類器就可以部署到所有的數(shù)據(jù)中心里，這樣，只要有需要的Facebook產(chǎn)品團隊都可以到其中選擇、并把你的分類器應(yīng)用到他們的程序中。
算上Deep Text和CLUE，我們使用在Facebook產(chǎn)品里面的模型已經(jīng)超過了200個。這里面很厲害的事情是，不僅機器學(xué)習(xí)的專家們使用這些模型，F(xiàn)acebook里不同產(chǎn)品團隊的科學(xué)家和工程師也在用這些模型。
在這場演講的開頭，Benoit說我們真正的目標(biāo)是通過各種各樣的應(yīng)用，借助數(shù)百萬計的內(nèi)容把人和人連接起來。今天的Facebook已經(jīng)做得很好的事情，是通過利用社交信息流，借助你朋友們所說的話、所做的事把你和內(nèi)容連接起來。我們很想要拓展這件事情，想要把你和這世界中你感興趣的數(shù)百萬計的內(nèi)容也連接起來。即便今天說了這么多，其實我們也只是剛剛開始，為了讓AI能夠達到這些目標(biāo)、提供這些新的用戶體驗，還有很多的事情等待我們?nèi)プ?。謝謝大家！
雷鋒網(wǎng)AI科技評論聽譯
via Natural Language Understanding @Facebook
AI慕課學(xué)院近期推出了《NLP工程師入門實踐班：基于深度學(xué)習(xí)的自然語言處理》課程!
三大模塊，五大應(yīng)用，海外博士講師手把手教你入門NLP，更有豐富項目經(jīng)驗相授；算法+實踐，搭配典型行業(yè)應(yīng)用；隨到隨學(xué)，專業(yè)社群，講師在線答疑！
課程地址：http://www.mooc.ai/course/427
加入AI慕課學(xué)院人工智能學(xué)習(xí)交流QQ群：624413030，與AI同行一起交流成長
相關(guān)文章：
F8 2017 | AR、VR、AI一個不落，F(xiàn)acebook 帶你通往未來世界
F8 2017 | 技術(shù)負(fù)責(zé)人為你解析 Facebook 神經(jīng)機器翻譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
