雷鋒網(wǎng)按：2018年，NLP領(lǐng)域有諸多令人欣喜的進(jìn)展。例如，雷鋒網(wǎng)曾報道谷歌在I/O大會上展示了Google Assistant中的Duplex技術(shù)，能夠在理解上下文的情況下連續(xù)對話，幫助用戶預(yù)定餐廳、理發(fā)店等任務(wù)；微軟小冰發(fā)布“全雙工語音感官交互”和“共感模型”，聊天能力升級，除了持續(xù)對話外，還能引導(dǎo)話題，還發(fā)展了寫詩、寫摘要、作詞作曲演唱等才藝。

但是，我們離電影《Her》中那個貼心全能的人工智能“塞曼薩”還很遙遠(yuǎn)。NLP領(lǐng)域還有哪些難題亟待解決呢？NLP大牛、Salesforce首席科學(xué)家Richard Socher特意撰文指出了NLP領(lǐng)域的三座大山，雷鋒網(wǎng)進(jìn)行了不改變原意的編輯。

【 圖片來源：ticary solutions 】

語言是人類所獨(dú)有的能力，是智慧的體現(xiàn)。但是通過人工智能技術(shù)——特別是自然語言處理（NLP）——我們正在賦予機(jī)器理解語言的能力，為我們?nèi)祟惻c機(jī)器交互開辟了一個全新的領(lǐng)域。

今天你可以走進(jìn)黑暗的起居室，要求Alexa為你打開智能燈，并調(diào)節(jié)到令人感到舒適的75%亮度?；蛘?，你可以詢問有關(guān)于世界另一頭兒的天氣狀況。業(yè)界所取得的最新進(jìn)步在谷歌最近放出的關(guān)于Duplex的演示中得到了體現(xiàn)。在演示中，人工智能助手可以給商家打電話并完成預(yù)約。曾經(jīng)看起來像在科幻小說里的東西，現(xiàn)在已經(jīng)變成了現(xiàn)實(shí)，但是為了實(shí)現(xiàn)真正復(fù)雜的人機(jī)交互，機(jī)器必須能夠處理更加直觀、聯(lián)系上下文和更加自然的對話——這仍然是一個挑戰(zhàn)。我的職業(yè)生涯都集中在NLP技術(shù)上，這是一個和人工智能一樣古老的研究領(lǐng)域，而我們?nèi)匀惶幱谶@個旅程的開始階段。

語言是分享信息并與我們周圍的人交流的基本工具，但是機(jī)器需要費(fèi)力理解語言的復(fù)雜性，以及我們?nèi)祟愂侨绾纬浞掷谜Z言進(jìn)行交流的。情感分析、問答系統(tǒng)和聯(lián)合多任務(wù)學(xué)習(xí)技術(shù)的進(jìn)步使得人工智能能夠真正理解人類的意圖和我們交流的方式。

情感分析

不得不說，語言天生就很難。它不斷進(jìn)化，它是高度細(xì)微的，它需要普通人年復(fù)一年的學(xué)習(xí)才能掌握。通過情緒分析技術(shù)，我們可以利用AI來理解給定話語中的某些特定內(nèi)容，例如提到的品牌或正面的、負(fù)面的和中性的電影評論。但是我們也可以理解說話者的態(tài)度和意圖（她生氣了嗎？高興嗎？驚訝？準(zhǔn)備買了嗎？）。從客戶服務(wù)到在線社區(qū)審核，再到算法交易，通過即時分析數(shù)千條推文或數(shù)百條產(chǎn)品評論，了解公眾對品牌的感受，對于企業(yè)來說是非常有價值的。

情感分析技術(shù)已經(jīng)存在了一段時間，但并不總是很準(zhǔn)確。然而，這是隨著NLP技術(shù)的進(jìn)步而改善的。在Salesforce，我擔(dān)任首席科學(xué)家，我們的愛因斯坦人工智能服務(wù)（Einstein AI）允許品牌商可以實(shí)時分析電子郵件、社交媒體和聊天對話中的情感，以便提供更好的客戶體驗(yàn)。準(zhǔn)確的情緒分析結(jié)果可以為企業(yè)提供很多幫助，例如，服務(wù)代理人可以知道哪些不滿意的客戶是需要優(yōu)先幫助的、應(yīng)該向誰提供促銷優(yōu)惠、可以識別產(chǎn)品缺陷、測量總體產(chǎn)品滿意度、甚至通過社交媒體渠道監(jiān)控品牌滿意度。目前已有其他科技公司也提供類似的服務(wù)。 

我們也需要讀懂上下文的含義。假設(shè)你經(jīng)營肥皂生意，有人在推特上寫道“這種肥皂對嬰兒來說真的很棒”。這可以被看作是對肥皂適合嬰兒的積極認(rèn)可，或者諷刺地暗示它對年齡大一點(diǎn)的孩子來說很糟糕。在那句話里有太多的語境，并且這只是一個非常簡單的陳述！教會AI分析句子結(jié)構(gòu)的所有可能含義，并理解人在特定上下文中的意圖，這是自然語言處理研究中的一大挑戰(zhàn)。它既需要標(biāo)記的數(shù)據(jù)來改進(jìn)模型訓(xùn)練，也需要新的模型，這些模型可以學(xué)習(xí)上下文并同時在許多不同類型的任務(wù)中共享內(nèi)容。

問答系統(tǒng)

隨著NLP技術(shù)能夠更好地解析文本中的含義，幫助我們管理生活的數(shù)字助理的智能程度將會提高。Siri和Google Assistant等應(yīng)用程序已經(jīng)能夠?yàn)槌Ｒ妴栴}提供相當(dāng)好的答案，并能夠執(zhí)行相當(dāng)簡單的命令。理想的情況下，我們應(yīng)該能夠問我們的計(jì)算機(jī)任意的問題，并得到較好的答復(fù)。 

得到更好答復(fù)的一種方法是確保計(jì)算機(jī)能夠理解這個問題。如果你問“我的飛機(jī)什么時候到達(dá)？”計(jì)算機(jī)是如何知道你是在談?wù)撃愕暮桨噙€是從Amazon上訂購的木工工具？計(jì)算機(jī)通過更深入地理解語義，以及更智能地使用上下文數(shù)據(jù)來更好地猜測我們的意圖。使用NLP，我們正在研究如何學(xué)習(xí)上下文的每一層含義，以便AI可以一次處理所有上下文而不會錯過重要信息。

例如，動態(tài)共聚焦網(wǎng)絡(luò)（dynamic coattention networks）可以根據(jù)不同的問題來解釋單個文檔，例如“哪個隊(duì)代表超級碗50中的NFC？”或者“誰在第四節(jié)完成了觸地得分？”通過這種有條件的解釋，它可以反復(fù)地假設(shè)多個答案，以便得到最好、最準(zhǔn)確的結(jié)果。 

聯(lián)合多任務(wù)學(xué)習(xí) 

科學(xué)界善于搭建運(yùn)行良好的單任務(wù)的人工智能模型。但是，更直觀、對話性的和上下文理解將需要AI模型能夠不斷地學(xué)習(xí)——將新任務(wù)與舊任務(wù)集成，并在過程中學(xué)習(xí)執(zhí)行越來越復(fù)雜的任務(wù)。一般來講，這想法對AI是正確的，但在語言方面卻是部分正確，這里需要一些靈活性。

“誰是我的客戶？”該問題提出一個非常簡單的任務(wù)：創(chuàng)建客戶列表。但是接下來的問題，“誰是我在西北太平洋地區(qū)最適合某特定產(chǎn)品的消費(fèi)者呢？”現(xiàn)在我們添加了一層復(fù)雜性，它需要許多集成任務(wù)來回答限定的問題，例如：如何定義“最好”？每個客戶在哪里？什么因素促使一個客戶對一個產(chǎn)品感興趣？每增加一個需要查詢的項(xiàng)目，問題的復(fù)雜性便急劇增加。

Salesforce Research最近創(chuàng)建了自然語言技術(shù)十項(xiàng)全能競賽，該競賽利用答疑系統(tǒng)的力量，在單個模型中處理NLP的10項(xiàng)最艱巨的任務(wù)：問題回答、機(jī)器翻譯、總結(jié)、自然語言推理、情感分析、語義、角色標(biāo)注、關(guān)系抽取、面向目標(biāo)對話、數(shù)據(jù)庫查詢生成和代詞解析。使用多任務(wù)問答模型完成測試，單個模型在沒有任何特定參數(shù)或模塊的情況下可聯(lián)合學(xué)習(xí)和處理不同的任務(wù)。這不僅意味著數(shù)據(jù)科學(xué)家不再需要為每個任務(wù)建立、訓(xùn)練和優(yōu)化單獨(dú)的模型，還意味著該模型將具有zero-shot 學(xué)習(xí)能力——換句話說，該模型能夠處理以前從未見過的或者經(jīng)過專門訓(xùn)練的任務(wù)。

隨著研究人員繼續(xù)改進(jìn)這類模型，我們將看到AI交互在處理更復(fù)雜的任務(wù)時會變得更加智能。

雖然我們已經(jīng)在NLP技術(shù)上花了很長時間，但依舊處于早期階段。然而，希望NLP的改進(jìn)能使AI改變我們與機(jī)器交互的方式。

Via hbr.org

相關(guān)文章：

2018 NLP領(lǐng)域持續(xù)火爆，廠商挖空心思尋找落地場景

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。