本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

NLP vs. NLU: from Understanding a Language to Its Processing

作者 | Sciforce

翻譯 | 蘿卜菜在種樹(shù)     編輯 | 王立魚(yú)

原文鏈接：

https://medium.com/sciforce/nlp-vs-nlu-from-understanding-a-language-to-its-processing-1bf1f62453c1

隨著人工智能的進(jìn)步，相關(guān)技術(shù)變得越來(lái)越復(fù)雜，我們希望現(xiàn)有的概念能夠包容這種變化 - 或者改變自己。同理，在自然語(yǔ)言處理領(lǐng)域中，自然語(yǔ)言處理（NLP）的概念是否會(huì)讓位于自然語(yǔ)言理解（NLU）？ 或者兩個(gè)概念之間的關(guān)系是否變得更微妙，更復(fù)雜，抑或只是技術(shù)的發(fā)展？

在這篇文章中，我們將仔細(xì)研究NLP和NLU的概念以及它們?cè)贏I相關(guān)技術(shù)中的優(yōu)勢(shì)。

值得注意的是，NLP和NLU盡管有時(shí)可以互相交換使用，但它們實(shí)際上是兩個(gè)有一些重疊的不同概念。首先，他們都用來(lái)處理自然語(yǔ)言和人工智能之間的關(guān)系。他們都試圖理解類似于語(yǔ)言之類的非結(jié)構(gòu)化數(shù)據(jù)，而不是像統(tǒng)計(jì)，行為等結(jié)構(gòu)化數(shù)據(jù)。然而，NLP和NLU是許多其他數(shù)據(jù)挖掘技術(shù)的對(duì)立面。

來(lái)源: https://nlp.stanford.edu/~wcmac/papers/20140716-UNLU.pdf

  自然語(yǔ)言處理

NLP是一個(gè)已經(jīng)很成熟，已有數(shù)十年歷史的領(lǐng)域。在計(jì)算機(jī)科學(xué)、人工智能、數(shù)據(jù)挖掘等領(lǐng)域進(jìn)行交叉。NLP的最終目的是通過(guò)機(jī)器讀取、解讀、理解和感知人類語(yǔ)言，將某些任務(wù)用機(jī)器來(lái)代替人類來(lái)處理，包括在線聊天機(jī)器人，文本摘要生成器，自動(dòng)生成的關(guān)鍵字選項(xiàng)卡，以及分析文本情緒的工具。

NLP的作用

NLP在廣義上來(lái)說(shuō)可以指廣泛的工具，例如語(yǔ)音識(shí)別、自然語(yǔ)言識(shí)別和自然語(yǔ)言生成。然而，在歷史上，NLP常用于：

• 符號(hào)化

• 解析

• 信息提取

• 相似度 

• 語(yǔ)音識(shí)別

• 自然語(yǔ)言和語(yǔ)音生成等等

在現(xiàn)實(shí)生活中，NLP用于文本摘要、情感分析、主題提取、命名實(shí)體識(shí)別、詞性標(biāo)注、關(guān)系提取、詞干提取、文本挖掘、機(jī)器翻譯、自動(dòng)問(wèn)答、本體論、語(yǔ)言建模和我們可以想到的所有與語(yǔ)言相關(guān)的任務(wù)。

NLP技術(shù)

NLP的兩個(gè)支柱是句法分析和語(yǔ)義分析。

總結(jié)：NLP依靠機(jī)器學(xué)習(xí)通過(guò)分析文本語(yǔ)義和語(yǔ)法從人類語(yǔ)言中獲得意義。

  自然語(yǔ)言理解（NLU）

NLP可以追溯到20世紀(jì)50年代計(jì)算機(jī)程序員開(kāi)始嘗試簡(jiǎn)單的語(yǔ)言輸入。NLU在20世紀(jì)60年代開(kāi)始發(fā)展，希望讓計(jì)算機(jī)能夠理解更復(fù)雜的語(yǔ)言輸入。NLU被認(rèn)為是NLP的一個(gè)子方向，主要側(cè)重于機(jī)器閱讀理解：讓計(jì)算機(jī)理解文本的真正含義。

NLU實(shí)際上做了什么

與NLP類似，NLU使用算法將人類語(yǔ)音轉(zhuǎn)化為結(jié)構(gòu)化本體。 然后使用AI算法檢測(cè)意圖，時(shí)間，位置和情緒等。但是，當(dāng)我們查看NLU任務(wù)時(shí)，我們會(huì)驚訝地發(fā)現(xiàn)這建立了多少NLP概念：

NLU任務(wù)

自然語(yǔ)言理解是許多過(guò)程的第一步，例如分類文本，收集新聞，歸檔單個(gè)文本，以及更大規(guī)模地分析內(nèi)容。NLU的實(shí)際例子包括從基于理解文本發(fā)布短命令到小程度的小任務(wù)，例如基于基本語(yǔ)法和適當(dāng)大小的詞典將電子郵件重新發(fā)送到合適的人。更為復(fù)雜的行為可能是完全理解詩(shī)歌或小說(shuō)中的新聞文章或隱含意義。

總而言之：最好將NLU視為實(shí)現(xiàn)NLP的第一步：在機(jī)器處理語(yǔ)言之前，必須首先理解它。

  NLP和NLU的相關(guān)性

從其任務(wù)可以看出，NLU是NLP的組成部分，它負(fù)責(zé)人類理解某個(gè)文本所呈現(xiàn)的含義。與NLP最大的區(qū)別之一是NLU超越了解單詞，因?yàn)樗噲D解釋和處理常見(jiàn)的人類錯(cuò)誤，如錯(cuò)誤發(fā)音或字母或單詞的顛倒。

推動(dòng)NLP的理論是Noam Chomsky在1957年的“句法結(jié)構(gòu)”中所設(shè)定的假設(shè)：“語(yǔ)言L的語(yǔ)言分析的基本目標(biāo)是將L的句子的語(yǔ)法序列與不符合語(yǔ)法的序列分開(kāi)。 這不是研究語(yǔ)言L的句子，而是研究語(yǔ)法序列的結(jié)構(gòu)?！?/p>

句法分析確實(shí)用于多個(gè)任務(wù)，通過(guò)將語(yǔ)法規(guī)則應(yīng)用于一組單詞并通過(guò)多種技術(shù)從中獲得意義來(lái)評(píng)估語(yǔ)言如何與語(yǔ)法規(guī)則保持一致：

• 詞形還原：將單詞的變形形式簡(jiǎn)化為單一形式，以便于分析。

• 詞干：將變形的詞語(yǔ)切割成它們的根形式。

• 形態(tài)分割：將單詞劃分為語(yǔ)素。

• 分詞：將連續(xù)文本分成不同的單元。

• 解析：句子的語(yǔ)法分析。

• 詞性標(biāo)注：識(shí)別每個(gè)單詞的詞性。

• 句子破壞：將句子邊界放在連續(xù)文本上。

句法分析技術(shù)介紹

然而，語(yǔ)法正確性或不正確性并不總是與短語(yǔ)的有效性相關(guān)。 想想一個(gè)無(wú)意義而又語(yǔ)法化的句子“colorless green ideas sleep furiously”的經(jīng)典例子。更重要的是，在現(xiàn)實(shí)生活中，有意義的句子通常包含輕微的錯(cuò)誤，并且可以被歸類為不符合語(yǔ)法的。人工交互允許產(chǎn)生的文本和語(yǔ)音中的錯(cuò)誤通過(guò)優(yōu)秀的模式識(shí)別和從上下文中添加附加信息來(lái)補(bǔ)償它們。這顯示了以語(yǔ)法為中心的分析的不平衡性以及需要更加關(guān)注多級(jí)語(yǔ)義。

語(yǔ)義分析是NLU的核心，涉及應(yīng)用計(jì)算機(jī)算法來(lái)理解單詞的含義和解釋，尚未完全解決。

以下是語(yǔ)義分析中的一些技巧，僅舉幾例：

• 命名實(shí)體識(shí)別（NER）：確定可以識(shí)別并分類為預(yù)設(shè)組的文本部分。

• 詞義消歧：根據(jù)語(yǔ)境賦予詞語(yǔ)意義。

• 自然語(yǔ)言生成：使用數(shù)據(jù)庫(kù)導(dǎo)出語(yǔ)義意圖并將其轉(zhuǎn)換為人類語(yǔ)言。

然而，為了完全理解自然語(yǔ)言，機(jī)器不僅需要考慮語(yǔ)義提供的字面意義，還需要考慮預(yù)期的信息，或理解文本試圖表達(dá)的內(nèi)容。這個(gè)級(jí)別稱為語(yǔ)用分析（pragmatic analysis），它剛剛開(kāi)始引入NLU / NLP技術(shù)。 目前，我們可以在一定程度上看到情緒分析：評(píng)估文本中包含的消極/積極/中立的感受。

  NLP的未來(lái)

追求創(chuàng)建一個(gè)能夠以人類方式與人類互動(dòng)的聊天機(jī)器人的目標(biāo) - 并最終通過(guò)圖靈測(cè)試，企業(yè)和學(xué)術(shù)界正在研發(fā)更多的NLP和NLU技術(shù)。他們想到產(chǎn)品實(shí)現(xiàn)的目標(biāo)應(yīng)該輕松，無(wú)監(jiān)督學(xué)習(xí)，并能夠以適當(dāng)?shù)姆绞街苯优c人們互動(dòng)。

為實(shí)現(xiàn)這一目標(biāo)，該研究分三個(gè)層次進(jìn)行：

• 語(yǔ)法 - 理解文本的語(yǔ)法

• 語(yǔ)義 - 理解文本的字面意義

• 語(yǔ)用學(xué) - 理解文本試圖表達(dá)的意思

不幸的是，理解和處理自然語(yǔ)言并不是提供足夠大的詞匯量和訓(xùn)練機(jī)器那么簡(jiǎn)單。 如果要取得成功，NLP必須融合來(lái)自各個(gè)領(lǐng)域的技術(shù)：語(yǔ)言，語(yǔ)言學(xué)，認(rèn)知科學(xué)，數(shù)據(jù)科學(xué)，計(jì)算機(jī)科學(xué)等。 只有結(jié)合所有可能的觀點(diǎn)，我們才能揭開(kāi)人類語(yǔ)言的神秘面紗。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點(diǎn)擊【NLP 與 NLU：從語(yǔ)言理解到語(yǔ)言處理】即可訪問(wèn)：

今日份資源推薦：“AIS 2019”是三大國(guó)際頂級(jí)會(huì)議的全面整合。其中，“A”代表自然語(yǔ)言處理領(lǐng)域最高級(jí)別會(huì)議ACL，“I”代表國(guó)際人工智能聯(lián)合會(huì)議IJCAI，“S”代表信息檢索國(guó)際論壇SIGIR。這三大會(huì)議代表了全球計(jì)算機(jī)、人工智能與信息檢索領(lǐng)域的最新成果。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。