0
| 本文作者： 黃善清 | 2019-01-25 09:31 |
雷鋒網(wǎng) AI 科技評(píng)論按：本文是 Sebastian Ruder 博客中的最新發(fā)文，他匯總了專(zhuān)家調(diào)查結(jié)果以及 Deep Learning Indaba 小組討論結(jié)果，著重于探討 NLP 領(lǐng)域當(dāng)下最棘手的 4 個(gè)問(wèn)題。雷鋒網(wǎng) AI 科技評(píng)論將其編譯如下。
這是我某主題系列文章的第二篇撰文，該主題系列擴(kuò)充了 Deep Learning Indaba 2018 由 Herman Kamper、Stephan Gouws 和我組織的「自然語(yǔ)言處理前沿」小組討論結(jié)果。
小組討論 PPT：
https://drive.google.com/file/d/15ehMIJ7wY9A7RSmyJPNmrBMuC7se0PMP/view
小組討論 錄音：
上一篇文章我寫(xiě)了基于神經(jīng)網(wǎng)絡(luò)方法的 NLP 最新進(jìn)展，這一篇我準(zhǔn)備談一談 NLP 領(lǐng)域所面臨的棘手問(wèn)題。
在 Indaba 召開(kāi)的前幾周，我們向 NLP 專(zhuān)家們提出了一些簡(jiǎn)單卻很關(guān)鍵的問(wèn)題，最后根據(jù)他們的回復(fù)，我們發(fā)現(xiàn)以下 4 個(gè)問(wèn)題被頻頻提起：
自然語(yǔ)言理解
NLP 在低資源狀態(tài)下的運(yùn)用
大型或多個(gè)文件的推理任務(wù)
數(shù)據(jù)集、問(wèn)題、評(píng)估
會(huì)議中，我們?cè)谛〗M討論環(huán)節(jié)對(duì)這些問(wèn)題進(jìn)行了探討。
本文主要基于專(zhuān)家的答復(fù)（非常值得一讀）以及小組成員（Jade Abbott、Stephan Gouws、Omoju Miller 和 Bernardt Duvenhage）的討論結(jié)果撰寫(xiě)而成，目的是為更多對(duì)此感興趣的人提供更多的論據(jù)。
小組成員
自然語(yǔ)言理解
「我認(rèn)為最關(guān)鍵的開(kāi)放性問(wèn)題都與自然語(yǔ)言理解有關(guān)。我們應(yīng)該開(kāi)發(fā)出一個(gè)能夠以人類(lèi)方式閱讀和理解文本的系統(tǒng)，它懂得如何形成文本表征，通過(guò)一切人類(lèi)創(chuàng)造來(lái)理解文本的媒介：代理、對(duì)象、設(shè)置、關(guān)系、目標(biāo)、愿望等。在做到這一點(diǎn)之前，我們的一切進(jìn)步都只是在提高系統(tǒng)進(jìn)行模式匹配的能力?！?/span>
- Kevin Gimpel
調(diào)查中的許多專(zhuān)家都認(rèn)為自然語(yǔ)言理解（NLU）是其中最核心的問(wèn)題，因?yàn)樗窃S多任務(wù)（如自然語(yǔ)言生成（NLG））的先決條件。大家的共識(shí)是，我們目前沒(méi)有一個(gè)模型表現(xiàn)出對(duì)自然語(yǔ)言的「真實(shí)」理解。
先天偏見(jiàn) v.s 從頭學(xué)習(xí)
一個(gè)關(guān)鍵問(wèn)題是，什么樣的偏見(jiàn)和結(jié)構(gòu)需要被明確地構(gòu)建到模型當(dāng)中，以保證接近 NLU 的效果？在 2018 年 NAACL 大會(huì)的一場(chǎng)綜合研討會(huì)也探討了類(lèi)似的問(wèn)題，當(dāng)時(shí) Ana Marasovic 對(duì) The Gradient 給出了自己的意見(jiàn)，而我則在此提出我的想法。在我們的調(diào)查中，我們發(fā)現(xiàn)許多專(zhuān)家的回復(fù)都在強(qiáng)調(diào)模型應(yīng)該包含基本常識(shí)，同時(shí)多次提到了對(duì)話(huà)系統(tǒng)和聊天機(jī)器人。
另一方面，對(duì)于強(qiáng)化學(xué)習(xí)，David Silver 認(rèn)為大家最終還是希望模型能夠自行習(xí)得所有東西，包括算法、特征及預(yù)測(cè)等。然而許多專(zhuān)家卻持有截然不同的觀(guān)點(diǎn)，他們認(rèn)為應(yīng)該在模型中建立起一套理解機(jī)制。至于應(yīng)該讓模型學(xué)習(xí)什么以及用什么方法進(jìn)行學(xué)習(xí)，Yann LeCun 和 Christopher Manning 在 2018 年的 2 月份對(duì)此有過(guò)一番爭(zhēng)論。
程序合成
Omoju 認(rèn)為，只要一日沒(méi)搞懂支持 NLU 的實(shí)際運(yùn)行和評(píng)估機(jī)制，我們很難創(chuàng)造出真正的機(jī)器理解機(jī)制。她認(rèn)為我們可以考慮從程序合成里獲取靈感，并基于高級(jí)的規(guī)范進(jìn)行程序?qū)W習(xí)。需要補(bǔ)充的是，該想法與神經(jīng)模塊網(wǎng)絡(luò)和神經(jīng)程序員解釋器有很大的關(guān)聯(lián)。
她也建議，我們可以回顧那些在 80、90 年代開(kāi)發(fā)出來(lái)的方法和框架（如 FrameNet），將之與統(tǒng)計(jì)方法進(jìn)行結(jié)合。這有助于我們推斷目標(biāo)對(duì)象的常識(shí)屬性，例如汽車(chē)是不是交通，有沒(méi)有手柄等。針對(duì)常識(shí)性知識(shí)的推斷已經(jīng)成為近期 NLP 數(shù)據(jù)集的研究熱點(diǎn)。
體驗(yàn)式學(xué)習(xí)
Stephan 認(rèn)為我們應(yīng)該利用好結(jié)構(gòu)化資源和知識(shí)庫(kù)中的信息（比如維基數(shù)據(jù)），他指出，人類(lèi)通過(guò)體驗(yàn)和互動(dòng)來(lái)學(xué)習(xí)一門(mén)語(yǔ)言，主要體現(xiàn)在具體的環(huán)境當(dāng)中。有人可能會(huì)因此爭(zhēng)辯，只要將某個(gè)學(xué)習(xí)算法與嵌在豐富環(huán)境中的代理進(jìn)行結(jié)合，并配置合適的獎(jiǎng)勵(lì)結(jié)構(gòu)，就能從頭開(kāi)始學(xué)習(xí)并提升至 NLU 的效果。然而他們忽略了這種環(huán)境對(duì)計(jì)算力的要求。比如 AlphaGo 就需要龐大的基礎(chǔ)設(shè)施來(lái)完成棋盤(pán)游戲的運(yùn)算?？偟膩?lái)說(shuō)，創(chuàng)建一個(gè)具有持續(xù)學(xué)習(xí)能力的通用算法，很多時(shí)候與終身學(xué)習(xí)和通用問(wèn)題求解器息息相關(guān)。
雖然很多人認(rèn)為我們正朝著體驗(yàn)學(xué)習(xí)的方向發(fā)展，但我們不該低估創(chuàng)建完整體驗(yàn)代理所需要的基礎(chǔ)設(shè)施和計(jì)算力。因此，等待一個(gè)成熟體驗(yàn)代理的出現(xiàn)然后進(jìn)行語(yǔ)言學(xué)習(xí)似乎不是一個(gè)明智的想法。即便如此，我們依然可以采取一些措施來(lái)盡可能逼近這種設(shè)想，比如在模擬環(huán)境中進(jìn)行基礎(chǔ)語(yǔ)言學(xué)習(xí)、結(jié)合交互學(xué)習(xí)或者利用多模態(tài)數(shù)據(jù)。
情感
在會(huì)議快結(jié)束時(shí)，Omoju 提出，將情感相關(guān)的元素植入到體驗(yàn)代理會(huì)是一件非常困難的事情。然而不能否認(rèn)的是，情感與對(duì)語(yǔ)言的深度理解有著千絲萬(wàn)縷的關(guān)系。另一方面，我們也許不需要一個(gè)具有人類(lèi)情感的代理。Stephan 提到被大家認(rèn)為是擬態(tài)和反社會(huì)的圖靈測(cè)試——雖然沒(méi)有情感——卻可以欺騙人們認(rèn)為他們確實(shí)這樣做了。因此，我們有望找到一個(gè)不具備體驗(yàn)經(jīng)歷和情感，卻能理解人們情感并幫助問(wèn)題解決的方案。實(shí)際上，基于傳感器的情緒識(shí)別系統(tǒng)一直在不斷改進(jìn)，而且我們也看到了文本情緒檢測(cè)系統(tǒng)的進(jìn)步。
認(rèn)知與神經(jīng)科學(xué)
一位觀(guān)眾提問(wèn)，我們掌握了多少的認(rèn)知與神經(jīng)科學(xué)，多少被運(yùn)用到了模型的建設(shè)中？實(shí)際上，認(rèn)知與神經(jīng)科學(xué)可以很好地激發(fā)我們的靈感，同時(shí)能作為思維塑造的指導(dǎo)方針。比如當(dāng)下有一些模型就在試圖仿擬人類(lèi)快速與慢速思考的能力。換句話(huà)說(shuō)，人工智能與神經(jīng)科學(xué)在許多方面是互補(bǔ)的，正如 Surya Ganguli 在這篇文章中所說(shuō)的那樣。
文章鏈接：
Omoju 同時(shí)建議大家從認(rèn)知科學(xué)的理論中去獲取靈感，比如 Piaget 和 Vygotsky 的認(rèn)知發(fā)展理論。她還敦促大家開(kāi)展跨學(xué)科工作。這項(xiàng)提議得到了其他專(zhuān)家的熱烈響應(yīng)，F(xiàn)elix Hill 就建議大家多參加認(rèn)知科學(xué)領(lǐng)域的會(huì)議。
NLP 在低資源狀態(tài)下的運(yùn)用
「如何處置低資源語(yǔ)言【低資源語(yǔ)言、方言（含社交媒體文本「方言」）、域名等】，似乎看起來(lái)不像是一個(gè)完全「開(kāi)放」的問(wèn)題，因?yàn)槲覀儠?huì)經(jīng)常聽(tīng)到很多解決方法的提出；事實(shí)上，我們?cè)谶@個(gè)問(wèn)題上一直沒(méi)有通用的解決方案?！?/span>
- Karen Livescu
會(huì)上探討的第二個(gè)主題是如何在低資源情景下基于訓(xùn)練數(shù)據(jù)進(jìn)行模型訓(xùn)練。第一個(gè)問(wèn)題主要集中在是否有必要為特定語(yǔ)言開(kāi)發(fā)專(zhuān)門(mén)的 NLP 工具，還是說(shuō)通用 NLP 工具的效果已經(jīng)是綽綽有余。
通用語(yǔ)言模型
Bernardt 認(rèn)為，不同語(yǔ)言之間存在普遍的共性，可以通過(guò)一個(gè)通用的語(yǔ)言模型來(lái)進(jìn)行訓(xùn)練。關(guān)鍵挑戰(zhàn)是，如何獲取足夠的數(shù)據(jù)量和計(jì)算力來(lái)訓(xùn)練這么一個(gè)模型。近期的跨語(yǔ)言 Transformer 語(yǔ)言模型訓(xùn)練和跨語(yǔ)言句子嵌入工作就與此密切相關(guān)。
跨語(yǔ)言表征
Stephan 強(qiáng)調(diào)，當(dāng)下只有很小一部分人在進(jìn)行低資源型語(yǔ)言的研究工作，而僅在非洲，就存在 1250-2100 種語(yǔ)言，其中大部分只獲得 NLP 社區(qū)的極少關(guān)注。專(zhuān)用工具的開(kāi)發(fā)問(wèn)題，主要取決于當(dāng)下熱門(mén)的 NLP 任務(wù)。當(dāng)前模型主要存在的是樣本效率問(wèn)題?？缯Z(yǔ)言嵌入具有更好的樣本使用效率，因?yàn)樗恍枰g單詞或者單詞數(shù)據(jù)。它們充分對(duì)齊了單詞嵌入空間，以完成類(lèi)似主題分類(lèi)這種粗粒度的任務(wù)，然而對(duì)于類(lèi)似機(jī)器翻譯這種細(xì)粒度的任務(wù)，就無(wú)能為力了。無(wú)論如何，近期的工作表明，這些嵌入已經(jīng)成為無(wú)監(jiān)督機(jī)器翻譯的重要組成部分。
另一方面，處理高級(jí)任務(wù)的復(fù)雜模型（如問(wèn)答）需要數(shù)千個(gè)用于學(xué)習(xí)的訓(xùn)練案例。將那些需要?jiǎng)佑玫阶匀徽Z(yǔ)言理解能力的任務(wù)從高資源型語(yǔ)言遷移到低資源型語(yǔ)言，仍然非常具有挑戰(zhàn)性。隨著這類(lèi)型任務(wù)的跨語(yǔ)言數(shù)據(jù)集的出現(xiàn)（如 XNLI），針對(duì)多種推理任務(wù)的跨語(yǔ)言模型的開(kāi)發(fā)有望變得更容易。
收益和影響
另一個(gè)重要的問(wèn)題是，由于低資源型語(yǔ)言本身只有少量文本可供使用，在這種情況下是否意味著 NLP 從中獲取的好處很有限。Stephan 對(duì)這種說(shuō)法表示強(qiáng)烈反對(duì)，他提醒，身為一名 ML 和 NLP 從業(yè)者，我們通常傾向于以信息論的方式來(lái)看待問(wèn)題，比如最大化我們的數(shù)據(jù)或者改進(jìn)基準(zhǔn)線(xiàn)。退一步來(lái)說(shuō)，我們之所以選擇投身 NLP 任務(wù)，一個(gè)關(guān)鍵原因是希望能構(gòu)建出一個(gè)無(wú)障礙的任務(wù)解決系統(tǒng)，比如建立一個(gè)能使人們閱讀并非自身語(yǔ)言寫(xiě)成的新聞的模型，在醫(yī)生資源匱乏的情況下向模型咨詢(xún)有關(guān)自身的健康問(wèn)題等。
鑒于其潛在影響，他認(rèn)為低資源型語(yǔ)言系統(tǒng)的構(gòu)建實(shí)際上是很重要的工作之一。雖說(shuō)低資源型語(yǔ)言不具備大量數(shù)據(jù)可供使用，然而卻具有「長(zhǎng)尾效應(yīng)」——地球上的很大一部分人群都在說(shuō)著資源匱乏型語(yǔ)言。因此，我們需要盡快找到能在這種條件下發(fā)揮作用的系統(tǒng)。
Jade 認(rèn)為，一直專(zhuān)注于研究具有大量數(shù)據(jù)的語(yǔ)言是一件很諷刺的事情，因?yàn)檫@些語(yǔ)言在世界各地存在完備的教學(xué)系統(tǒng)，我們更應(yīng)該將研究重心放在低資源型語(yǔ)言上。Indaba 會(huì)議做得很好的一點(diǎn)是，有效推動(dòng)了低資源型語(yǔ)言研究工作的進(jìn)步。由于數(shù)據(jù)的稀缺性，即使研發(fā)出的只是很簡(jiǎn)單的系統(tǒng)（比詞袋），也會(huì)對(duì)世界產(chǎn)生巨大的影響?，F(xiàn)場(chǎng)觀(guān)眾 Etienne Barnard 指出，他在語(yǔ)音處理領(lǐng)域觀(guān)察到一個(gè)很有意思的現(xiàn)象：相較于使用自身語(yǔ)言的系統(tǒng)，用戶(hù)通常更有動(dòng)力使用英語(yǔ)系統(tǒng)，前提是該英語(yǔ)系統(tǒng)能夠?qū)ψ陨碚Z(yǔ)言起作用。
激勵(lì)與技能
另一名觀(guān)眾表示，人們?cè)诟叨瓤梢?jiàn)的基準(zhǔn)線(xiàn)上開(kāi)展測(cè)試會(huì)感到被激勵(lì)，例如英語(yǔ)轉(zhuǎn)德語(yǔ)的機(jī)器翻譯，然而這份激勵(lì)在低資源型語(yǔ)言的工作中是不存在的。Stephan 認(rèn)為，問(wèn)題尚未被解決就是最好的激勵(lì)。無(wú)論如何，人口統(tǒng)計(jì)學(xué)尚無(wú)法提供技能來(lái)解決這些問(wèn)題。我們應(yīng)該注重傳授類(lèi)似機(jī)器翻譯等技能來(lái)讓人們用于解決問(wèn)題。遺憾的是，學(xué)術(shù)界的進(jìn)展很多時(shí)候不一定和低資源型語(yǔ)言相關(guān)。不過(guò)，跨語(yǔ)言基準(zhǔn)一旦變得日益普遍，就有望推動(dòng)低資源型語(yǔ)言研究取得更多進(jìn)展。
數(shù)據(jù)可利用性
最后 Jade 強(qiáng)調(diào)，另一個(gè)大問(wèn)題是低資源型語(yǔ)言沒(méi)有可用的數(shù)據(jù)集，例如非洲的一些語(yǔ)言。如果我們能夠創(chuàng)建出數(shù)據(jù)集并對(duì)外開(kāi)放（例如在 openAFRICA 上進(jìn)行托管），將能夠激勵(lì)更多人投入到相關(guān)研究里來(lái)，同時(shí)還降低了研究門(mén)檻。一般來(lái)說(shuō)，只要提供多種語(yǔ)言的測(cè)試數(shù)據(jù)就足夠了，這將有助于我們?cè)u(píng)估跨語(yǔ)言模型并跟蹤其研發(fā)進(jìn)度。另一個(gè)關(guān)鍵的數(shù)據(jù)源來(lái)自于南非數(shù)字語(yǔ)言資源中心（SADiLaR），該中心可以提供許多南非的語(yǔ)言資源。
大型或多個(gè)文件的推理任務(wù)
「有效地表征大型文件。我們目前的模型主要基于遞歸神經(jīng)網(wǎng)絡(luò)，這也就意味著無(wú)法高效表征較長(zhǎng)的文本。圖形啟發(fā)的 RNN 工作流很被看好，雖然其只有適度改進(jìn)，并且由于比 vanilla RNN 更加不適應(yīng)于直接訓(xùn)練而沒(méi)有被廣泛采用?！?/span>
– Isabelle Augenstein
另一個(gè)關(guān)鍵問(wèn)題是大型或多個(gè)文件的推理任務(wù)。近期的 NarrativeQA 數(shù)據(jù)集作為該任務(wù)的基準(zhǔn)線(xiàn)就是一個(gè)絕佳案例。針對(duì)大型文件的推理任務(wù)與 NLU 密切相關(guān)，需要我們大幅擴(kuò)展當(dāng)前系統(tǒng)的能力，直到能夠閱讀整本書(shū)籍和電影腳本為止。然而這里存在一個(gè)問(wèn)題是（當(dāng)時(shí)我們沒(méi)有時(shí)間對(duì)此展開(kāi)討論），我們究竟是需要一個(gè)更好的模型，亦或是需要更多的數(shù)據(jù)進(jìn)行訓(xùn)練即可。
OpenAI Five 的成果表明，只要有更多的數(shù)據(jù)和計(jì)算力，模型的潛力將超出我們想象。擁有足夠的數(shù)據(jù)量，我們的模型能在大型文件的處理上表現(xiàn)更好。問(wèn)題在于，針對(duì)大型文件的監(jiān)督學(xué)習(xí)不但稀缺，而且昂貴。當(dāng)然我們也可以參照語(yǔ)言建模和 skip-thoughts，構(gòu)思出一個(gè)針對(duì)文檔無(wú)監(jiān)督學(xué)習(xí)任務(wù)，以預(yù)測(cè)書(shū)的下一段或下一章節(jié)，甚至是決定下一章節(jié)內(nèi)容的出現(xiàn)順序。然而不可否認(rèn)的是，這個(gè)方法也許過(guò)于低效了，無(wú)法從中學(xué)習(xí)到真正有用的表征。
因此，一個(gè)更靠譜的方向，應(yīng)該是是開(kāi)發(fā)出一個(gè)能夠高效表征文件、同時(shí)在閱讀文檔時(shí)更好跟蹤相關(guān)信息的方法。skip-thoughts 和 multi-document question answering 是這個(gè)方向上的代表。接下來(lái)，我們可以考慮創(chuàng)建具有改進(jìn)記憶和終身學(xué)習(xí)能力的語(yǔ)言模型。
數(shù)據(jù)集、問(wèn)題、評(píng)估
「也許我們所面臨的最大問(wèn)題是如何正確定義問(wèn)題本身。恰當(dāng)?shù)囟x問(wèn)題，就是建立適合于衡量實(shí)現(xiàn)具體目標(biāo)的數(shù)據(jù)集和評(píng)估程序。如果能夠減少類(lèi)似 Kaggle 這種風(fēng)格的比賽，情況會(huì)比現(xiàn)在更樂(lè)觀(guān)一些！」
- Mikel Artetxe
我們沒(méi)有太多時(shí)間討論關(guān)于當(dāng)下基準(zhǔn)和評(píng)估機(jī)制的問(wèn)題，但您可以在調(diào)查回復(fù)中找到許多相關(guān)的答案。
調(diào)查回復(fù)鏈接：
https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit
最后一個(gè)問(wèn)題是，哪些是非洲社會(huì)應(yīng)該著重解決的 NLP 問(wèn)題。Jade 認(rèn)為是資源匱乏的問(wèn)題，尤其是教育領(lǐng)域的翻譯工具，要使當(dāng)?shù)厝四軌蛞宰陨碚Z(yǔ)言觸達(dá)他們想知道的事情。
會(huì)議以專(zhuān)家的調(diào)查回復(fù)內(nèi)容收尾，涉及的問(wèn)題包括「如果出現(xiàn)某些事情導(dǎo)致領(lǐng)域走向錯(cuò)誤的方向，應(yīng)該怎么辦？」、「對(duì)于即將開(kāi)始一項(xiàng)新項(xiàng)目的 NLP 研究生，你有什么建議給到他們？」等嗎，這些同樣可以在調(diào)查結(jié)果中找到對(duì)應(yīng)的答案。
調(diào)查回復(fù)鏈接：
https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit#
附錄：Deep Learning Indaba 2019
如果您對(duì)低資源型語(yǔ)言的研究感興趣，可以考慮參加 2019 年 8 月 25 日至 8 月 31 日在肯尼亞內(nèi)羅畢舉行的 Deep Learning Indaba 2019。
via http://ruder.io/4-biggest-open-problems-in-nlp/
雷鋒網(wǎng) AI 科技評(píng)論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
