雷鋒網(wǎng) AI 科技評(píng)論按，作為人工智能的重要方向之一，NLP 領(lǐng)域的研究目前開(kāi)展得如火如荼。1 月 30 日，facebook 人工智能研究院（FAIR）發(fā)布了一篇博文，公布了他們的論文「No Training Required: Exploring Random Encoders for Sentence Classification 」。

這篇論文被發(fā)布在 arxiv 上，主要講了一種不需要訓(xùn)練就能探索句子分類的隨機(jī)編碼器。論文的主要介紹如下：

研究?jī)?nèi)容：

這是一個(gè)強(qiáng)大的，新穎的語(yǔ)句嵌入基線，它不需要進(jìn)行任何訓(xùn)練。在沒(méi)有任何額外訓(xùn)練的情況下，我們探索了用預(yù)訓(xùn)練單詞嵌入來(lái)計(jì)算句子表達(dá)方式的各種方法。其目的是讓語(yǔ)句嵌入具有更堅(jiān)實(shí)的基礎(chǔ)：1）看看現(xiàn)代句子嵌入從訓(xùn)練中獲得了多少好處（令人驚訝的是，事實(shí)證明，這是微乎其微的）；2）為該領(lǐng)域提供更合適（也更強(qiáng)大）的基線。

它是如何工作的：

句子嵌入是一種矢量表示方法，其中句子被映射到表示其意義的數(shù)字序列。這通常是通過(guò)組合函數(shù)轉(zhuǎn)換單詞嵌入來(lái)創(chuàng)建的。句子嵌入是自然語(yǔ)言處理（NLP）中的一個(gè)熱門話題，因?yàn)樗葐为?dú)使用單詞嵌入更容易進(jìn)行文本分類。鑒于句子表達(dá)研究的快速進(jìn)展，建立堅(jiān)實(shí)的基線是很重要的。
我們開(kāi)始使用當(dāng)前最先進(jìn)的方法來(lái)確定有哪些收獲，而不是采用隨機(jī)的方法，這些隨機(jī)的方法只結(jié)合了預(yù)訓(xùn)練的單詞嵌入。隨機(jī)特性的作用在機(jī)器學(xué)習(xí)社區(qū)中早已為人所知，因此我們將其應(yīng)用到這個(gè) NLP 任務(wù)中。我們探索了三種方法：隨機(jī)嵌入投影包、隨機(jī) LSTM 和回聲狀態(tài)網(wǎng)絡(luò)。我們的研究結(jié)果表明，句子嵌入中的提升很大程度上來(lái)自于詞語(yǔ)表征。我們發(fā)現(xiàn)，對(duì)經(jīng)過(guò)預(yù)訓(xùn)練的單詞嵌入的隨機(jī)參數(shù)化構(gòu)成了一個(gè)非常強(qiáng)的基線，有些時(shí)候，這些基線甚至與諸如 SkipThought 和 InferSent 等著名的句子編碼器的性能相匹配。這些發(fā)現(xiàn)為今后的句子表征學(xué)習(xí)的研究提供了強(qiáng)有力的基礎(chǔ)。我們還對(duì)句子分類評(píng)估的一些合適的實(shí)驗(yàn)方案進(jìn)行了認(rèn)真的探討，并對(duì)今后的研究提出了建議。雷鋒網(wǎng)

為什么它如此重要：

盡管最近對(duì)句子編碼的研究較多，但是 NLP 的研究者們對(duì)于詞匯嵌入和句子嵌入之間的關(guān)系仍然知之甚少。隨著該領(lǐng)域研究的快速進(jìn)展，對(duì)不同方法進(jìn)行比較并不總是正確的。每隔一段時(shí)間我們需要往前回顧，以便對(duì)現(xiàn)有的最先進(jìn)的方法產(chǎn)生更深入地理解，并分析這些方法為什么有效，這一點(diǎn)很重要。通過(guò)對(duì)句子嵌入的研究提供新的見(jiàn)解，并設(shè)置更強(qiáng)的基線，我們可以提高對(duì)神經(jīng)網(wǎng)絡(luò)表示和理解語(yǔ)言的原理的認(rèn)識(shí)。他們?cè)?Github 上分享了他們的代碼。

點(diǎn)擊以下鏈接，閱讀全文：

No Training Required: Exploring Random Encoders for Sentence Classification

via：https://code.fb.com/ml-applications/random-encoders/

雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。