雷鋒網(wǎng) AI 科技評論按：Topbots 總結(jié)了他們眼中 2018 年里 10 篇最為重要的 AI 研究論文，帶領(lǐng)大家領(lǐng)略過去的一年中機器學(xué)習(xí)領(lǐng)域的關(guān)鍵進展。現(xiàn)在點開了這份清單的人顯然是極為幸運的，獲得了一個精彩瞬間回放的機會。

不得不說，考慮到這個領(lǐng)域極快的發(fā)展速度和極多的論文數(shù)量，肯定還有一些值得閱讀的突破性論文沒能包括在這份榜單中。不過這份清單是一個好的開始。

1. Universal Language Model Fine-tuning for Text Classification

「用于文本分類的通用語言模型的精細調(diào)節(jié)」

論文地址

https://arxiv.org/abs/1801.06146 

內(nèi)容概要

兩位作者 Jeremy Howard 和 Sebastian Ruder 提出了可以用預(yù)訓(xùn)練的模型解決多種 NLP 任務(wù)的想法。通過這種方法，研究人員不需要為自己的任務(wù)從零開始訓(xùn)練模型，只需要對已有的模型做精細調(diào)節(jié)。他們的方法，通用語言模型精細調(diào)節(jié) ULMFiT ，得到了當時最好的結(jié)果，比其他模型的錯誤率降低了 18% 到 24%。更令人欽佩的是，ULMFiT 只用了 100 個有標簽樣本得到的結(jié)果就可以和用 10K 有標簽數(shù)據(jù)從零開始訓(xùn)練的模型一樣好。

論文思想要點

為了應(yīng)對缺乏標注數(shù)據(jù)的問題，以及讓 NLP 分類任務(wù)更輕松、更省時，他們提出了把遷移學(xué)習(xí)用在 NLP 問題中。這樣，研究人員們不再需要從零開始訓(xùn)練新模型，只需要找到一個已經(jīng)在相似的任務(wù)上訓(xùn)練完畢的模型作為基礎(chǔ)，然后為新的具體問題微調(diào)這個模型即可。

然而，為了讓這樣的做法發(fā)揮出理想的效果，這個微調(diào)過程有幾個細節(jié)需要注意：

• 網(wǎng)絡(luò)中不同的層應(yīng)該為不同的內(nèi)容進行微調(diào)，因為它們捕捉的信息的類別也是有所不同的；

• 把模型參數(shù)向新的具體任務(wù)適配時，讓學(xué)習(xí)率先線性增加，再線性衰減，學(xué)習(xí)的效率會比較高；

• 一次微調(diào)所有的層會帶來災(zāi)難性的遺忘問題。所以，比較好的做法是一開始只更新最后一層的參數(shù)，然后逐步讓前面的層也參與到微調(diào)中來。

領(lǐng)域內(nèi)學(xué)者評價

• 可以輕易得到的預(yù)訓(xùn)練 ImageNet 模型已經(jīng)給整個計算機視覺界帶來了巨大的改變。ULMFiT 也可以在 NLP 任務(wù)中起到同樣的重要作用；

• 這種方法可以用于任意語言上的任意 NLP 任務(wù)。全世界的研究人員們已經(jīng)在德語、波蘭語、海地語、印度尼西亞語、中文、馬來語等許多語言上進行了嘗試，同樣得到了大幅進步的結(jié)果。

未來可能的相關(guān)研究

• 繼續(xù)改善語言模型預(yù)訓(xùn)練以及精細調(diào)節(jié)；

• 把這種方法用于其它新的任務(wù)以及模型上（比如序列標注，自然語言生成，概括或者問答）。

雷鋒網(wǎng) AI 科技評論詳解文章

ImageNet 帶來的預(yù)訓(xùn)練模型之風(fēng)，馬上要吹進 NLP 領(lǐng)域了

2. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

「模糊梯度防御帶來的只是安全的假象：繞過對抗性樣本的防御」

論文地址

https://arxiv.org/abs/1802.00420

內(nèi)容概要

研究人員們發(fā)現(xiàn)，對于對抗性樣本的防御，目前主要使用的是梯度模糊方法，但這種方法并不能帶來真正的安全，因為它可以被輕松規(guī)避。這篇論文了研究了三種使用了梯度模糊的防御方法，并展示了可以繞過梯度模糊防御的技巧。他們的發(fā)現(xiàn)可以幫助目前使用了梯度模糊防御的組織機構(gòu)考慮如何強化自己的方法。

論文思想要點

目前有三種常見的梯度模糊做法：

• 梯度破碎（shattered gradients），防御方法會有意地（通過不可微的運算）或者無意地（通過數(shù)值的不穩(wěn)定性）提供不正確的梯度，或者不提供梯度；

• 通過隨機防御提供隨機梯度；
  

• 通過非常深的深度神經(jīng)網(wǎng)絡(luò)評估帶來消失梯度/爆炸梯度。
  

基于梯度的方法有一些問題，我們可以看到下面這些跡象：

• 一步式的攻擊比迭代式的攻擊效果更好；

• 黑盒攻擊比白盒攻擊的效果更好；

• 無限制攻擊也無法達到 100% 成功率；

• 隨機采樣也可以找到對抗性樣本；

• 提高圖像扭曲的容忍度并不能提高攻擊成功率。

論文的關(guān)鍵成果是，通過實驗表明如今使用的大多數(shù)防御技術(shù)都還很脆弱。ICLR 2018 接收論文中的 9 種防御技術(shù)中，有 7 種都使用了梯度模糊，而論文作者們提出的新攻擊方法可以完全繞過 7 種中的 6 種防御，并部分繞過最后 1 種。

領(lǐng)域內(nèi)學(xué)者評價

• 這篇論文獲得了 ICML 2018 的最佳論文獎；

• 這篇論文清晰地展示出了我們現(xiàn)有技術(shù)的優(yōu)點和缺點

未來可能的相關(guān)研究

我們需要考慮在細致、全面的評價方式下構(gòu)建新的防御技術(shù)，目標是不僅能夠防御現(xiàn)有的攻擊方式，還要能夠防御以后有可能開發(fā)出的新的防御方式。

3. Deep Contextualized Word Representations

「深度上下文依賴的單詞表征」

論文地址

https://arxiv.org/abs/1802.05365

內(nèi)容概要

來自艾倫人工智能研究院（Allen Institute for Artificial Intelligence）的作者們介紹了一種新型的深度上下文依賴單詞表征： Embeddings from Language Models (ELMo)。在使用了 ELMo 強化的模型中，每個單詞的向量化都是基于它所在的整篇文本而進行的。把 ELMo 添加到現(xiàn)有的 NLP 系統(tǒng)中可以帶來的效果有：1，錯誤率相對下降 6% 到 20%；2，訓(xùn)練模型所需的 epoch 數(shù)目顯著降低；3，訓(xùn)練模型達到基準模型表現(xiàn)時所需的訓(xùn)練數(shù)據(jù)量顯著減小

論文思想要點

• 在很大的文本語料庫上預(yù)訓(xùn)練一個深度雙向語言模型（biLM），用它生成單詞嵌入，這些嵌入來自這個模型的內(nèi)部狀態(tài)的加權(quán)和；

• 嵌入中包括了 biLM 的所有層的表征，因為網(wǎng)絡(luò)中不同的層表征了不同類型的信息；

• ELMo 的表征被設(shè)計為基于字符的，這樣網(wǎng)絡(luò)還可以利用單詞拼寫的信息，更好地理解訓(xùn)練中未曾見過的超出詞匯表的單詞的意思。

領(lǐng)域內(nèi)學(xué)者評價

• 這篇論文獲得了 NAACL 的杰出論文獎；
  

• 這篇論文提出的方法也被認為是近幾年來 NLP 領(lǐng)域最大的突破之一。

未來可能的相關(guān)研究

• 可以把這種方法集成到特定任務(wù)中，方式是把 ELMo 和不依賴上下文的單詞嵌入級聯(lián)起來；

• 也可以嘗試把 ELMo 和模型輸出級聯(lián)起來。
  

4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

「一般卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)用語序列建模的實證評價研究」

論文地址

https://arxiv.org/abs/1803.01271

內(nèi)容概要

領(lǐng)域內(nèi)有種常見的假設(shè)：對于序列建模問題來說，選擇一個循環(huán)網(wǎng)絡(luò)架構(gòu)作為出發(fā)點是默認的做法。這篇論文的作者們就對這種假設(shè)提出了質(zhì)疑。他們的結(jié)果表明，一般的時序卷積網(wǎng)絡(luò)（TCN）能在許多種不同的序列建模任務(wù)中穩(wěn)定地超出 LSTM 以及 GRU 之類的典型的循環(huán)神經(jīng)網(wǎng)絡(luò)。

論文思想要點

• 在近期發(fā)現(xiàn)的最佳實踐做法（比如空洞卷積和殘差連接）的幫助下設(shè)計出的時序卷積網(wǎng)絡(luò)（Temporal convolutional networks）可以許多復(fù)雜的序列建模任務(wù)中發(fā)揮出超過一般循環(huán)網(wǎng)絡(luò)架構(gòu)的表現(xiàn)；

• TCN 表現(xiàn)出的記憶能力比循環(huán)網(wǎng)絡(luò)明顯更長，也就更適合那些需要很長的歷史記錄的序列建模任務(wù)。

領(lǐng)域內(nèi)學(xué)者評價

特斯拉 AI 總監(jiān) Andrej Karpathy 評論：「在用 RNN 之前一定要先試試 CNN。CNN 的表現(xiàn)會好到你驚訝的?！?/p>

未來可能的相關(guān)研究

為了在不同的序列建模任務(wù)上進一步提高 TCN 的表現(xiàn)，我們還需要更多的架構(gòu)探索、算法探索方面的合作。

5. Delayed Impact of Fair Machine Learning

「公平的機器學(xué)習(xí)的影響是有延遲的」

論文地址

https://arxiv.org/abs/1803.04383

內(nèi)容概要

這篇論文的目標是想要確保，當使用一個機器學(xué)習(xí)算法生成分數(shù)來決定不同的人是否能夠得到某些機會（比如貸款、獎學(xué)金、工作等）時，人口統(tǒng)計學(xué)角度分出的不同族群可以被公平地對待。UC 伯克利人工智能實驗室（BAIR）的研究人員們表明，使用常見的公平性條件實際上有可能傷害到弱勢群體，這是由于某些后果的出現(xiàn)是有延遲的。通過這項研究他們希望鼓勵大家在設(shè)計公平的機器學(xué)習(xí)系統(tǒng)時考慮它的長期后果。

論文思想要點

• 作者們考慮了施加公平性條件之后出現(xiàn)的有延遲的結(jié)果，結(jié)果表明，這些條件對于想要保護的群體來說可能長期看來是有害的（比如借款人的信用分數(shù)長期來看會變低，因為他會還不上貸款，而這筆貸款在無限制的條件下其實一開始就不會發(fā)放給他）；
  

• 由于公平性條件有可能會主動地給弱勢群體帶來傷害，可以考慮一些額外的解決方案，比如使用一個會顯式地最大化結(jié)果的決策規(guī)則，或者使用一個結(jié)果模型。

領(lǐng)域內(nèi)學(xué)者評價

• 這篇論文獲得了 ICML 2018 的最佳論文獎；
  

• 這項研究澄清了一個誤區(qū)：即便是好的出發(fā)點的區(qū)別對待也有可能會起到壞的效果。

未來可能的相關(guān)研究

• 對于結(jié)果評價的考量，可以考慮群體均值變化之外的其它因素（比如方差、個體級別的結(jié)果）；
  

• 針對建模和測量誤差，研究結(jié)果優(yōu)化方法的魯棒性。

6. World Models

「世界模型」

論文地址

https://arxiv.org/abs/1803.10122

內(nèi)容概要

David Ha 和 Jurgen Schmidhuber 開發(fā)了一個世界模型，它可以用無監(jiān)督的方式快速訓(xùn)練，學(xué)到所處環(huán)境的空間和時間表示。這個智能體可以成功地在賽車地圖中導(dǎo)航，并且在 VizDoom 環(huán)境中躲開怪物發(fā)射的火球。而這些任務(wù)對于此前的方法來說都難以解決。

論文思想要點

論文所提的解決方案包含三個獨立的部分：

• 一個變分自動編碼器（VAE），它負責(zé)捕捉視覺信息。它會把 RGB 形式表示的輸入圖像壓縮為一個服從  高斯分布的 32 維隱含向量。這樣，這個智能體只需要處理一個環(huán)境的很小的表示，從而大幅提高了學(xué)習(xí)效率。

• 一個循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），它負責(zé)前饋思考。這是一個起到記憶作用的組件，它會在給定前一幀圖像和前一個動作的條件下嘗試預(yù)測視覺部分看到的下一幀圖像可能是什么樣子。

• 一個控制器，它負責(zé)選擇動作。它是一個非常簡單的神經(jīng)網(wǎng)絡(luò)，它把 VAE 的輸出和 RNN 的隱含狀態(tài)級聯(lián)起來，然后選擇一個好的動作。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文在 AI 研究者間得到了廣泛的討論，它是一項設(shè)計優(yōu)美的使用神經(jīng)網(wǎng)絡(luò)做強化學(xué)習(xí)的研究，而且讓智能體在自己「幻想」出的世界中進行訓(xùn)練。

未來可能的相關(guān)研究

• 為了讓智能體探索更加復(fù)雜的世界，可以把小的 RNN 換成有更大容量的模型，或者集成一個外部存儲模塊。
  

• 論文中使用的規(guī)劃方法是逐時間步的，可以考慮嘗試更通用化的方法，也就可以使用層次化的規(guī)劃方法。

雷鋒網(wǎng) AI 科技評論詳解文章

智能體的白日夢，谷歌大腦又出來PR文了？

7. Taskonomy: Disentangling Task Transfer Learning

「任務(wù)學(xué)：任務(wù)遷移學(xué)習(xí)的解耦」

論文地址

https://arxiv.org/abs/1804.08328

內(nèi)容概要

自從現(xiàn)代計算機科學(xué)發(fā)展的早期以來，就有許多研究者們提出不同的視覺任務(wù)之間具有某種結(jié)構(gòu)?，F(xiàn)在，Amir Zamir 和他的團隊終于做出了尋找這種結(jié)構(gòu)的嘗試。他們使用一個完全計算性的方式進行建模，發(fā)現(xiàn)了不同視覺任務(wù)之間的許多有用的聯(lián)系（甚至包括一些非平凡的視覺任務(wù)）。他們也表明了可以利用這些相互依賴關(guān)系進行遷移學(xué)習(xí)，只需要大約 1/3 的標注數(shù)據(jù)就可以達到相同的模型表現(xiàn)。

論文思想要點

• 一個了解不同視覺任務(wù)之間關(guān)系的模型需要的監(jiān)督可以更少，需要的計算量可以更小，而且它的行為也更容易預(yù)測。
  

• 人們更喜歡用這樣的完全計算性的方法發(fā)現(xiàn)不同視覺任務(wù)之間的關(guān)系，因為它可以避免引入人類的先驗假設(shè)。人類的先驗假設(shè)來自于直覺或者分析性的知識；這些假設(shè)完全可能是錯誤的，而神經(jīng)網(wǎng)絡(luò)可能是以完全不同的法則運行的。

領(lǐng)域內(nèi)學(xué)者評價

• 這篇論文獲得了 CVPR 2018 最佳論文獎；

• 論文的結(jié)果意義重大，因為大多數(shù)的真實世界任務(wù)中都沒辦法獲得大規(guī)模標注數(shù)據(jù)集。

未來可能的相關(guān)研究

• 目前論文中研究的常見視覺任務(wù)都是完全由人類定義的，下一步可以嘗試新的模式，那就是首先用計算性的方法發(fā)掘一些隱含的子任務(wù)，而人類定義的視覺任務(wù)就是對它們觀察后得到的采樣；

• 探索是否有可能把模型學(xué)到的東西遷移到不完全屬于視覺領(lǐng)域的任務(wù)中，比如遷移到機器人控制。

雷鋒網(wǎng) AI 科技評論詳解文章

CVPR18最佳論文演講：研究任務(wù)之間的聯(lián)系才是做遷移學(xué)習(xí)的正確姿勢

8. Know What You Don't Know: Unanswerable Questions for SQuAD

「知道你不知道的：SQuAD 中無法回答的問題」

論文地址

https://arxiv.org/abs/1806.03822

內(nèi)容概要

斯坦福大學(xué)的一組研究人員們拓展了著名的斯坦福問答數(shù)據(jù)集 SQuAD，在其中增加了超過 5 萬個無法回答的問題。這些問題的答案是無法從給出的文本段落中找到的，無法給出回答，但這些問題又和那些可以回答的問題看起來非常相似。更進一步的是，給出的文本段落中會含有仿佛相符但實際上并不正確的答案，這進一步提高了數(shù)據(jù)集的難度。升級后得到的 SQuAD 2.0 也就成為了現(xiàn)有頂尖模型的重大挑戰(zhàn)：一個在原版的 SQuAD 上可以得到 86% 準確率的強有力的神經(jīng)網(wǎng)絡(luò)模型，如今在 SQuAD 2.0 上只能得到 66% 的準確率。

論文思想要點

• 目前的自然語言理解系統(tǒng)與真正的語言理解還相距甚遠，其中一項根本原因就是目前的問答數(shù)據(jù)集都是僅僅針對「給出的文本段落里必然包含了正確答案」這一種情況設(shè)計的；
  

• 為了讓問答數(shù)據(jù)集變得真正有難度，「無法回答的問題」應(yīng)當滿足這兩種條件：

• 它們和給出的文本段落之間有一些聯(lián)系；

• 給出的文本段落中包含了看起來仿佛相符的答案，它包含的信息和提問想要獲得的信息是同一類型的，但并不正確。

領(lǐng)域內(nèi)學(xué)者評價

• 這篇論文獲得了 ACL 2018 最佳短論文獎；

• 這個新數(shù)據(jù)集提高了自然語言理解領(lǐng)域研究的問題的復(fù)雜度，會為這個領(lǐng)域的模型訓(xùn)練結(jié)果提升起到直接的推動作用。

未來可能的相關(guān)研究

未來可以繼續(xù)開發(fā)出新種類的模型，它們要能夠「知道自己不知道什么」，從而對自然語言有更好的理解。

9. Large Scale GAN Training for High Fidelity Natural Image Synthesis

「用于高保真度自然圖像生成的大規(guī)模 GAN 的訓(xùn)練」

論文地址

https://arxiv.org/abs/1809.11096

內(nèi)容概要

DeepMind 的一個研究團隊認為目前的深度學(xué)習(xí)技術(shù)就已經(jīng)足以從現(xiàn)有的 ImageNet、JFT-300M 之類的圖形數(shù)據(jù)集生成高分辨率的、多樣化的圖像。具體來說，他們展示了生成式對抗性網(wǎng)絡(luò)（GANs）如果以非常大的規(guī)模訓(xùn)練的話，可以生成看起來非常真實的圖像。這個「非常大的規(guī)?！褂卸啻竽兀肯啾扔谝酝膶嶒?，他們的模型的參數(shù)數(shù)量是 2 到 4 倍，訓(xùn)練所用的批量大小也達到了 8 倍。這種大規(guī)模的 GANs，他們稱為 BigGANs，已經(jīng)稱為了分類別圖像生成的最新頂級模型。

論文思想要點

• 選取更大的批量大小和參數(shù)數(shù)目以后，GANs 的表現(xiàn)可以得到明顯的提升；
  

• 在生成器中加入正交正則化可以讓模型對某種特定的技術(shù)更為敏感（就是「截斷法」），這讓研究人員們有辦法控制樣本保真度和樣本多變性之間的平衡。

領(lǐng)域內(nèi)學(xué)者評價

• 這篇論文已經(jīng)投遞到了 ICLR 2019；
  

• BigGAN 的生成器自從在 TF Hub 上發(fā)布就受到了全世界 AI 研究人員們的追捧，（研究以及娛樂性質(zhì)地）用它生成貓狗、手表、泳裝、蒙娜麗莎、海岸等等各種內(nèi)容的圖像。

未來可能的相關(guān)研究

• 嘗試用更大的數(shù)據(jù)集訓(xùn)練模型，進一步緩和 GAN 的穩(wěn)定性問題；
  

• 探索是否有可能降低 GANs 生成的奇怪樣本的數(shù)量。

10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

「BERT：用于語言理解的深度雙向 Transformer 模型的預(yù)訓(xùn)練」

論文地址

https://arxiv.org/abs/1810.04805

內(nèi)容概要

谷歌 AI 團隊展示了一個新的用于自然語言處理的前沿模型：BERT（Bidirectional Encoder Representations from Transformers，用于 Transformer 模型的雙向編碼器表征）。它的設(shè)計可以讓模型同時從左以及從右處理文本內(nèi)容。雖然概念上說起來很簡單，但 BERT 帶來了驚人的實際表現(xiàn)，它刷新了 11 項不同的自然語言處理任務(wù)的最好成績，包括問答、命名實體識別以及其他一些和通用語言理解相關(guān)的任務(wù)。

論文思想要點

• 訓(xùn)練一個深度雙向模型，在訓(xùn)練過程中隨機地遮蔽一定比例的輸入字符。這種做法避免了在不同的訓(xùn)練循環(huán)中模型可以間接地看到曾經(jīng)被掩蔽的字符。
  

• 同時也預(yù)訓(xùn)練了一個句子關(guān)系模型，這個模型需要做一個二分類任務(wù)，預(yù)測句子 B 是否緊接著句子 A。這種設(shè)計讓 BERT 能夠更好地理解不同句子之間的關(guān)系。

• 用大量的數(shù)據(jù)（33 億詞的語料庫）訓(xùn)練一個非常大的模型（24 個 Transformer 模塊，1024 個隱層，3.4 億個參數(shù)）。

領(lǐng)域內(nèi)學(xué)者評價

• BERT 模型標志了 NLP 領(lǐng)域內(nèi)一個新時代的到來；
  

• 簡單來說，僅僅需要同時做兩個無監(jiān)督學(xué)習(xí)任務(wù)（「單詞填空」和「猜 B 是不是在 A 后面」）就可以在許多自然語言處理任務(wù)中取得良好成績；

• 使用經(jīng)過預(yù)訓(xùn)練的語言模型也成為了新的標準做法。

未來可能的相關(guān)研究

• 在更多不同的任務(wù)上測試 BERT；
  

• 測試 BERT 模型是否捕捉到了各種各樣的語言現(xiàn)象。

雷鋒網(wǎng) AI 科技評論介紹 BERT 開源代碼的文章

如期而至！谷歌開源 BERT 模型源代碼

via www.topbots.com，雷鋒網(wǎng) AI 科技評論編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。