0
| 本文作者： 劉子榆 | 2017-01-06 18:41 |
雷鋒網(wǎng)曾編譯了《干貨分享 | 深度學(xué)習(xí)零基礎(chǔ)進(jìn)階大法！》系列，相信讀者一定對深度學(xué)習(xí)的歷史有了一個(gè)基本了解，其基本的模型架構(gòu)（CNN/RNN/LSTM）與深度學(xué)習(xí)如何應(yīng)用在圖片和語音識別上肯定也不在話下了。今天這一部分，我們將通過新一批論文，讓你對深度學(xué)習(xí)在不同領(lǐng)域的運(yùn)用有個(gè)清晰的了解。由于第三部分的論文開始向細(xì)化方向延展，因此你可以根據(jù)自己的研究方向酌情進(jìn)行選擇。雷鋒網(wǎng)對每篇論文都增加了補(bǔ)充介紹。這一彈主要從自然語言處理以及對象檢測兩方面的應(yīng)用進(jìn)行介紹。
本文編譯于外媒 github，原文標(biāo)題《Deep Learning Papers Reading Roadmap》，原作者 songrotek。
Antoine Bordes 等人撰寫了論文《Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing》。通常來說，模擬是減輕強(qiáng)化學(xué)習(xí)的高樣本復(fù)雜性的好策略。從科學(xué)方法論上看，對于反事實(shí)的場景，模擬的環(huán)境是數(shù)據(jù)集的模擬，因此它們可以使用共同的指標(biāo)，允許重復(fù)性實(shí)驗(yàn)和創(chuàng)新民主化。Antoine Bordes 主張使用一個(gè)可實(shí)現(xiàn)的模擬問題的集合（對于多種問題，哪一種完美的性能是可能實(shí)現(xiàn)的，哪一種能表現(xiàn)出明顯不同的能力。）在這篇論文中，你可以對這個(gè)問題有所了解。
詞嵌入是目前無監(jiān)督學(xué)習(xí)的成功應(yīng)用之一。它們最大的好處無疑是它們不需要昂貴的人工標(biāo)注，而是在從未標(biāo)注的現(xiàn)成大數(shù)據(jù)集中派生的。然后預(yù)訓(xùn)練的詞嵌入就可以運(yùn)用在僅使用少量有標(biāo)注數(shù)據(jù)的下游任務(wù)中了?！禗istributed representations of words and phrases and their compositionality 》 是 Mikolov 等人編著的論文。其中介紹了 2013 年創(chuàng)立的 word2vec，這是一個(gè)允許無縫訓(xùn)練和使用預(yù)訓(xùn)練嵌入的工具套件。
這是由 Sutskever 等人編寫的《Sequence-to-Sequence Learning with Attentional Neural Networks（使用注意神經(jīng)網(wǎng)絡(luò)的序列到序列學(xué)習(xí)）》。2014 年，seq2seq 的神經(jīng)網(wǎng)絡(luò)模型開始用于機(jī)器翻譯。在帶有（可選）注意（attention）的標(biāo)準(zhǔn) seq2seq 模型的 Torch 實(shí)現(xiàn)中，其編碼器-解碼器（encoder-decoder）模型是LSTM。編碼器可以是一個(gè)雙向 LSTM。此外還能在字符嵌入（character embeddings）上運(yùn)行一個(gè)卷積神經(jīng)網(wǎng)絡(luò)然后再運(yùn)行一個(gè) highway network，從而將字符（而不是輸入的詞嵌入）作為輸入來使用。
[3] http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf
這是 Ankit Kumar 所寫的《 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing》，其中介紹了應(yīng)用偶發(fā)性修正存儲的想法，期望模型能夠借此學(xué)到一些邏輯推理的能力。論文比較有趣。
[4] https://arxiv.org/abs/1506.07285
Yoon Kim 所寫的《Character-Aware Neural Language Models》。論文提出一個(gè)僅建立在字符輸入上的一個(gè)神經(jīng)語言模型（NLM），預(yù)測還是在詞水平上進(jìn)行。當(dāng)輸入一個(gè)LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型（RNN-LM）時(shí)，該模型在字符上啟用了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN），也可選擇讓該CNN的輸出通過一個(gè) Highway Network，這樣就能提升表現(xiàn)。
[5] https://arxiv.org/abs/1508.06615
Jason Weston 等人所寫的《Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks》，內(nèi)容主要針對 bAbI 數(shù)據(jù)集。
[6] https://arxiv.org/abs/1502.05698
Google DeepMind 團(tuán)隊(duì)在 NIPS 2015 發(fā)表了一篇題為 “Teaching Machines to Read and Comprehend” 的論文 ，這篇論文想解決的問題是：如何讓計(jì)算機(jī)回答提問。具體來說，輸入一篇文章（d）和一句提問（q），輸出文章中的一個(gè)詞組，作為回答（a）。
[7] https://arxiv.org/abs/1506.03340
在許多自然語言處理任務(wù)中起到主導(dǎo)地位的方法是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN，尤其是長短時(shí)間記憶網(wǎng)絡(luò)，LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（ConvNets）。然而，相比于深度卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域中取得的巨大成功，這些網(wǎng)絡(luò)結(jié)構(gòu)還是太過淺層了。
Alexis Conneau 等人所寫的論文《Very Deep Convolutional Networks for Natural Language Processing》 提出了一種直接在字符級別上進(jìn)行文本處理的新結(jié)構(gòu)，但僅僅用了很少的卷積和池化操作。實(shí)驗(yàn)結(jié)果表明模型的性能與網(wǎng)絡(luò)深度成正比，一直用到 29 層卷積層，在多個(gè)文本分類任務(wù)中取得了重大的效果提升。據(jù)了解，這是深度卷積網(wǎng)絡(luò)第一次應(yīng)用在自然語言處理任務(wù)中。
[8] https://arxiv.org/abs/1606.01781
自動(dòng)文本處理在日常計(jì)算機(jī)使用中相當(dāng)關(guān)鍵，在網(wǎng)頁搜索和內(nèi)容排名以及垃圾內(nèi)容分類中占重要組成部分，當(dāng)它運(yùn)行的時(shí)候你完全感受不到它。隨著在線數(shù)據(jù)總量越來越大，需要有更靈活的工具來更好的理解這些大型數(shù)據(jù)集，來提供更加精準(zhǔn)的分類結(jié)果。
為了滿足這個(gè)需求，F(xiàn)acebook FAIR 實(shí)驗(yàn)室開源了資料庫 fastText，聲稱相比深度模型，fastText 能將訓(xùn)練時(shí)間由數(shù)天縮短到幾秒鐘。fastText 能針對文本表達(dá)和分類幫助建立量化的解決方案。論文《Bag of Tricks for Efficient Text Classification》介紹了 fastText 的具體實(shí)現(xiàn)原理。
[9] https://arxiv.org/abs/1607.01759
2. Object Detection （對象檢測）
Ross Girshick 所寫的《Rich feature hierarchies for accurate object detection and semantic segmentation》。Ross Girshick 是首個(gè)提出的基本參數(shù)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的學(xué)者。五星推薦。
計(jì)算科學(xué)家一直在努力建立世界上最精確的計(jì)算機(jī)視覺系統(tǒng)，但是過程困難而緩慢。微軟研究院在論文《Spatial pyramid pooling in deep convolutional networks for visual recognition》中介紹了，在保持準(zhǔn)確性不變的條件下，微軟研究團(tuán)隊(duì)是如何將深度學(xué)習(xí)目標(biāo)檢測系統(tǒng)加速了到 100 倍的。
[2] https://arxiv.org/pdf/1406.4729.pdf
選自 2015 年 IEEE 國際大會(huì)上 CV 領(lǐng)域的論文集，介紹了圖像識別領(lǐng)域最先進(jìn)的框架 Faster R-CNN 相關(guān)知識。
[3] https://pdfs.semanticscholar.org/8f67/64a59f0d17081f2a2a9d06f4ed1cdea1a0ad.pdf
任少卿是世界上最廣泛使用的物體檢測框架 Faster RCNN 的提出者。本篇論文《Faster R-CNN: Towards real-time object detection with region proposal networks》是由他主筆而成。
Redmon 和 Joseph等合著《You only look once: Unified, real-time object detection》 ，提出了 YOLO 算法，號稱和 Faster RCNN 精度相似但速度更快。五星推薦。
[5] http://homes.cs.washington.edu/~ali/papers/YOLO.pdf
論文《SSD: Single Shot MultiBox Detector》介紹了在 arXiv上出現(xiàn)的算法 Single Shot MultiBox Detector （SSD）。它是 YOLO 的超級改進(jìn)版，吸取了 YOLO的精度下降的教訓(xùn)，同時(shí)保留速度快的特點(diǎn)。SSD 能達(dá)到 58 幀每秒，精度有 72.1。速度超過 Faster R-CNN 有 8 倍，但也能達(dá)到類似的精度。
[6] https://arxiv.org/pdf/1512.02325.pdf
Via github ，關(guān)于深度學(xué)習(xí)其他領(lǐng)域的應(yīng)用，還請關(guān)注雷鋒網(wǎng)后續(xù)文章。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
