自適應(yīng)次梯度法在線學(xué)習(xí)與隨機(jī)優(yōu)化

dropout：防止神經(jīng)網(wǎng)絡(luò)過(guò)度擬合

基于雙向RNN-LSTM的多域聯(lián)合語(yǔ)義框架分析

無(wú)問答對(duì)的大規(guī)模語(yǔ)義分析

口語(yǔ)系統(tǒng)評(píng)價(jià)：ATIS領(lǐng)域 

論文名稱：Adaptive Subgradient Methods for Online Learning and Stochastic Optimization

作者：John Duchi /Elad Hazan /Yoram Singer

發(fā)表時(shí)間：2011/7/11

論文鏈接：https://paper.yanxishe.com/review/12256?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：神經(jīng)網(wǎng)友如何學(xué)習(xí)優(yōu)化是一個(gè)非常重要的內(nèi)容，當(dāng)你學(xué)習(xí)深度學(xué)習(xí)的時(shí)候，你首先學(xué)習(xí)的一定是梯度下降算法，但是這個(gè)方法存在一些問題，所以之后誕生了很多優(yōu)秀的算法。

創(chuàng)新點(diǎn)：作者提出一個(gè)新的次梯度方法家族,可以動(dòng)態(tài)地吸收之前的看過(guò)的數(shù)據(jù)的信息,來(lái)進(jìn)行基于梯度的學(xué)習(xí).它可以找到很有信息的特征。

研究意義：優(yōu)化算法一直是深度學(xué)習(xí)的重要點(diǎn)之一。

論文名稱：Dropout: A Simple Way to Prevent Neural Networks from Overfitting

作者：Nitish Srivastava /Geoffrey Hinton /Alex Krizhevsky /Ilya Sutskever /Ruslan Salakhutdinov

發(fā)表時(shí)間：2014/11/12

論文鏈接：https://paper.yanxishe.com/review/12213?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：在神經(jīng)網(wǎng)絡(luò)中經(jīng)常要面對(duì)的一個(gè)問題是過(guò)擬合問題，目前有很多解決過(guò)擬合方法，這里介紹了其中之一。

創(chuàng)新點(diǎn)：本文提出了一種dropout方法，這些方法是目前最流行的解決神經(jīng)網(wǎng)絡(luò)過(guò)擬合的方法

研究意義：過(guò)度擬合是一個(gè)嚴(yán)重的問題。大型網(wǎng)絡(luò)也使用緩慢，很難通過(guò)結(jié)合許多人的預(yù)測(cè)來(lái)處理過(guò)度擬合測(cè)試時(shí)使用不同的大型神經(jīng)網(wǎng)絡(luò)。

論文名稱：Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM

作者：Dilek Hakkani-Tur /Gokhan Tur /Asli Celikyilmaz /Yun-Nung Chen /Jianfeng Gao /Li Deng /Ye-Yi Wang

發(fā)表時(shí)間：2016/2/12

論文鏈接：https://paper.yanxishe.com/review/12212?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：這是一篇做對(duì)話系統(tǒng)的文章，目前對(duì)話系統(tǒng)最主要的三個(gè)問題是領(lǐng)域分類，意圖識(shí)別，實(shí)體填充，這三個(gè)任務(wù)都是nlp的子問題，很多模型都是采用流水線的形式，獨(dú)立來(lái)做，本文探討了一種聯(lián)合模型

創(chuàng)新點(diǎn)：

作者提出了一個(gè)RNN-LSTM體系結(jié)構(gòu)，用于空位填充、意圖確定和領(lǐng)域分類的聯(lián)合建模。

建立了一個(gè)聯(lián)合多領(lǐng)域模型，支持多任務(wù)深度學(xué)習(xí)，每個(gè)領(lǐng)域的數(shù)據(jù)相互補(bǔ)充。

作者研究了口語(yǔ)理解中詞匯上下文建模的替代體系結(jié)構(gòu)。

研究意義：實(shí)驗(yàn)結(jié)果表明，與基于單域/任務(wù)深度學(xué)習(xí)的替代方法相比，該方法在Microsoft Cortana真實(shí)用戶數(shù)據(jù)上的能力更強(qiáng)。

論文名稱：Large-scale Semantic Parsing without Question-Answer Pairs

作者：Siva Reddy /Mirella Lapata /Mark Steedman

發(fā)表時(shí)間：2014/2/15

論文鏈接：https://paper.yanxishe.com/review/12211?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：在問答系統(tǒng)中，我們經(jīng)常擁有的先驗(yàn)知識(shí)是問答對(duì)，通過(guò)問題和答案的匹配來(lái)做任務(wù)，但是如果當(dāng)沒有問題答案對(duì)呢？如何從數(shù)據(jù)中學(xué)習(xí)出答案？

創(chuàng)新點(diǎn)：本論文的模型不需要問答對(duì)，采用用自然語(yǔ)言查詢Freebase的解析方法，將語(yǔ)義分析概念化為一個(gè)圖匹配問題。

研究意義：FREE917和WEBQUESTIONS子集的評(píng)價(jià)實(shí)驗(yàn)基準(zhǔn)數(shù)據(jù)集顯示了我們的語(yǔ)義解析器比最先進(jìn)的技術(shù)更先進(jìn)。

論文名稱：Evaluation of Spoken Language Systems: the ATIS Domain

作者：P. J. Price

發(fā)表時(shí)間：1990/6/24

論文鏈接：https://paper.yanxishe.com/review/12210?from=leiphonecolumn_paperreview0302

推薦原因

這篇文章有些古老，之所以分享一下是因?yàn)橄胍涗浺幌隆?/p>

本文介紹了一些問題背景，概述問題和在“公共”任務(wù)域中評(píng)估口語(yǔ)系統(tǒng)的初步實(shí)驗(yàn)，稱為ATIS

討論了自動(dòng)語(yǔ)音識(shí)別，以及自然語(yǔ)言理解的各個(gè)方面。對(duì)口語(yǔ)系統(tǒng)的評(píng)估是一個(gè)很大的進(jìn)步超越了先前描述的評(píng)估機(jī)制。

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點(diǎn)」，通過(guò)論文整理推薦、點(diǎn)評(píng)解讀、代碼復(fù)現(xiàn)。致力成為國(guó)內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛學(xué)術(shù)的你，可以加入我們的論文作者團(tuán)隊(duì)。

加入論文作者團(tuán)隊(duì)你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

    2.豐厚的稿酬

    3.AI 名企內(nèi)推、大會(huì)門票福利、獨(dú)家周邊紀(jì)念品等等等。

加入論文作者團(tuán)隊(duì)你需要：

    1.將你喜歡的論文推薦給廣大的研習(xí)社社友

    2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團(tuán)隊(duì)，可以添加運(yùn)營(yíng)小姐姐的微信（ID:julylihuaijiang），備注“論文兼職作者”