0
| 本文作者： AI研習(xí)社-譯站 | 2020-12-03 10:52 |
譯者：AI研習(xí)社（季一帆）
雙語原文鏈接：‘Must-Read’ AI Papers Suggested by Experts - Pt 2
我們之前寫了一篇文章，向大家推薦了一些AI必讀論文，引起很好的反響?，F(xiàn)在，我們推出了第二篇文章。這次推薦的論文依然是分量十足、誠意滿滿，各位推薦者都認(rèn)為自己推薦的論文是AI人員必讀的經(jīng)典之作，不知各位讀者怎么看?，F(xiàn)在，我們來看看這次入選的是哪些論文吧！
不過在這之前，我還是向您推薦我們之前的那一篇文章，那篇文章也絕對(duì)值得一讀。
推薦論文1：f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization （f-GAN: 使用變分散度最小化訓(xùn)練生成神經(jīng)采樣器）- Sebastian Nowozin et al.
https://arxiv.org/pdf/1711.04894.pdf
Alexia提出可以將若干分類器視為估計(jì)f散度，于是，GAN可以被解釋為最小化估計(jì)和散度。在論文中，Microsoft Research的研究人員詳細(xì)介紹了相關(guān)工作、論文方法和實(shí)驗(yàn)驗(yàn)證。閱讀原文獲取更多信息。
推薦論文2：Sobolev GAN - Youssef Mroueh et al.
https://arxiv.org/pdf/1711.04894.pdf
本文將WGAN-GP中的梯度范數(shù)懲罰視為約束鑒別器，從而使其unit-ball具有梯度。論文的數(shù)學(xué)論證極其復(fù)雜，但我們只要記住，關(guān)鍵在于可以對(duì)鑒別器添加各種各樣的約束。這些限制條件可以防止鑒別器過分嚴(yán)格。論文中的Table1非常重要，我曾數(shù)次翻閱該論文，只為查看Table1，該表顯示了可用的各種不同約束。閱讀原文獲取更多信息。
老實(shí)說，我并不會(huì)覺得有哪篇論文要比其他論文更重要，因?yàn)槲艺J(rèn)為所有論文都是相互依存的，而科學(xué)是協(xié)作的成果。但還是要說，就我個(gè)人而言，還是會(huì)更加偏愛一些論文的，從這些論文中我受益匪淺，但這并不是說其他論文不好。這只意味著，我個(gè)人比較喜歡以下兩篇論文。
推薦論文1：Where Do Rewards Come From? （獎(jiǎng)勵(lì)從何而來？）- Satinder Singh et al.
https://all.cs.umass.edu/pubs/2009/singh_l_b_09.pdf
本文提出了一種通用的獎(jiǎng)勵(lì)計(jì)算框架，在給定適應(yīng)度函數(shù)和環(huán)境分布的情況下，該框架給出了最優(yōu)獎(jiǎng)勵(lì)函數(shù)的概念。實(shí)驗(yàn)結(jié)果表明，在此最佳獎(jiǎng)勵(lì)函數(shù)中，傳統(tǒng)的外在和內(nèi)在行為概念均有體現(xiàn)。閱讀原文了解更多信息。
推薦論文2：Building machines that learn and think like people （讓機(jī)器向人類一樣學(xué)習(xí)與思考）- Brenden Lake et al
本文回顧了認(rèn)知科學(xué)的進(jìn)展，表明要想實(shí)現(xiàn)真正像人類一樣學(xué)習(xí)和思考的機(jī)器，需要當(dāng)前研究的創(chuàng)新性改進(jìn)。具體來說，我們認(rèn)為這樣的機(jī)器應(yīng)具有以下能力：1）建立可解釋的、可理解的世界因果模型，而不僅僅是解決模式識(shí)別問題；2）在物理學(xué)和心理學(xué)層面進(jìn)行學(xué)習(xí)，以支持和豐富機(jī)器所學(xué)知識(shí)；3）利用相關(guān)性以及學(xué)會(huì)學(xué)習(xí)使機(jī)器快速獲取知識(shí)，并擴(kuò)展到新的任務(wù)和情況。閱讀原文了解更多信息。
推薦論文1：Attention Is All You Need （“笨蛋”，根本問題是注意力）- Ashish Vaswani et al.
https://arxiv.org/abs/1706.03762
在NLP科學(xué)家于2017年提出"Attention is All You Need"之后，BERT或GPT-2 / 3等大型預(yù)訓(xùn)練語言模型如雨后春筍般出現(xiàn)。這些模型令人稱奇的結(jié)果不僅引起了ML / NLP研究人員的強(qiáng)烈關(guān)注，在公眾中也引起波瀾。例如，2019年，OpenAI宣稱GPT-2“太過危險(xiǎn)而不能公開”，這說法簡(jiǎn)直讓人抓狂，但事實(shí)是，GPT-2確實(shí)能夠生成與真實(shí)新聞無法區(qū)分的假新聞。幾周前發(fā)布的GPT-3甚至被稱為“自比特幣以來最大的新聞”。閱讀原文了解更多信息。
推薦論文2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data （邁向NLU：關(guān)于數(shù)據(jù)時(shí)代的意義，形式和理解）- Emily M. Bender et al.
https://www.aclweb.org/anthology/2020.acl-main.463.pdf
AI大熱，但我希望向你潑點(diǎn)冷水，冷靜下來好好看看2020年7月ACL會(huì)議的最佳主題論文-“邁向NLU：關(guān)于數(shù)據(jù)時(shí)代的意義，形式和理解”。作者認(rèn)為，盡管現(xiàn)有模型（例如BERT或GPT）成果豐碩，但與人類相比，很難說它們是理解了語言及其含義。作者解釋道，理解是人們?cè)诮涣髦?，根?jù)所說話語明白對(duì)話意圖時(shí)發(fā)生的。這樣，如果僅僅是語言文字，沒有現(xiàn)實(shí)生活中的交互作用，則不可能學(xué)習(xí)和理解語言。換句話說，“從一定形式中是學(xué)習(xí)不到意義的”，這就是為什么即使巨大且復(fù)雜的語言模型也只是學(xué)習(xí)意義的“映射”，而不能了解意義本身。閱讀原文了解更多信息。
推薦論文1：The Computational Limits of Deep Learning （深度學(xué)習(xí)中的計(jì)算極限）- Johnson et al
https://arxiv.org/abs/2007.05558
麻省理工學(xué)院和IBM Watson Lab發(fā)表的這篇論文對(duì)DL出版文獻(xiàn)進(jìn)行匯總分析，介紹了DL模型訓(xùn)練計(jì)算量的增加與其性能表現(xiàn)間的相關(guān)性。同時(shí)論文指出，隨著計(jì)算能力的提高，模型性能改善呈放緩趨勢(shì)。閱讀原文了解更多信息。
推薦論文2：Survey on deep learning with class imbalance（關(guān)于類別不平衡的DL綜述）. Journal of Big Data, 6(1), 27.
該論文匯總介紹了不同DL算法是如何處理類別不平衡問題，該問題存在于信用建模、欺詐檢測(cè)或醫(yī)學(xué)檢測(cè)/癌癥檢測(cè)等各種工業(yè)應(yīng)用中。論文對(duì)不同方法進(jìn)行比較分析，并著重介紹了各種方法處理類別不平衡數(shù)據(jù)的差異，為進(jìn)一步的研究指明方向，閱讀原文了解更多信息。
也許幾年后回頭看，人們會(huì)發(fā)現(xiàn)2020年似乎是自我監(jiān)督元年。自監(jiān)督學(xué)習(xí)就是用非標(biāo)注數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，然后在有限標(biāo)注的下游任務(wù)進(jìn)行微調(diào)。僅在2020年6月之前，眾多SOTA被先后打破，包括但不限于PIRL，SimCLR，InfoMin，MOCO，MOCOv2，BYOL，SwAV，SimCLRv2等眾多自監(jiān)督學(xué)習(xí)方法引起廣泛關(guān)注。通過以下這個(gè)例子來感受一下這些方法究竟多么讓人稱奇吧。僅僅使用不帶標(biāo)簽的ImageNet，然后用1％的標(biāo)簽進(jìn)行微調(diào)，SimCLRv2模型就可以在ImageNet數(shù)據(jù)集上實(shí)現(xiàn)92.3％的Top-5準(zhǔn)確性。很神奇吧，僅僅1％的標(biāo)注就可以取得這樣令人滿意的結(jié)果。對(duì)于缺少標(biāo)注數(shù)據(jù)的領(lǐng)域如醫(yī)學(xué)、衛(wèi)星等來說，自監(jiān)督學(xué)習(xí)就是這些領(lǐng)域應(yīng)用的福音。
推薦論文：A Simple Framework for Contrastive Learning of Visual Representations （一個(gè)簡(jiǎn)單的圖像表示對(duì)比學(xué)習(xí)框架）- Ting Chen et al
https://www.aclweb.org/anthology/2020.acl-main.463.pdf
優(yōu)秀的論文不僅實(shí)驗(yàn)嚴(yán)密、結(jié)果出色，而且還能簡(jiǎn)介明了的向讀者清晰的表達(dá)自己的關(guān)鍵思想。SimCLR就是如此，簡(jiǎn)潔明了，效果出色，這使其成為對(duì)比學(xué)習(xí)領(lǐng)域最值得閱讀論文之一。研究表明，在特定數(shù)據(jù)集中，通過數(shù)據(jù)增強(qiáng)策略獲得更好的圖像表示，對(duì)于對(duì)比學(xué)習(xí)至關(guān)重要。希望更多研究者關(guān)注到SimCLR，在X射線、MRI、音頻、衛(wèi)星圖等領(lǐng)域推動(dòng)該方法進(jìn)一步的研究與發(fā)展。
https://arxiv.org/abs/1908.08593
BERT Transformer結(jié)構(gòu)極大推進(jìn)了機(jī)器對(duì)文本數(shù)據(jù)的表示和理解能力，對(duì)于NLP的研究發(fā)展具有革命性的意義，可以說這就是NLP的“ImageNet”。Transformer架構(gòu)的關(guān)鍵在于自我注意機(jī)制，“BERT揭秘”一文便對(duì)注意力的背后原理進(jìn)行了探討。
更準(zhǔn)確地說，這項(xiàng)研究量化了注意力頭捕獲的語言信息，包括句法和語義關(guān)系等。此外，論文還進(jìn)一步研究了自我注意模式的多樣性及其對(duì)各種任務(wù)的影響。
該論文的研究聚焦于深層次理解強(qiáng)大的transformer架構(gòu)，不僅利于推動(dòng)該領(lǐng)域的進(jìn)一步發(fā)展，而且有利于研究人員做出更明智的決策。也就是說，如果知道某些精簡(jiǎn)的小型體系結(jié)構(gòu)會(huì)產(chǎn)生相似的性能，這就意味著在架構(gòu)設(shè)計(jì)和空間占用方面有了更好的選擇。
閱讀原文了解更多信息。
本文從概念到實(shí)踐對(duì)深度學(xué)習(xí)進(jìn)行詳細(xì)介紹，對(duì)于理解深度學(xué)習(xí)具有重要幫助。由于黑匣子性質(zhì)，神經(jīng)網(wǎng)絡(luò)不僅訓(xùn)練成本高昂，而且不具可解釋性。同時(shí)，最近數(shù)據(jù)保護(hù)法規(guī)的更改將推動(dòng)可解釋AI的研究，神經(jīng)網(wǎng)絡(luò)受到挑戰(zhàn)。
盡管如此，在某些商業(yè)應(yīng)用中，只有神經(jīng)網(wǎng)絡(luò)才能有效地完成工作，因此掌握神經(jīng)網(wǎng)絡(luò)技術(shù)依然至關(guān)重要。在我使用R語言進(jìn)行一年左右的深度學(xué)習(xí)研究與實(shí)踐中，本書是我的良師益友，指導(dǎo)我熟練地使用神經(jīng)網(wǎng)絡(luò)并完成圖像識(shí)別項(xiàng)目。
推薦論文1：Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference（錯(cuò)誤的真正原因：自然語言推理中的啟發(fā)式句法診斷）
我推薦的第一篇論文是MaCoy，Pavlick和Linzen的“錯(cuò)誤的真正原因：自然語言推理中的啟發(fā)式句法診斷”，論文表明transformer架構(gòu)顯著推動(dòng)了自然語言推理等NLU任務(wù)的進(jìn)步。在技術(shù)研究之外，“錯(cuò)誤的真正原因”強(qiáng)調(diào)了基于當(dāng)前數(shù)據(jù)集的系統(tǒng)缺陷，這在NLU任務(wù)中是致命漏洞。本論文將提醒AI從業(yè)者和研究人員保持清醒與理智。閱讀原文了解更多信息。
我推薦的第二篇論文是關(guān)于DL信息瓶頸分析的，也就是Achille和Soatto的研究成果“深度表示中的不變和解耦”，閱讀博客了解詳細(xì)信息。
https://montrealethics.ai/the-state-of-ai-ethics-report-june-2020/
推薦論文：The State of AI Ethics Report（AI倫理道德報(bào)告）
在蒙特利爾AI倫理研究所，我們一直在關(guān)注一些最具影響力的論文，這些論文不僅關(guān)注AI倫理的常見問題，而且基于經(jīng)驗(yàn)科學(xué)并能指導(dǎo)實(shí)踐。為此，我們將過去一個(gè)季度的工作整理成《 AI倫理道德報(bào)告，2020年6月》，用于指導(dǎo)該領(lǐng)域的研究人員和從業(yè)人員在實(shí)踐過程中遵守AI倫理責(zé)任。該報(bào)告的內(nèi)容包括但不限于，NLP模型中對(duì)殘疾人的社會(huì)偏見，YouTube反饋回路的潛在缺陷，AI治理，即在AI中實(shí)施道德規(guī)范的整體方法以及對(duì)抗性機(jī)器學(xué)習(xí)-行業(yè)觀點(diǎn)。閱讀原文了解更多信息。
推薦論文：The Discipline of Machine Learning（機(jī)器學(xué)習(xí)學(xué)科建設(shè)）
http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf
本文簡(jiǎn)要介紹了機(jī)器學(xué)習(xí)學(xué)科建設(shè)綱要，機(jī)器學(xué)習(xí)要解決的基本問題和與其他科學(xué)和社會(huì)的關(guān)系，以及進(jìn)一步的發(fā)展方向。閱讀原文了解更多信息。
https://en.m.wikipedia.org/wiki/Overfitting
Diego認(rèn)為AI人員要對(duì)“過擬合”有清晰完整的了解。本文涉及內(nèi)容涵蓋統(tǒng)計(jì)推斷，回歸等。閱讀原文了解更多內(nèi)容。
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái)，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長(zhǎng)。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
