0
| 本文作者： AI研習(xí)社-譯站 | 2020-11-16 16:53 |
譯者：AI研習(xí)社（Icarus、、Maker、這么辣雞嗎、Clara）
雙語原文鏈接：13 ‘Must-Read’ Papers from AI Experts
以下所有的論文都是免費的，涵蓋了從超梯度到CNN的產(chǎn)量響應(yīng)建模等一系列主題。每位專家還附上了論文被選中的原因以及簡短的個人簡歷。
我們在一月份的時候就和Jeff談過，當(dāng)時他不能只選一篇論文作為必讀，所以我們讓他選了兩篇。下面列出這兩篇論文。
Learning to Reinforcement Learn（2016）--Jane X Wang et al.
本文解讀了兩個關(guān)鍵的討論點，即稀疏訓(xùn)練數(shù)據(jù)的局限性，以及循環(huán)網(wǎng)絡(luò)是否能在完全監(jiān)督的情況下支持元學(xué)習(xí)。這些要點在七個概念驗證實驗中得到了解決，每個實驗都研究了深度元RL的一個關(guān)鍵方面。我們考慮了擴(kuò)展和擴(kuò)大該方法的前景，同時也指出了一些對神經(jīng)科學(xué)的潛在重要影響。點擊這里閱讀更多內(nèi)容。
Gradient-based Hyperparameter Optimization through Reversible Learning (2015) - Dougal Maclaurin, David Duvenaud, and Ryan P. Adams.
Jeff推薦的第二篇論文通過在整個訓(xùn)練過程中倒鏈導(dǎo)數(shù)，計算出所有超參數(shù)的交叉驗證性能的精確梯度。這些梯度允許對數(shù)千個超參數(shù)進(jìn)行優(yōu)化，包括步長和動量計劃、權(quán)重初始化分布、豐富的參數(shù)化正則化方案和神經(jīng)網(wǎng)絡(luò)架構(gòu)。你可以在這里閱讀更多關(guān)于這篇論文的內(nèi)容。
Long Short-Term Memory (1997) - Sepp Hochreiter and Jürgen Schmidhuber
這篇1997年的開創(chuàng)性論文的思想是超前于那個時代的。直到最近（即過去6年左右），硬件加速器才有能力運行LSTM的訓(xùn)練/服務(wù)操作，從而使得LSTM成功用于許多應(yīng)用（如語言建模，手勢預(yù)測，用戶建模）。 LSTM基于記憶的序列建模架構(gòu)非常有影響力——它啟發(fā)了許多最新的改進(jìn)方法，例如Transformers。這篇論文對我的工作影響很大。
Efficient Incremental Learning for Mobile Object Detection (2019) - Dawei Li et al
本文討論了近期流行的對象檢測模型RetinaNet的創(chuàng)新變體，并介紹了增量學(xué)習(xí)的范例，該范例的此應(yīng)用和其他對于多模式學(xué)習(xí)應(yīng)用是很有效的。本文中使用的關(guān)鍵思想和增量學(xué)習(xí)公式對從事CV工作的任何人都有用，并且可以為對移動設(shè)備有效的高效增量算法鋪平未來創(chuàng)新的道路。
Emergent Tool Use From Multi-Agent Autocurricula (2019) --Bowen Baker等人。
Ken之所以選擇這篇論文，是因為它給出了一個獨特的例子，說明了新興行為，并暗示了開放性的開始。論文本身找到了明確的證據(jù)，證明在我們的環(huán)境中，代理策略有六個涌現(xiàn)階段，每一個階段都會給對方團(tuán)隊帶來新的壓力，讓他們?nèi)ミm應(yīng)；例如，代理學(xué)會了使用可移動的盒子來建造多物體掩體，這又導(dǎo)致代理發(fā)現(xiàn)他們可以使用坡道來克服障礙。點擊這里閱讀本文的更多內(nèi)容。
Open-endedness: The last grand challenge you’ve never heard of (2017)----Kenneth Stanley等人。
我們允許Ken也加入了他自己和他的同事們的一篇論文，他的建議是 "關(guān)于開放式挑戰(zhàn)的非技術(shù)性介紹"。這篇論文在描述中解釋了這個挑戰(zhàn)到底是什么，如果解決了它的驚人意義，以及如果我們激發(fā)了你的興趣，如何加入這個探索。在這里閱讀更多關(guān)于這篇論文的內(nèi)容。
Attention Is All You Need (2017)--Ashish Vaswani等人。
Andriy推薦了2017年的這篇論文，因為用他自己的話說，"它將NLP與BERT等預(yù)訓(xùn)練的Transformer模型帶到了一個全新的高度"。論文提出了一種新的簡單網(wǎng)絡(luò)架構(gòu)--Transformer，完全基于注意力機(jī)制，完全免除了遞歸和卷積。在兩個機(jī)器翻譯任務(wù)上的實驗表明，這些模型在質(zhì)量上更勝一籌，同時更可并行化，所需的訓(xùn)練時間也大大減少。你可以在這里閱讀這篇論文。
當(dāng)我們聯(lián)系A(chǔ)ndrew時，腦海中并沒有具體的論文，然而，我們被引導(dǎo)到他最近的一篇帖子，其中突出了他認(rèn)為可能感興趣的兩篇論文。下面引用了這兩篇論文。
Modeling yield response to crop management using convolutional neural networks (2020) 「利用卷積神經(jīng)網(wǎng)絡(luò)建模作物管理的產(chǎn)量響應(yīng)(2020)」-Andre Barbosa等人。
在這項工作中，Andre等人提出了一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)來捕捉不同屬性的相關(guān)空間結(jié)構(gòu)，并將它們結(jié)合起來建模產(chǎn)量對養(yǎng)分和種子率管理的響應(yīng)。利用九個農(nóng)場實驗構(gòu)建了一個合適的數(shù)據(jù)集，對CNN模型進(jìn)行訓(xùn)練和檢驗。評估了四種組合了網(wǎng)絡(luò)中不同階段的輸入屬性的體系結(jié)構(gòu)，并將其與最常用的預(yù)測模型進(jìn)行了比較,在這里閱讀更多關(guān)于文章的內(nèi)容。
A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis (2019) 醫(yī)學(xué)影像診斷疾病的深度學(xué)習(xí)績效與醫(yī)護(hù)人員的比較：系統(tǒng)回顧與meta-analysis(2019)--劉曉軒等.
本文評估了深度學(xué)習(xí)算法與醫(yī)療保健專業(yè)人員在使用醫(yī)學(xué)成像對疾病進(jìn)行分類時的診斷準(zhǔn)確性。進(jìn)行樣本外外部驗證的研究包括在meta-analysis中，使用統(tǒng)一的分層模型。點擊這里閱讀更多關(guān)于這篇文章的內(nèi)容。
當(dāng)我們聯(lián)系到Gregory時，他建議他的論文選擇是基于試圖理解AI和ML的大趨勢，最近的兩篇論文對他來說非常突出?！拔易罱x了兩篇重要的論文，下面是Gary & Francois的文章。我還推薦看Yoshua Bengio和Gary Marcus在Montrea進(jìn)行的辯論。”
The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence (2020) 《人工智能的下一個十年：邁向穩(wěn)健人工智能的四個步驟》(2020)--Gary Marcus
本文介紹了人工智能和機(jī)器學(xué)習(xí)的最新研究，這些研究在很大程度上強(qiáng)調(diào)了通用學(xué)習(xí)和越來越大的訓(xùn)練集和越來越多的計算。與此形成對比的是，加里提出了一種混合的、知識驅(qū)動的、基于推理的方法，以認(rèn)知模型為中心，可以為比目前可能的更豐富、更健壯的人工智能提供基礎(chǔ)。
On the Measure of Intelligence (2019) “論智力的測量”(2019)-- Fran?ois Chollet
Gregory的第二個建議是Fran?ois Cholle的“關(guān)于智力的衡量”。本文總結(jié)和批判性地評價了智力測量的定義和評價方法，明確了隱含指導(dǎo)它們的兩個歷史智力概念。然后，弗朗索瓦在算法信息論的基礎(chǔ)上提出了一個新的智力正式定義，將智力描述為技能獲得效率，并強(qiáng)調(diào)了范圍、推廣難度、先驗和經(jīng)驗等概念。請在這里閱讀這篇文章。
Tackling climate change with Machine Learning (2019)-David Rolnick，Priya L Donti，Yoshua Bengio等
Myriam的建議包括機(jī)器學(xué)習(xí)及其對環(huán)境的影響。氣候變化是人類面臨的最大挑戰(zhàn)之一，機(jī)器學(xué)習(xí)專家想知道如何提供幫助。在本文中，作者描述了機(jī)器學(xué)習(xí)如何成為減少溫室氣體排放和幫助社會適應(yīng)氣候變化的有力工具。從智能電網(wǎng)到災(zāi)難管理，他們通過與其他領(lǐng)域合作來發(fā)現(xiàn)目前影響較大的問題，這些問題可以通過機(jī)器學(xué)習(xí)的方法來進(jìn)行解決。在此處閱讀本文的更多內(nèi)容。
The Netflix Recommender System: Algorithms, Business Value, and Innovation (2015) -Carlos Gomez-Uribe & Neil Hunt
“這篇論文已有一定年份，且不是技術(shù)性文章，但是它涵蓋了許多你需要思考的基本問題，業(yè)務(wù)決策點，算法特征，度量和數(shù)據(jù)特征，測試和驗證在操作環(huán)境中部署AI算法。我之所以喜歡這篇文章，也是因為推薦引擎很受歡迎且在不同的行業(yè)中使用，得到了所有人（甚至是非專家）的認(rèn)可。因此，本文可以迅速為學(xué)生（包括其他人）獲得對算法的深入理解和樂趣。請在此處閱讀本文。
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過提供學(xué)習(xí)、實戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
