0
目前精讀文章已在 GitHub 開源，速覽！
GitHub地址：github.com/mli/paper-reading
個(gè)人主頁：https://github.com/mli
從本月初做論文推薦和精讀以來，現(xiàn)已上傳5條視頻，已經(jīng)逐段式逐句式精讀了2篇論文。話不多說，趁著還能上車，趕緊追呀?。?！
每次精析近60分鐘，時(shí)長感人！從發(fā)布時(shí)間來看，老師你為啥總是周四周五上傳視頻？莫非我已經(jīng)掌握了你的輸出節(jié)奏！新一期的視頻預(yù)計(jì)在3天后，前排蹲起！
從李老師已經(jīng)推薦的論文來看，開頭就是兩篇重頭戲---
深度學(xué)習(xí)奠基作之一：AlexNet
9年后重讀，原來AlexNet的報(bào)告也被大佬們噴過？
AlexNet論文中有多少觀點(diǎn)現(xiàn)在看都不對(duì)？
撐起計(jì)算機(jī)視覺半邊天的：ResNet
為什么網(wǎng)絡(luò)越深，效果越差？
殘差連接在做什么？
從當(dāng)下最熱火的深度學(xué)習(xí)問題入手，再重讀經(jīng)典深度學(xué)習(xí)論文，經(jīng)典還能回應(yīng)時(shí)代之聲嗎？
李老師不僅從專業(yè)角度“亮劍式”解析論文，還光明正大領(lǐng)著大家吃起了瓜！原來大佬的的論文也被噴過！
看李老師做過的視頻講解，真真是讀書“破”萬卷！
怎么老師您的筆法越邪魅狂狷，我心越踏實(shí)！這樣的論文結(jié)構(gòu)解析和技術(shù)分析，一眼就能把論文讀“薄”！
在開篇之作如何讀論文中，沐神總結(jié)了讀論文的一種套路：
論文結(jié)構(gòu)通常分為六個(gè)部分，要按照“讀三遍”的方法快速掌握論文的精華。
1.title
2.abstract
3.introduction
4.method
5.experiments
6.conclusion
第一遍：標(biāo)題、摘要、結(jié)論?？梢钥匆豢捶椒ê蛯?shí)驗(yàn)部分重要的圖和表。花費(fèi)十幾分鐘時(shí)間了解到論文是否適合你的研究方向。
第二遍：確定論文值得讀之后，快速把整篇論文過一遍。不需要知道所有的細(xì)節(jié)，但需要了解重要的圖和表，知道每一個(gè)部分在干什么，圈出相關(guān)文獻(xiàn)。如果覺得文章太難，可以讀引用的文獻(xiàn)。
第三遍：重點(diǎn)讀論文提出了什么問題，用到了什么解決方法，實(shí)驗(yàn)是怎么做的。
在讀方法的部分中，思考自己如何完成作者所提出的問題，用什么方法實(shí)現(xiàn)；
在讀實(shí)驗(yàn)的部分時(shí)，思考自己能不能比作者做得更好；能用什么方法優(yōu)化。
在沐神的接下來的論文精讀中，同樣是按照這種方法指導(dǎo)大家拆分論文，懂得如何讀論文是科研入門的第一步。
當(dāng)然我們從李老師的GitHub 主頁中發(fā)現(xiàn)，他在15個(gè)小時(shí)之前已經(jīng)悄悄更新了下一期目錄：
Transformer：新的大一統(tǒng)架構(gòu)？
圖神經(jīng)網(wǎng)絡(luò)的可視化介紹。
這樣勤奮的老師誰能不愛！難怪大家對(duì)沐神的評(píng)價(jià)是：不用催更反而督促粉絲跟上節(jié)奏的神奇up主！
李老師官方透露：
錄一篇文章的時(shí)間大概是5個(gè)小時(shí)（拍攝、剪輯、上傳），一般是每天深夜找半個(gè)小時(shí)或者一個(gè)小時(shí)做一點(diǎn)。如果沒有其他更緊要的事情的話，10天左右可以出一篇。如果大家熱情的話，可以多趕一趕！
考慮在之后視頻中將要介紹的論文，選取的原則是10年內(nèi)深度學(xué)習(xí)里有影響力文章（必讀文章），或者近期比較有意思的文章。當(dāng)然這十年里重要的工作太多了，不可能每篇都過。在選取的時(shí)候會(huì)偏向一些之前直播課中沒講到過的。歡迎大家在討論區(qū)里提供（點(diǎn)）建議（歌）。
現(xiàn)在的候選論文已經(jīng)列出，將持續(xù)更新（數(shù)字不代表講析順序）。
Adam：深度學(xué)習(xí)里最常用的優(yōu)化算法之一。
鏈接：https://arxiv.org/abs/1412.6980
EfficientNet：通過架構(gòu)搜索得到的CNN，現(xiàn)在常被使用。
鏈接：https://arxiv.org/abs/1905.11946
BERT：讓深度學(xué)習(xí)在NLP上熱度超過了CV。
鏈接：https://arxiv.org/abs/1810.04805
GPT3：朝著zero-shot learning邁了一大步，當(dāng)然也得講一講GPT/GPT-2
鏈接：https://arxiv.org/abs/2005.14165
GAN。生成類模型中的開創(chuàng)性工作。
鏈接：https://arxiv.org/abs/1406.2661
CLIP。圖片分類從此不用標(biāo)數(shù)據(jù)。
鏈接：https://openai.com/blog/clip/
Non-deep networks：21年10月的新工作，非深度網(wǎng)絡(luò)也能在ImageNet刷到SOTA。
鏈接：https://arxiv.org/pdf/2110.07641.pdf
為什么超大的模型泛化性好
鏈接：https://cacm.acm.org/magazines/2021/3/250713-understanding-deep-learning-still-requires-rethinking-generalization/fulltext
GNN 介紹： Distill上最近一篇寫得很好的介紹性文章。
鏈接：https://distill.pub/2021/gnn-intro/
AlphaGo：讓強(qiáng)化學(xué)習(xí)出圈的一系列工作。
鏈接：https://deepmind.com/research/case-studies/alphago-the-story-so-far
十篇論文已經(jīng)安排好，意味著至少有兩個(gè)半的時(shí)間，李老師將和我們一起云學(xué)習(xí)！
從李老師敲定的論文來看，篇篇都有討論價(jià)值。
因此有網(wǎng)友表示：重讀論文很有必要，技術(shù)需要時(shí)間驗(yàn)證。
至于一部經(jīng)典作品是什么作品，哪怕它與時(shí)代的旋律格格不入，它也至少成為一種時(shí)代的背景噪音。
回顧李老師自己的生命歷程，"大神"，是很多人對(duì)李沐的印象。作為一經(jīng)推出便大受追捧的 MXNet 深度學(xué)習(xí)框架的主要貢獻(xiàn)者之一，李沐功不可沒。
以倒敘時(shí)間線來看，李沐目前為止的職業(yè)和學(xué)習(xí)生涯大致是這樣的：
亞馬遜首席科學(xué)家，2017 年 3 月至今
百度首席架構(gòu)師，2014.4-2015.12
CMU 讀博士，2012-2017
Google Research 實(shí)習(xí)生，2013 年夏
百度高級(jí)研究員, 2011.4 - 2012.8
香港科技大學(xué)研究助理，2009 - 2010
微軟亞洲研究院實(shí)習(xí)，2007 年夏
上交 ACM 班
但是再看李沐近來的感悟，他更像是一位用理性審視生命歷程的“有心人”，最近提出用隨機(jī)梯度下降來優(yōu)化人生的箴言：多向四處看看，每一步的方向都是你對(duì)世界的認(rèn)識(shí)。
隨機(jī)梯度下降的第一個(gè)詞是隨機(jī)，就是你需要四處走走，看過很多地方，做些錯(cuò)誤的決定，這樣你可以在前期邁過一些不是很好的舒適區(qū)。
重讀論文大抵如此。優(yōu)秀的經(jīng)典論文就是要敢于直面權(quán)威的審視，也要在時(shí)間的流動(dòng)中經(jīng)久不衰。提到這十年以來的論文，李老師也談到文中部分觀點(diǎn)的失效，但能再從中錘煉出什么，從字縫里翻出什么細(xì)節(jié)，從段落中抖摟出什么字碴兒，正是重讀經(jīng)典的意義。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
