0
雷鋒網(wǎng) AI 科技評論按：近日，清華大學(xué) 唐杰副教授 及其學(xué)生 丁銘 結(jié)合其 Aminer 數(shù)據(jù)庫整理出 Deep Learning 模型最近若干年的重要進(jìn)展，共有 4 條脈絡(luò)。雷鋒網(wǎng)獲其授權(quán)轉(zhuǎn)載，在此分享。
1943 年出現(xiàn)雛形，1958 年研究認(rèn)知的心理學(xué)家 Frank 發(fā)明了感知機(jī)，當(dāng)時掀起一股熱潮。后來 Marvin Minsky（人工智能大師）和 Seymour Papert 發(fā)現(xiàn)感知機(jī)的缺陷：不能處理異或回路、計算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)。停滯！
1986 年 Hinton 正式地提出反向傳播訓(xùn)練 MLP，盡管之前有人實際上這么做。
1979 年，F(xiàn)ukushima 提出 Neocognitron，有了卷積和池化的思想。
1998 年，以 Yann LeCun 為首的研究人員實現(xiàn)了一個七層的卷積神經(jīng)網(wǎng)絡(luò) LeNet-5 以識別手寫數(shù)字。
后來 SVM 興起，這些方法沒有很受重視。
2012 年，Hinton 組的 AlexNet 在 ImageNet 上以巨大優(yōu)勢奪冠，興起深度學(xué)習(xí)的熱潮。其實 Alexnet 是一個設(shè)計精巧的 CNN，加上 Relu、Dropout 等技巧，并且更大。這條思路被后人發(fā)展，出現(xiàn)了 VGG、GooLenet 等。
2016 年，青年計算機(jī)視覺科學(xué)家何愷明在層次之間加入跳躍連接，Resnet 極大增加了網(wǎng)絡(luò)深度，效果有很大提升。一個將這個思路繼續(xù)發(fā)展下去的是去年 CVPR Best Paper Densenet。CV 領(lǐng)域的特定任務(wù)出現(xiàn)了各種各樣的模型（Mask-RCNN 等），這里不一一介紹。
2017 年，Hinton 認(rèn)為反省傳播和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有缺陷，提出 Capsule Net。但是目前在 CIFAR 等數(shù)據(jù)集上效果一半，這個思路還需要繼續(xù)驗證和發(fā)展。
傳統(tǒng)的生成模型是要預(yù)測聯(lián)合概率分布 P(x,y)。
RBM 這個模型其實是一個基于能量的模型，1986 年的時候就有，他在 2006 年的時候重新拿出來作為一個生成模型，并且將其堆疊成為 Deep Belief Network，使用逐層貪婪或者 Wake-Sleep 的方法訓(xùn)練，不過這個模型效果也一般現(xiàn)在已經(jīng)沒什么人提了。但是從此開始 Hinton 等人開始使用深度學(xué)習(xí)重新包裝神經(jīng)網(wǎng)絡(luò)。
Auto-Encoder 也是上個世紀(jì) 80 年代 Hinton 就提出的模型，此時由于計算能力的進(jìn)步也重新登上舞臺。Bengio 等人又搞了 Denoise Auto-Encoder。
Max Welling 等人使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個有一層隱變量的圖模型，由于使用了變分推斷，并且最后長得跟 Auto-encoder 有點(diǎn)像，被稱為 Variational Auto-encoder。此模型中可以通過隱變量的分布采樣，經(jīng)過后面的 decoder 網(wǎng)絡(luò)直接生成樣本。
GAN 是 2014 年提出的非?；鸬哪Ｐ?，他是一個隱的生成模型，通過一個判別器和生成器的對抗訓(xùn)練，直接使用神經(jīng)網(wǎng)絡(luò) G 隱式建模樣本整體的概率分布，每次運(yùn)行相當(dāng)于從分布中采樣。
DCGAN 是一個相當(dāng)好的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，WGAN 是通過維爾斯特拉斯距離替換原來的 JS 散度來度量分布之間的相似性的工作，使得訓(xùn)練穩(wěn)定。PGGAN 逐層增大網(wǎng)絡(luò)，生成機(jī)器逼真的人臉。
1982 年出現(xiàn)的 Hopfield Network 有了遞歸網(wǎng)絡(luò)的思想。1997 年 Jürgen Schmidhuber 發(fā)明 LSTM，并做了一系列的工作。但是更有影響力的是 2013 年還是 Hinton 組使用 RNN 做的語音識別工作，比傳統(tǒng)方法高出一大截。
文本方面 Bengio 在 SVM 最火的時期提出了一種基于神經(jīng)網(wǎng)絡(luò)的語言模型，后來 Google 提出的 Word2Vec 也有一些反向傳播的思想。在機(jī)器翻譯等任務(wù)上逐漸出現(xiàn)了以 RNN 為基礎(chǔ)的 seq2seq 模型，通過一個 encoder 把一句話的語義信息壓成向量再通過 decoder 輸出，當(dāng)然更多的要和 attention 的方法結(jié)合。
后來前幾年大家發(fā)現(xiàn)使用以字符為單位的 CNN 模型在很多語言任務(wù)也有不俗的表現(xiàn)，而且時空消耗更少。self-attention 實際上就是采取一種結(jié)構(gòu)去同時考慮同一序列局部和全局的信息，Google 有一篇聳人聽聞的 Attention Is All You Need 的文章。
這個領(lǐng)域最出名的是 DeepMind，這里列出的 David Silver 是一直研究 RL 的高管。
Q-Learning 是很有名的傳統(tǒng) RL 算法，Deep Q-Learning 將原來的 Q 值表用神經(jīng)網(wǎng)絡(luò)代替，做了一個打磚塊的任務(wù)很有名。后來有測試很多游戲，發(fā)在 Nature。這個思路有一些進(jìn)展 Double Dueling，主要是 Q-learning 的權(quán)重更新時序上。
DeepMind 的其他工作 DDPG、A3C 也非常有名，他們是基于 policy gradient 和神經(jīng)網(wǎng)絡(luò)結(jié)合的變種（但是我實在是沒時間去研究）
一個應(yīng)用是 AlphaGo 大家都知道，里面其實用了 RL 的方法也有傳統(tǒng)的蒙特卡洛搜索技巧。Alpha Zero 是他們搞了一個用 Alphago 框架打其他棋類游戲的游戲，吊打。
雷鋒網(wǎng)注：
本文獲唐杰副教授授權(quán)轉(zhuǎn)自其微博。唐杰老師帶領(lǐng)團(tuán)隊研發(fā)了研究者社會網(wǎng)絡(luò) ArnetMiner 系統(tǒng)，吸引了 220 個國家 277 萬個獨(dú)立 IP 的訪問。AMiner 近期持續(xù)推出了 AI 與各領(lǐng)域結(jié)合的研究報告，可訪問 AMiner 官網(wǎng)了解更多詳情。
AMiner：
清華大學(xué) AMiner 學(xué)術(shù)搜索引擎，是一個以科研人員為中心，通過領(lǐng)先的語義分析和挖掘技術(shù)，提供在線實時的人才、科技評估報告的情報平臺。
系統(tǒng)自上線 10 年以來，匯集了全球 1.3 億科研人員，2.7 億篇論文，吸引了全球超過 220 個國家 800 萬個獨(dú)立 IP 的訪問，是除了谷歌 scholar 之外最大的學(xué)術(shù)搜索系統(tǒng)。為全球最大學(xué)術(shù)期刊出版社 Elsevier，以及 KDD、ICDM、WSDM 等 20 余個重要國際會議提供審稿人推薦及語義信息服務(wù)。AMiner 項目獲 2013 年中國人工智能學(xué)會科學(xué)技術(shù)進(jìn)步一等獎，核心理論部分獲 2013 年中國電子學(xué)會自然科學(xué)二等獎、2017 年北京市科技進(jìn)步一等獎。
相關(guān)文章：
AMiner發(fā)布計算機(jī)領(lǐng)域知識圖譜，包括20多萬條專家信息、50多萬篇出版論文
清華Aminer團(tuán)隊發(fā)布「AI 與自動駕駛汽車研究報告」，闡述 AI 研究現(xiàn)狀
清華AMiner團(tuán)隊：AI 之機(jī)器人學(xué)研究報告
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
