0
雷鋒網(wǎng) AI 科技評(píng)論按：近日，清華大學(xué) 唐杰副教授 及其學(xué)生 丁銘 結(jié)合其 Aminer 數(shù)據(jù)庫(kù)整理出 Deep Learning 模型最近若干年的重要進(jìn)展，共有 4 條脈絡(luò)。雷鋒網(wǎng)獲其授權(quán)轉(zhuǎn)載，在此分享。
1943 年出現(xiàn)雛形，1958 年研究認(rèn)知的心理學(xué)家 Frank 發(fā)明了感知機(jī)，當(dāng)時(shí)掀起一股熱潮。后來(lái) Marvin Minsky（人工智能大師）和 Seymour Papert 發(fā)現(xiàn)感知機(jī)的缺陷：不能處理異或回路、計(jì)算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)。停滯！
1986 年 Hinton 正式地提出反向傳播訓(xùn)練 MLP，盡管之前有人實(shí)際上這么做。
1979 年，F(xiàn)ukushima 提出 Neocognitron，有了卷積和池化的思想。
1998 年，以 Yann LeCun 為首的研究人員實(shí)現(xiàn)了一個(gè)七層的卷積神經(jīng)網(wǎng)絡(luò) LeNet-5 以識(shí)別手寫數(shù)字。
后來(lái) SVM 興起，這些方法沒有很受重視。
2012 年，Hinton 組的 AlexNet 在 ImageNet 上以巨大優(yōu)勢(shì)奪冠，興起深度學(xué)習(xí)的熱潮。其實(shí) Alexnet 是一個(gè)設(shè)計(jì)精巧的 CNN，加上 Relu、Dropout 等技巧，并且更大。這條思路被后人發(fā)展，出現(xiàn)了 VGG、GooLenet 等。
2016 年，青年計(jì)算機(jī)視覺科學(xué)家何愷明在層次之間加入跳躍連接，Resnet 極大增加了網(wǎng)絡(luò)深度，效果有很大提升。一個(gè)將這個(gè)思路繼續(xù)發(fā)展下去的是去年 CVPR Best Paper Densenet。CV 領(lǐng)域的特定任務(wù)出現(xiàn)了各種各樣的模型（Mask-RCNN 等），這里不一一介紹。
2017 年，Hinton 認(rèn)為反省傳播和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有缺陷，提出 Capsule Net。但是目前在 CIFAR 等數(shù)據(jù)集上效果一半，這個(gè)思路還需要繼續(xù)驗(yàn)證和發(fā)展。
傳統(tǒng)的生成模型是要預(yù)測(cè)聯(lián)合概率分布 P(x,y)。
RBM 這個(gè)模型其實(shí)是一個(gè)基于能量的模型，1986 年的時(shí)候就有，他在 2006 年的時(shí)候重新拿出來(lái)作為一個(gè)生成模型，并且將其堆疊成為 Deep Belief Network，使用逐層貪婪或者 Wake-Sleep 的方法訓(xùn)練，不過(guò)這個(gè)模型效果也一般現(xiàn)在已經(jīng)沒什么人提了。但是從此開始 Hinton 等人開始使用深度學(xué)習(xí)重新包裝神經(jīng)網(wǎng)絡(luò)。
Auto-Encoder 也是上個(gè)世紀(jì) 80 年代 Hinton 就提出的模型，此時(shí)由于計(jì)算能力的進(jìn)步也重新登上舞臺(tái)。Bengio 等人又搞了 Denoise Auto-Encoder。
Max Welling 等人使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個(gè)有一層隱變量的圖模型，由于使用了變分推斷，并且最后長(zhǎng)得跟 Auto-encoder 有點(diǎn)像，被稱為 Variational Auto-encoder。此模型中可以通過(guò)隱變量的分布采樣，經(jīng)過(guò)后面的 decoder 網(wǎng)絡(luò)直接生成樣本。
GAN 是 2014 年提出的非?；鸬哪Ｐ?，他是一個(gè)隱的生成模型，通過(guò)一個(gè)判別器和生成器的對(duì)抗訓(xùn)練，直接使用神經(jīng)網(wǎng)絡(luò) G 隱式建模樣本整體的概率分布，每次運(yùn)行相當(dāng)于從分布中采樣。
DCGAN 是一個(gè)相當(dāng)好的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，WGAN 是通過(guò)維爾斯特拉斯距離替換原來(lái)的 JS 散度來(lái)度量分布之間的相似性的工作，使得訓(xùn)練穩(wěn)定。PGGAN 逐層增大網(wǎng)絡(luò)，生成機(jī)器逼真的人臉。
1982 年出現(xiàn)的 Hopfield Network 有了遞歸網(wǎng)絡(luò)的思想。1997 年 Jürgen Schmidhuber 發(fā)明 LSTM，并做了一系列的工作。但是更有影響力的是 2013 年還是 Hinton 組使用 RNN 做的語(yǔ)音識(shí)別工作，比傳統(tǒng)方法高出一大截。
文本方面 Bengio 在 SVM 最火的時(shí)期提出了一種基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型，后來(lái) Google 提出的 Word2Vec 也有一些反向傳播的思想。在機(jī)器翻譯等任務(wù)上逐漸出現(xiàn)了以 RNN 為基礎(chǔ)的 seq2seq 模型，通過(guò)一個(gè) encoder 把一句話的語(yǔ)義信息壓成向量再通過(guò) decoder 輸出，當(dāng)然更多的要和 attention 的方法結(jié)合。
后來(lái)前幾年大家發(fā)現(xiàn)使用以字符為單位的 CNN 模型在很多語(yǔ)言任務(wù)也有不俗的表現(xiàn)，而且時(shí)空消耗更少。self-attention 實(shí)際上就是采取一種結(jié)構(gòu)去同時(shí)考慮同一序列局部和全局的信息，Google 有一篇聳人聽聞的 Attention Is All You Need 的文章。
這個(gè)領(lǐng)域最出名的是 DeepMind，這里列出的 David Silver 是一直研究 RL 的高管。
Q-Learning 是很有名的傳統(tǒng) RL 算法，Deep Q-Learning 將原來(lái)的 Q 值表用神經(jīng)網(wǎng)絡(luò)代替，做了一個(gè)打磚塊的任務(wù)很有名。后來(lái)有測(cè)試很多游戲，發(fā)在 Nature。這個(gè)思路有一些進(jìn)展 Double Dueling，主要是 Q-learning 的權(quán)重更新時(shí)序上。
DeepMind 的其他工作 DDPG、A3C 也非常有名，他們是基于 policy gradient 和神經(jīng)網(wǎng)絡(luò)結(jié)合的變種（但是我實(shí)在是沒時(shí)間去研究）
一個(gè)應(yīng)用是 AlphaGo 大家都知道，里面其實(shí)用了 RL 的方法也有傳統(tǒng)的蒙特卡洛搜索技巧。Alpha Zero 是他們搞了一個(gè)用 Alphago 框架打其他棋類游戲的游戲，吊打。
雷鋒網(wǎng)注：
本文獲唐杰副教授授權(quán)轉(zhuǎn)自其微博。唐杰老師帶領(lǐng)團(tuán)隊(duì)研發(fā)了研究者社會(huì)網(wǎng)絡(luò) ArnetMiner 系統(tǒng)，吸引了 220 個(gè)國(guó)家 277 萬(wàn)個(gè)獨(dú)立 IP 的訪問(wèn)。AMiner 近期持續(xù)推出了 AI 與各領(lǐng)域結(jié)合的研究報(bào)告，可訪問(wèn) AMiner 官網(wǎng)了解更多詳情。
AMiner：
清華大學(xué) AMiner 學(xué)術(shù)搜索引擎，是一個(gè)以科研人員為中心，通過(guò)領(lǐng)先的語(yǔ)義分析和挖掘技術(shù)，提供在線實(shí)時(shí)的人才、科技評(píng)估報(bào)告的情報(bào)平臺(tái)。
系統(tǒng)自上線 10 年以來(lái)，匯集了全球 1.3 億科研人員，2.7 億篇論文，吸引了全球超過(guò) 220 個(gè)國(guó)家 800 萬(wàn)個(gè)獨(dú)立 IP 的訪問(wèn)，是除了谷歌 scholar 之外最大的學(xué)術(shù)搜索系統(tǒng)。為全球最大學(xué)術(shù)期刊出版社 Elsevier，以及 KDD、ICDM、WSDM 等 20 余個(gè)重要國(guó)際會(huì)議提供審稿人推薦及語(yǔ)義信息服務(wù)。AMiner 項(xiàng)目獲 2013 年中國(guó)人工智能學(xué)會(huì)科學(xué)技術(shù)進(jìn)步一等獎(jiǎng)，核心理論部分獲 2013 年中國(guó)電子學(xué)會(huì)自然科學(xué)二等獎(jiǎng)、2017 年北京市科技進(jìn)步一等獎(jiǎng)。
相關(guān)文章：
AMiner發(fā)布計(jì)算機(jī)領(lǐng)域知識(shí)圖譜，包括20多萬(wàn)條專家信息、50多萬(wàn)篇出版論文
清華Aminer團(tuán)隊(duì)發(fā)布「AI 與自動(dòng)駕駛汽車研究報(bào)告」，闡述 AI 研究現(xiàn)狀
清華AMiner團(tuán)隊(duì)：AI 之機(jī)器人學(xué)研究報(bào)告
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
