0
| 本文作者： 圖普科技 | 2017-08-11 17:24 |
雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))按：本文由圖普科技編譯自《Milestones of Deep Learning》，雷鋒網(wǎng)獨(dú)家首發(fā)。
“深度學(xué)習(xí)”自問世到現(xiàn)在已有大約十年的時(shí)間了，從一開始，它就因?yàn)槠渚薮蟮某晒︼L(fēng)靡全世界。以下是“深度學(xué)習(xí)”在這些年的發(fā)展過程中所取得的一些重大成就。
AlexNet架構(gòu)（圖片來自題為《ImageNet Classification with Deep Convolutional Neural Networks》的研究論文）
· AlexNet的出現(xiàn)證明了“卷積神經(jīng)網(wǎng)絡(luò)”確實(shí)奏效。AlexNet及其研究性論文《ImageNet Classification with Deep Convolutional Neural Networks》被認(rèn)為是推動深度學(xué)習(xí)進(jìn)入主流的最重要動力。
· AlexNet以15.4%的低失誤率奪得2012年ILSVRC（ImageNet大規(guī)模視覺識別挑戰(zhàn)賽）的冠軍。（亞軍得主的失誤率為26.2%。）
· AlexNet含有8個(gè)層，其中5個(gè)為卷積層，3個(gè)為全連接層。
· 將ReLU用于非線性函數(shù)，而非傳統(tǒng)的tanh函數(shù)。
· 引入了漏失層和數(shù)據(jù)增強(qiáng)以克服過度擬合的問題。
《ImageNet Classification with Deep Convolutional Neural Networks》，作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。
ZF網(wǎng)絡(luò)架構(gòu)（圖片來自題為《Visualizing and Understanding Convolutional Networks》的研究論文）
· 以11.2%的低失誤率奪得2013年ILSVRC冠軍。
· 與AlexNet架構(gòu)相似，ZF網(wǎng)絡(luò)也是在一些調(diào)整和優(yōu)化中不斷提高了其工作性能。
· 引入了一項(xiàng)可視化技術(shù)——“轉(zhuǎn)置卷積網(wǎng)絡(luò)”——來觀察卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理。
《Visualizing and Understanding Convolutional Networks》，作者M(jìn)atthew D. Zeiler和Rob Fergus。
VGG網(wǎng)絡(luò)架構(gòu)（圖片來自Keras博客：https://blog.keras.io）
· 以7.3%的失誤率取得了2014年ILSVRC的“分類及定位”比賽的單項(xiàng)冠軍。
· VGG網(wǎng)絡(luò)架構(gòu)擅長圖像分類及圖像定位。
· VGG網(wǎng)絡(luò)含有19個(gè)層，其過濾器為3x3（AlexNet的過濾器為11x11，ZF網(wǎng)絡(luò)則為7x7。）
· 簡單的深度結(jié)構(gòu)對于分層特征提取十分有效。
《Very Deep Convolutional Networks for Large-scale Image Recognition》，作者Karen Simonyan和Andrew Zisserman。
GoogLeNet網(wǎng)絡(luò)架構(gòu)（圖片來自題為《Going Deeper with Convolutions》的研究論文）
· 以6.7%的失誤率取得了2014年ILSVRC的冠軍。
· 引入了“Inception單元”，強(qiáng)調(diào)了卷積神經(jīng)網(wǎng)絡(luò)的層不需要每次都按照順序排列疊加。
“Inception單元”（圖片來自題為《深入卷積》的研究論文）
· 含有22塊的網(wǎng)絡(luò)層（單獨(dú)看，每一塊含超過100個(gè)層。）
· 非全連接層
· GoogLeNet證明，優(yōu)化的非連續(xù)結(jié)構(gòu)的性能可能比連續(xù)結(jié)構(gòu)的性能還要好。
《Going Deeper with Convolutions》，作者Christian Szegedy等人。
ResNet網(wǎng)絡(luò)架構(gòu)（圖片來自題為《Deep Residual Learning for Image Recognition》）
· 以3.6%的失誤率取得了2015年ILSVRC的冠軍。（據(jù)了解，普通人的失誤率大約為5-10%，ResNet的準(zhǔn)確度超過了人類水平。）
· ResNet網(wǎng)絡(luò)是有著152個(gè)層的“超深度”網(wǎng)絡(luò)架構(gòu)。
· 引入了“殘差塊”以減少過擬合。
殘差塊（圖片來自題為《Deep Residual Learning for Image Recognition》的研究論文）
《Deep Residual Learning for Image Recognition》，作者Kaiming He、Xiangyu Zhang等人。
伴隨著深度學(xué)習(xí)模型對人類能力的一次次超越，在未來幾年，我們一定能看到更多有趣的深度學(xué)習(xí)模型，及其重大成就。
重新回顧上面的內(nèi)容，你可能會有這樣的疑惑——“深度學(xué)習(xí)”是否就是“卷積神經(jīng)網(wǎng)絡(luò)”呢？
答案：不全是。
事實(shí)上，下面的模型都被稱為“深度學(xué)習(xí)”：
· 卷積神經(jīng)網(wǎng)絡(luò)
· 深度玻爾茲曼機(jī)
· 人工神經(jīng)網(wǎng)絡(luò)
· 堆棧式自編碼器
在以上的例子中，“卷積神經(jīng)網(wǎng)絡(luò)”是“深度學(xué)習(xí)”領(lǐng)域最突出且定義最明確的，至少目前是這樣。但是，我們必須始終記住“卷積神經(jīng)網(wǎng)絡(luò)”并不是“深度學(xué)習(xí)”的全部內(nèi)容。
查看文章——《What is Deep Learning??》。了解“深度學(xué)習(xí)”是怎么來的，以及它與機(jī)器學(xué)習(xí)和人工智能有著什么樣的關(guān)系。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
