0
雷鋒網(公眾號：雷鋒網)按：本文由圖普科技編譯自《Milestones of Deep Learning》，雷鋒網獨家首發(fā)。
“深度學習”自問世到現(xiàn)在已有大約十年的時間了，從一開始，它就因為其巨大的成功風靡全世界。以下是“深度學習”在這些年的發(fā)展過程中所取得的一些重大成就。
AlexNet架構（圖片來自題為《ImageNet Classification with Deep Convolutional Neural Networks》的研究論文）
· AlexNet的出現(xiàn)證明了“卷積神經網絡”確實奏效。AlexNet及其研究性論文《ImageNet Classification with Deep Convolutional Neural Networks》被認為是推動深度學習進入主流的最重要動力。
· AlexNet以15.4%的低失誤率奪得2012年ILSVRC（ImageNet大規(guī)模視覺識別挑戰(zhàn)賽）的冠軍。（亞軍得主的失誤率為26.2%。）
· AlexNet含有8個層，其中5個為卷積層，3個為全連接層。
· 將ReLU用于非線性函數(shù)，而非傳統(tǒng)的tanh函數(shù)。
· 引入了漏失層和數(shù)據增強以克服過度擬合的問題。
《ImageNet Classification with Deep Convolutional Neural Networks》，作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。
ZF網絡架構（圖片來自題為《Visualizing and Understanding Convolutional Networks》的研究論文）
· 以11.2%的低失誤率奪得2013年ILSVRC冠軍。
· 與AlexNet架構相似，ZF網絡也是在一些調整和優(yōu)化中不斷提高了其工作性能。
· 引入了一項可視化技術——“轉置卷積網絡”——來觀察卷積神經網絡的內部工作原理。
《Visualizing and Understanding Convolutional Networks》，作者Matthew D. Zeiler和Rob Fergus。
VGG網絡架構（圖片來自Keras博客：https://blog.keras.io）
· 以7.3%的失誤率取得了2014年ILSVRC的“分類及定位”比賽的單項冠軍。
· VGG網絡架構擅長圖像分類及圖像定位。
· VGG網絡含有19個層，其過濾器為3x3（AlexNet的過濾器為11x11，ZF網絡則為7x7。）
· 簡單的深度結構對于分層特征提取十分有效。
《Very Deep Convolutional Networks for Large-scale Image Recognition》，作者Karen Simonyan和Andrew Zisserman。
GoogLeNet網絡架構（圖片來自題為《Going Deeper with Convolutions》的研究論文）
· 以6.7%的失誤率取得了2014年ILSVRC的冠軍。
· 引入了“Inception單元”，強調了卷積神經網絡的層不需要每次都按照順序排列疊加。
“Inception單元”（圖片來自題為《深入卷積》的研究論文）
· 含有22塊的網絡層（單獨看，每一塊含超過100個層。）
· 非全連接層
· GoogLeNet證明，優(yōu)化的非連續(xù)結構的性能可能比連續(xù)結構的性能還要好。
《Going Deeper with Convolutions》，作者Christian Szegedy等人。
ResNet網絡架構（圖片來自題為《Deep Residual Learning for Image Recognition》）
· 以3.6%的失誤率取得了2015年ILSVRC的冠軍。（據了解，普通人的失誤率大約為5-10%，ResNet的準確度超過了人類水平。）
· ResNet網絡是有著152個層的“超深度”網絡架構。
· 引入了“殘差塊”以減少過擬合。
殘差塊（圖片來自題為《Deep Residual Learning for Image Recognition》的研究論文）
《Deep Residual Learning for Image Recognition》，作者Kaiming He、Xiangyu Zhang等人。
伴隨著深度學習模型對人類能力的一次次超越，在未來幾年，我們一定能看到更多有趣的深度學習模型，及其重大成就。
重新回顧上面的內容，你可能會有這樣的疑惑——“深度學習”是否就是“卷積神經網絡”呢？
答案：不全是。
事實上，下面的模型都被稱為“深度學習”：
· 卷積神經網絡
· 深度玻爾茲曼機
· 人工神經網絡
· 堆棧式自編碼器
在以上的例子中，“卷積神經網絡”是“深度學習”領域最突出且定義最明確的，至少目前是這樣。但是，我們必須始終記住“卷積神經網絡”并不是“深度學習”的全部內容。
查看文章——《What is Deep Learning??》。了解“深度學習”是怎么來的，以及它與機器學習和人工智能有著什么樣的關系。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
