0
| 本文作者： AI研習(xí)社-譯站 | 2019-03-27 10:23 |
本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：
Review: RoR?—?ResNet of ResNet / Multilevel ResNet (Image Classification)
作者 | Sik-Ho Tsang
翻譯 | 斯蒂芬·二狗子
校對 | 醬番梨 審核 | 約翰遜·李加薪 整理 | 立魚王
原文鏈接：
https://towardsdatascience.com/review-ror-resnet-of-resnet-multilevel-resnet-image-classification-cd3b0fcc19bb
在本文中，我們簡短地回顧一下RoR（殘余網(wǎng)絡(luò)的殘余網(wǎng)絡(luò)）。在成為最先進(jìn)的深度學(xué)習(xí)方法并贏得眾多競賽認(rèn)可的ResNet成功之后，有許多研究者對如何推廣或改進(jìn)ResNet的做出了研究，相關(guān)的有 Pre-Activation ResNet, ResNet in ResNet (RiR), ResNet with Stochastic Depth (SD), Wide Residual Network (WRN)。RoR就是一篇改進(jìn)ResNet的論文，它們引入了一組概念，就是帶有短連接的ResNet模塊。這個創(chuàng)新使得網(wǎng)絡(luò)成為多級分層的ResNet模型。這篇論文于2016年首次出現(xiàn)在ResNet之后，于2017年被接受并最終于2018年TCSVT發(fā)表，已經(jīng)有數(shù)十篇引文。
本文包括的內(nèi)容：
RoR的概念（Res網(wǎng)絡(luò)模塊的殘差網(wǎng)絡(luò)）
RoR-m：等級數(shù)m
RoR的不同版本
結(jié)論
原始ResNet（左），RoR（右）
Original ResNet 顯示在左上方，許多Res塊級聯(lián)在一起并形成一個非常深的網(wǎng)絡(luò)。
在 Res塊 中，有兩條路徑：
卷積路徑，執(zhí)行卷積以提取特征。
短連接方式將輸入信號直接傳輸?shù)较乱粚拥倪B接路徑。
利用短連接路徑，可以減少梯度消失問題，因?yàn)樵诜聪騻鞑テ陂g誤差信號可以更容易地傳播到前面的層。
上面右側(cè)顯示的RoR的建議，我們也可以在多個Res塊上進(jìn)行短連接。除此之外，我們還可以在一組“剩余塊組”中建立另一級別的短連接。
作者認(rèn)為：
RoR將學(xué)習(xí)問題轉(zhuǎn)變?yōu)閷W(xué)習(xí)殘差到殘差映射，這比原始 ResNet 更簡單，更容易學(xué)習(xí)。
并且上面的塊中的層也可以將信息傳播到下面塊中的層。
級別編號m介紹：
當(dāng)m = 1時，RoR僅具有最終級短連接，即原始?xì)埐罹W(wǎng)絡(luò)。
當(dāng)m = 2時，RoR只有root-level（最外層）和最終級別的短連接。
當(dāng)m = 3時，RoR具有根級別，中級和最終級別的連接。
對于中級連接，每個短連接將跨越具有相同數(shù)量的特征圖的Res塊。
對m = 4和5也進(jìn)行了測試，但在論文中沒有任何關(guān)于它的細(xì)節(jié)。結(jié)果與m = 3相比不夠好。
RoR-3使用原始ResNet（左），RoR-3使用Pre-ResNet或WRN（右）
如上圖所示，RoR適應(yīng)于不同版本的ResNet。
RoR-3：使用原始ResNet且m = 3的RoR
Pre-RoR-3：使用Pre-Activation ResNet且m = 3的RoR
RoR-3-WRN：使用WRN且m = 3的RoR
簡而言之，RoR-3使用Conv-BN-ReLU。 Pre-RoR-3使用BN-ReLU-Conv，而WRN是更寬更淺的Pre-RoR-3。 （如果有興趣，請閱讀我對原始ResNet，Pre-Activation ResNet和WRN的評論，見原文。）
4.1三個數(shù)據(jù)集CIFAR-10, CIFAR-100, SVHN
CIFAR-10: 10類分類數(shù)據(jù)
CIFAR-100: 100類分類數(shù)據(jù)
SVHN: 街景房屋號數(shù)據(jù)集
CIFAR-10，CIFAR-100，SVHN數(shù)據(jù)集上的測試的錯誤率（％）
RoR-3-164：通過將RoR應(yīng)用于164層原始ResNet，
（+ SD 表示使用隨機(jī)深度，以減少過度擬合），分別獲得CIFAR-10和CIFAR-100數(shù)據(jù)集的4.86%和 22.47%測試錯誤率。
（164是模型深度。）
Pre-RoR-3-164 + SD：通過用Pre-ResNet替換原始?xì)埐钅K的RoR模型，分別獲得CIFAR-10和CIFAR-100數(shù)據(jù)集的4.51％和21.94％測試錯誤率。
RoR-3-WRN40-4 + SD：通過用更寬的40層WRN40-4替換pre-ResNet，分別獲得CIFAR-10和CIFAR-100數(shù)據(jù)集的4.09％和20.11％測試錯誤率。
RoR-3-WRN58-4 + SD：對于更深層的58層WRN-58-4，分別獲得了CIFAR-10和CIFAR-100數(shù)據(jù)集的3.77％和19.73％的測試錯誤率。
4.2 ImageNet數(shù)據(jù)集
ImageNet：ILSVRC中的1000類的大規(guī)模數(shù)據(jù)集。
ImageNet數(shù)據(jù)集上的10個目標(biāo)的Top1和Top5測試錯誤率（％）
RoR-3的不同層版本始終優(yōu)于ResNet的不同層版本。本文中有詳細(xì)的驗(yàn)證實(shí)驗(yàn)。如有興趣，請?jiān)L問論文。
使用長跳過連接和短跳過連接的類似方法也已應(yīng)用于生物醫(yī)學(xué)圖像分割。希望我也可以下一次談這個。
相關(guān)參考
[2018 TCSVT] [RoR]
Residual Networks of Residual Networks: Multilevel Residual Networks
我對圖像分類的相關(guān)評論博文
[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Inception-v3] [Inception-v4] [Xception] [MobileNetV1] [ResNet] [Pre-Activation ResNet] [RiR] [Stochastic Depth] [WRN] [DenseNet]
感謝 Ludovic Benistant.
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
點(diǎn)擊【RoR（ResNet of ResNet） - 用于圖像分類的多級殘差網(wǎng)絡(luò)】或長按下方地址訪問：
https://ai.yanxishe.com/page/TextTranslation/1526
Python中文書籍大集合
100本Python中文電子書，6份源代碼，Python從入門到出家，一條龍服務(wù)。
包含Python基礎(chǔ)、進(jìn)階、爬蟲、算法實(shí)現(xiàn)、深度學(xué)習(xí)、TensorFlow、NLP等等
友情提示：文件大小為2.89GB，慎用流量下載，可以先收藏喲~~！
點(diǎn)擊鏈接即可獲?。?a target="_blank" rel=nofollow>https://ai.yanxishe.com/page/resourceDetail/676
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
