盤點圖像分類的竅門

本文作者： AI研習(xí)社-譯站

2019-02-13 11:09

導(dǎo)語：你最近一次了解到深度學(xué)習(xí)理論百分百與實際驗證相匹配是什么時候？

盤點圖像分類的竅門

本文為 AI 研習(xí)社編譯的技術(shù)博客，原標題：
A Bag of Tricks for Image Classification
作者 | George Seif
翻譯 | dongburen、老趙
校對 | 鄧普斯?杰弗審核| 醬番梨整理 | 菠蘿妹
原文鏈接：
https://towardsdatascience.com/a-big-of-tricks-for-image-classification-fec41eb28e01

盤點圖像分類的竅門

你最近一次了解到深度學(xué)習(xí)理論百分百與實際驗證相匹配是什么時候？這種情況很少發(fā)生。研究論文闡明的是一種情況，但實際生活中的結(jié)果卻與之有所不同。

這不完全是研究論文的問題。實驗是科學(xué)研究的重點，基于特定的環(huán)境，特定數(shù)據(jù)集，我們得到相應(yīng)結(jié)果。一旦你在實際中應(yīng)用這些模型，處理噪聲和野生數(shù)據(jù)的挑戰(zhàn)就必須考慮。理論并不是經(jīng)常和現(xiàn)實世界中所發(fā)生的完全契合，但理論確實提供了一個基準。

那么造成理論和實際之間差距的原因是什么——現(xiàn)實生活中沒有足夠多的新數(shù)據(jù)。主要的區(qū)別來自于深度學(xué)習(xí)專家為了提供額外性能提升處理模型所使用的''技巧''。你可以通過對模型進行大量實驗，或者只是從已擁有模型的人那里學(xué)習(xí)得到這些均衡模型性能的隱藏技巧。來自亞馬遜研究團隊的最新研究定量指出對同一模型使用這些處理技巧最大可得到4%的準確度性能提升。

在本文中，你會了解到專家對其深度學(xué)習(xí)模型提升額外性能的處理技巧。我將為你提供在實際應(yīng)用設(shè)置中使用這些技巧的觀察點。

大批量尺寸

在理論中，一個較大的mini-batch尺寸有助于網(wǎng)絡(luò)收斂到較好的最小值，最終得到較好的準確性。由于GPU內(nèi)存的原因，人們經(jīng)常會在這里受阻，因為消費者最大能買到的GPU高達12GB(對于Titan X)和16GB云端(對于V100)。我們有兩種方法可以應(yīng)對這一挑戰(zhàn)：

(1).分布訓(xùn)練：將訓(xùn)練數(shù)據(jù)劃分到多塊GPU上。在每個訓(xùn)練階段，會將批拆分到空閑的GPU。舉例來說，假設(shè)你有批尺寸為8的圖像和8個GPU，然后每個GPU處理一副圖像。你可以將各自最終的梯度和輸出分別結(jié)合起來。你確實從GPU之間的數(shù)據(jù)傳輸中花費了輕微的代價，但仍然可以通過并行處理獲得大幅速度提升。許多開源的深度學(xué)習(xí)庫(包括Keras)都支持這個函數(shù)。

(2).在訓(xùn)練中改變批和圖像尺寸：大量研究論文報告大批量廣泛使用的部分原因是許多標準研究數(shù)據(jù)集的圖像尺寸都不是很大。例如，在ImageNet上訓(xùn)練網(wǎng)絡(luò)時，大多數(shù)最先進的網(wǎng)絡(luò)都使用了像素在200p到350p之間的圖像; 當然如此小圖像尺寸可以使用大批量！實際上，由于目前的照相技術(shù)，我們大多數(shù)都在處理1080p或與1080p相差不大的圖像。

為了克服這點小困難，你可以小圖像大批量開始訓(xùn)練。通過降采樣訓(xùn)練圖像得到。然后，你可以將更多的它們組合成一個批次。使用大批量+小圖像，你應(yīng)該能得到一些不錯的結(jié)果。為了完成網(wǎng)絡(luò)訓(xùn)練，使用較小的學(xué)習(xí)速率和較小批量的大圖像對網(wǎng)絡(luò)進行微調(diào)。這有助于網(wǎng)絡(luò)重新適應(yīng)高分辨率，并且低學(xué)習(xí)速率使網(wǎng)絡(luò)不會跳離從大批量發(fā)現(xiàn)的良好最小值。因此，你的網(wǎng)絡(luò)可以從大批量訓(xùn)練中獲得最佳效果，并且可以很好地處理來自微調(diào)的高分辨率圖像。

盤點圖像分類的竅門

大型小批量訓(xùn)練對物體探測器的影響

模型微調(diào)

研究報告并不總能告訴你全部情況。作者通常會在論文中給出他們的官方代碼鏈接，這是一個學(xué)習(xí)算法比論文本身更好的資源!當您閱讀代碼時，您可能會發(fā)現(xiàn)他們遺漏了一些小的模型細節(jié)，而這些細節(jié)實際上造成了很大的準確性差異。

我鼓勵大家看一下研究論文的官方代碼，這樣你就可以看到研究人員用來獲得結(jié)果的確切代碼。這樣做還可以為您提供一個很好的模板，以便您可以快速地進行自己的小調(diào)整和修改，以查看它們是否改進了模型。探索一些模型的公開的二次實現(xiàn)也是很有幫助的，因為這些模型可能包含其他人已經(jīng)試驗過的代碼，這些代碼最終在原始模型的基礎(chǔ)上得到了改進?？纯聪旅娴腞esNet架構(gòu)，以及在一些公共代碼中發(fā)現(xiàn)的3處更改。它們看起來很小，但是每一個都在運行時幾乎沒有變化的情況下提高了不可忽略的準確性;ResNet-D在Top-1準確率上整整提高了1%。

ResNet-50的原始結(jié)構(gòu)

ResNet-50的改進和提高版本

訓(xùn)練方法改進

根據(jù)實際的應(yīng)用和研究團隊設(shè)置訓(xùn)練的不同，深度網(wǎng)絡(luò)的訓(xùn)練方式往往不盡相同。知道如何正確地訓(xùn)練神經(jīng)網(wǎng)絡(luò)可以讓你的準確率提高3-4%。這種技能，既需要來自于對深度網(wǎng)絡(luò)的了解，也來自于一些簡單的實踐。

不幸的是，大多數(shù)人不太重視訓(xùn)練，并期望網(wǎng)絡(luò)神奇地給他們帶來很棒的結(jié)果。

請注意在最新研究中使用的具體訓(xùn)練策略。你會經(jīng)?？吹剿麄冎械拇蠖鄶?shù)不會僅僅默認為一個單一的學(xué)習(xí)率，而是使用像Adam或RMSProp這樣的自適應(yīng)方法采用動態(tài)的學(xué)習(xí)率。他們使用諸如熱身訓(xùn)練、速率衰減和優(yōu)化方法的組合來獲得他們可能達到的最高準確率。

下面是我個人最喜歡的方法。

Adam optimiser非常容易使用，而且它可以自動得到適合的學(xué)習(xí)率。另一方面，SGD通常會比Adam提高1-2%，但是很難調(diào)參。那么，從Adam開始:只要設(shè)置一個學(xué)習(xí)速率，它不是高得離譜的，通常默認值是0.0001，你通常會得到一些非常好的結(jié)果。然后，一旦您的模型使用Adam效果達到極限，就可以用SGD從較小的學(xué)習(xí)率開始進行微調(diào)，以實現(xiàn)準確率最后的提升!

遷移學(xué)習(xí)

除非你在做前沿研究，試圖打最先進的基礎(chǔ)技術(shù)，否則轉(zhuǎn)移學(xué)習(xí)應(yīng)該是默認的實際的方法。從頭開始對新數(shù)據(jù)進行網(wǎng)絡(luò)培訓(xùn)是具有挑戰(zhàn)性、耗時，有時還需要一些額外的領(lǐng)域?qū)＜也拍苷嬲龊谩?nbsp;

遷移學(xué)習(xí)提供了一種既能加速訓(xùn)練又能提高準確性的簡單方法。大量的研究和實踐證據(jù)一致表明，遷移學(xué)習(xí)使模型比從頭開始的訓(xùn)練更容易訓(xùn)練，并提高了準確性。它將完全簡化事情，使您更容易獲得一些不錯的基線結(jié)果。

一般來說，具有更高準確率的模型(相對于同一數(shù)據(jù)集上的其他模型)將更有利于轉(zhuǎn)移學(xué)習(xí)，并獲得更好的最終結(jié)果。唯一需要注意的事情是，要根據(jù)你的目標任務(wù)選擇相關(guān)的網(wǎng)絡(luò)進行轉(zhuǎn)移學(xué)習(xí)。例如，在醫(yī)學(xué)成像數(shù)據(jù)集上使用一個為自動駕駛汽車預(yù)先培訓(xùn)的網(wǎng)絡(luò)不是一個好主意;由于數(shù)據(jù)本身是非常不同的，所以域之間存在巨大的差異。你最好從頭開始訓(xùn)練，不要在開始的時候就帶來數(shù)據(jù)的偏差，因為帶來偏差的數(shù)據(jù)和醫(yī)療影像完全不同。

盤點圖像分類的竅門

遷移學(xué)習(xí)的主要思想

精選的數(shù)據(jù)增強

數(shù)據(jù)增強是另外一種大幅提高準確率的方法。大部分人只關(guān)注經(jīng)典的旋轉(zhuǎn)和裁切，這樣也可以。如果你有時間去等待在這些額外的圖像訓(xùn)練的時間，他們可以潛在的給你額外的幾個百分點的準確率的提高，而且無需增加訓(xùn)練時間。

但是最先進的方法不僅如此。

一旦你開始開始更深入的研究，你會發(fā)現(xiàn)更多先進的數(shù)據(jù)增強方法，這些方法可以給深度神經(jīng)網(wǎng)絡(luò)帶來最后的提高。縮放，比如圖像乘以圖像像素的顏色或者亮度的值，可以使訓(xùn)練圖像比原始圖像更廣泛的暴露在訓(xùn)練網(wǎng)絡(luò)。它有助于解釋這些變化，特別是，根據(jù)房間或天氣的不同光照條件，這些在現(xiàn)實世界中變化非常頻繁。

另外一個技巧，裁剪正則化（Cutout Regularisation），在最新的ImageNet上廣泛應(yīng)用。盡管名為裁剪（cutout），但它實際上可以看作是采取遮擋的方式進行數(shù)據(jù)增強。在現(xiàn)實世界的應(yīng)用中，遮擋是一個非常常見的挑戰(zhàn)，尤其是在機器人和自動駕駛汽車的熱門計算機視覺領(lǐng)域。通過對訓(xùn)練數(shù)據(jù)應(yīng)用某種形式的遮擋，我們可以有效地調(diào)整我們的網(wǎng)絡(luò)，使其更加具有魯棒性。

盤點圖像分類的竅門