Computer Vision 雜志對(duì)何愷明 Rethinking ImageNet Pre-training 的最新評(píng)論

本文作者： MrBear

編輯：汪思穎

2019-02-02 23:07

導(dǎo)語(yǔ)：愷明大帝出品，必屬精品！預(yù)訓(xùn)練+調(diào)優(yōu)的訓(xùn)練范式將被終結(jié)？

雷鋒網(wǎng) AI 科技評(píng)論按，2018 年 11 月，何愷明在 arxiv 上提交論文「Rethinking ImageNet Pre-training」，這篇論文由他與 Ross Girshick，Piotr Dollar 合作，系統(tǒng)地對(duì)預(yù)訓(xùn)練模型是不是必須的問(wèn)題進(jìn)行了研究，在坊間引起諸多討論。兩個(gè)多月過(guò)去，Computer Vision News 也對(duì)這篇文章開(kāi)始了一輪 review，全面且系統(tǒng)地介紹了這篇 paper 中的研究方法、創(chuàng)新點(diǎn)、實(shí)驗(yàn)結(jié)果等諸多關(guān)鍵點(diǎn)，雷鋒網(wǎng) AI 科技評(píng)論將這篇 review 整理如下，以饗讀者。

「Rethinking ImageNet Pre-training」這篇驚艷的論文向我們展示了：使用從隨機(jī)初始化的狀態(tài)開(kāi)始訓(xùn)練的標(biāo)準(zhǔn)模型在 COCO 數(shù)據(jù)集上也可以在目標(biāo)檢測(cè)和實(shí)例分割任務(wù)中取得十分出色的結(jié)果，其結(jié)果可以與使用 ImageNet 預(yù)訓(xùn)練的模型所得到的結(jié)果相媲美。研究人員驚奇地發(fā)現(xiàn)，使用隨機(jī)初始化的模型具有很強(qiáng)的魯棒性。在以下三種情況下，模型的結(jié)果仍然能保持在比較高的水平上：（1）即使僅僅使用 10% 的訓(xùn)練數(shù)據(jù)，（2）使用更深和更寬的模型，（3）處理多任務(wù)并使用多種評(píng)價(jià)指標(biāo)。

實(shí)驗(yàn)表明，使用 ImageNet 預(yù)訓(xùn)練可以在訓(xùn)練早期加速收斂，但不一定能起到正則化的作用或提高模型在最終的目標(biāo)任務(wù)上的準(zhǔn)確率。

引言

從 RCNN 驚天出世開(kāi)始，在早期的將深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)的任務(wù)中，使用在 ImageNet 數(shù)據(jù)集上為圖像分類(lèi)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，然后再在數(shù)據(jù)集上進(jìn)行調(diào)優(yōu)，這取得了許多突破。受到這些結(jié)果的啟發(fā)，目前大多數(shù)用于目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)和許多其它的計(jì)算機(jī)視覺(jué)算法都遵循「先使用預(yù)訓(xùn)練初始化，再進(jìn)行調(diào)優(yōu)」的訓(xùn)練范式。學(xué)界最近發(fā)表的一些論文在大小相當(dāng)于 6-3000 倍 ImageNet 的數(shù)據(jù)集（JTF 為 6 倍，ImageNet-5k 為 300 倍，Instagram 為 3000 倍）上進(jìn)行了預(yù)訓(xùn)練，從而又進(jìn)一步推廣了這樣的訓(xùn)練范式。盡管這種范式在圖像分類(lèi)訓(xùn)練中展現(xiàn)出了相當(dāng)大的性能提升，但它在目標(biāo)檢測(cè)任務(wù)中卻收效甚微（提升大約能達(dá)到 1.5%）。而相對(duì)于預(yù)訓(xùn)練的數(shù)據(jù)集，目標(biāo)檢測(cè)任務(wù)的數(shù)據(jù)集越大，這種提升就越小。

研究方法和創(chuàng)新點(diǎn)

在本文中，作者說(shuō)明了：

1. 盡管使用 ImageNet 進(jìn)行預(yù)訓(xùn)練可以加速模型訓(xùn)練收斂速度，在給定充足的訓(xùn)練時(shí)間的情況下，從頭開(kāi)始訓(xùn)練的模型也可以得到與前者相當(dāng)?shù)臏?zhǔn)確率。請(qǐng)注意，在從頭開(kāi)始訓(xùn)練的過(guò)程中，網(wǎng)絡(luò)必然會(huì)學(xué)到在預(yù)訓(xùn)練過(guò)程中通常會(huì)學(xué)到的低級(jí)和中級(jí)特征（如邊緣、紋理等特征）。

2. 當(dāng)我們認(rèn)為預(yù)訓(xùn)練的訓(xùn)練范式更加高效時(shí)，我們往往并沒(méi)有考慮到預(yù)訓(xùn)練所需要的時(shí)間。

3. 本文作者說(shuō)明了：如果我們謹(jǐn)慎地選取超參數(shù)從而克服過(guò)擬合，那么，從隨機(jī)初始化的狀態(tài)開(kāi)始在僅僅 10% 的 COCO 數(shù)據(jù)集上進(jìn)行訓(xùn)練可以得到與使用預(yù)訓(xùn)練參數(shù)進(jìn)行初始化的訓(xùn)練過(guò)程旗鼓相當(dāng)?shù)慕Y(jié)果。在使用與預(yù)訓(xùn)練的網(wǎng)絡(luò)相同的超參數(shù)設(shè)置的情況下，即使在僅僅 10% 的數(shù)據(jù)集上進(jìn)行訓(xùn)練，隨機(jī)初始化的訓(xùn)練也能得到幾乎相同的結(jié)果。

4. 當(dāng)目標(biāo)任務(wù)/評(píng)價(jià)指標(biāo)對(duì)于局部的空間信息更敏感時(shí)，在 ImageNet 上進(jìn)行預(yù)訓(xùn)練幾乎沒(méi)有作用。

對(duì)于目前最先進(jìn)的工作來(lái)說(shuō)，本文得到的結(jié)果是十分令人驚訝的，它們會(huì)對(duì)「使用 ImageNet 進(jìn)行預(yù)訓(xùn)練的訓(xùn)練范式究竟有多大影響」提出挑戰(zhàn)。使用 ImageNet 預(yù)訓(xùn)練的范式在目前以及在未來(lái)的一段時(shí)間內(nèi)將仍然繼續(xù)成為從業(yè)人員的首選方案，特別是在以下兩種情況下：（1）當(dāng)開(kāi)發(fā)者擁有的用于在其目標(biāo)任務(wù)中從頭開(kāi)始訓(xùn)練的數(shù)據(jù)和計(jì)算資源不足時(shí)；（2）得益于前人所做的標(biāo)注工作、以及使用 ImageNet 預(yù)訓(xùn)練過(guò)的模型較為容易獲得，ImageNet 預(yù)訓(xùn)練被廣泛認(rèn)為是一種「免費(fèi)開(kāi)放」的資源。

模型實(shí)現(xiàn)

接下來(lái)，讓我們研究一下本文的工作所使用的網(wǎng)絡(luò)框架、學(xué)習(xí)率、優(yōu)化和歸一化方法以及超參數(shù)設(shè)置：

網(wǎng)絡(luò)架構(gòu)：

本文研究了使用 ResNet 的 Mask R-CNN、ResNeXt+ 特征金字塔網(wǎng)絡(luò)（FPN）主干架構(gòu)。

歸一化方法：

那些人們通常在訓(xùn)練標(biāo)準(zhǔn)的預(yù)訓(xùn)練網(wǎng)絡(luò)時(shí)所使用的歸一化方法往往并不太適用于檢測(cè)和分割任務(wù)的訓(xùn)練，因?yàn)檫@些歸一化方法需要載入大量的訓(xùn)練數(shù)據(jù)（分辨率非常高的圖像，并且為每個(gè)像素都打上了標(biāo)簽）。這將導(dǎo)致我們?cè)诿恳慌兄荒芴幚頂?shù)量非常有限的圖像（因?yàn)轱@存有限），從而使正則化非常困難。而我們通過(guò)調(diào)優(yōu)范式網(wǎng)絡(luò)可以避免這種困難，它能利用預(yù)訓(xùn)練時(shí)學(xué)到的歸一化參數(shù)。

在從隨機(jī)初始化狀態(tài)開(kāi)始訓(xùn)練的檢測(cè)和分割任務(wù)中，作者采用了以下兩種歸一化方法：

1.群組歸一化（GN）：執(zhí)行獨(dú)立于批維度的計(jì)算，其準(zhǔn)確率對(duì)批大小不敏感。

2.同步批量歸一化（SyncBN）：是批量歸一化的一種實(shí)現(xiàn)方式，它通過(guò)使用多個(gè) GPU 運(yùn)算提升了批量歸一化（BN）時(shí)有效批處理的規(guī)模。

注：群組歸一化（GN）也是本文作者何愷明于 2018 年發(fā)表的一份工作（https://arxiv.org/abs/1803.08494）。

學(xué)習(xí)率：

學(xué)習(xí)率的更新策略是，學(xué)習(xí)率更新策略是在最后 60k 迭代中將學(xué)習(xí)率降低 10 倍。在最后的 20k 次迭代中再降低 10 倍。作者指出，沒(méi)有必要在訓(xùn)練結(jié)束前更早地降低學(xué)習(xí)率，也沒(méi)有必要長(zhǎng)時(shí)間以較低的學(xué)習(xí)率進(jìn)行訓(xùn)練，這只會(huì)導(dǎo)致過(guò)擬合。

超參數(shù)：

所有其它（學(xué)習(xí)率之外的）超參數(shù)都遵循 Detectron 中的超參數(shù)。具體而言，初始學(xué)習(xí)率是 0.02（使用線性的熱啟動(dòng)操作，https://arxiv.org/abs/1706.02677）。權(quán)重衰減為 0.0001，動(dòng)量衰減為 0.9。所有的模型都在 8 個(gè) GPU 上使用同步的隨機(jī)梯度下降進(jìn)行訓(xùn)練，每個(gè) GPU 的 Mini-batch 的規(guī)模為 2 張圖像。根據(jù) Detectron 的默認(rèn)設(shè)置，Mask R-CNN 在測(cè)試不使用數(shù)據(jù)增強(qiáng)技術(shù)，僅僅訓(xùn)練中使用水平翻轉(zhuǎn)增強(qiáng)。在較短的邊上，圖像的尺寸是 800 個(gè)像素點(diǎn)。

實(shí)驗(yàn)結(jié)果

實(shí)際上，從下圖中可以看出，在給定充足的數(shù)據(jù)的情況下，任何網(wǎng)絡(luò)都可以被訓(xùn)練到較好的狀態(tài)。亮藍(lán)色的橫條代表用于 ImageNet 預(yù)訓(xùn)練的數(shù)據(jù)量，深藍(lán)色的橫條代表調(diào)優(yōu)所使用的數(shù)據(jù)量，紫色的橫條代表從頭開(kāi)始訓(xùn)練所使用的數(shù)據(jù)量。最上方的一欄橫條代表的是用于訓(xùn)練的訓(xùn)練過(guò)的圖像數(shù)量；中間一欄代表物體的數(shù)量（每個(gè)圖像中可能包含不止一個(gè)物體）；最下面的紫色橫條代表所處理的所有像素點(diǎn)的數(shù)量（不同的數(shù)據(jù)集中的圖像規(guī)模差別很大），我們可以將其換算為數(shù)據(jù)的體量。讀者可以從最下方的一欄中的紫色橫條中看出，整體而言，網(wǎng)絡(luò)處理的經(jīng)過(guò)了預(yù)訓(xùn)練再進(jìn)行調(diào)優(yōu)的數(shù)據(jù)量和從頭開(kāi)始訓(xùn)練（隨機(jī)初始化）處理的數(shù)據(jù)量是相當(dāng)?shù)摹?nbsp;