0
| 本文作者： 我在思考中 | 2022-04-27 10:29 |
編譯 | OGAI
自監(jiān)督學(xué)習(xí)旨在消除表示學(xué)習(xí)對人工標注的需求，我們希望自監(jiān)督學(xué)習(xí)利用自然場景下的數(shù)據(jù)學(xué)習(xí)表征，即不需要有限的和靜態(tài)的數(shù)據(jù)集。真正的自監(jiān)督算法應(yīng)該能夠利用互聯(lián)網(wǎng)上產(chǎn)生的連續(xù)數(shù)據(jù)流，或者利用智能體在探索其環(huán)境時產(chǎn)生的數(shù)據(jù)流。
但是傳統(tǒng)的自監(jiān)督學(xué)習(xí)方法在這種情況下有效嗎？在本文中，我們通過實驗對「連續(xù)自監(jiān)督學(xué)習(xí)」問題展開了研究。在自然場景下學(xué)習(xí)時，我們希望使用連續(xù)（無限）的非獨立同分布數(shù)據(jù)流，它遵循視覺概念的非平穩(wěn)分布。我們的目標是在不遺忘過去看到的概念的條件下，學(xué)習(xí)一種魯棒、自適應(yīng)的表征。
本文指出，直接將現(xiàn)有的方法應(yīng)用于這種連續(xù)學(xué)習(xí)的設(shè)定存在以下問題：（1）計算效率低下、數(shù)據(jù)利用率低（2）在一些流數(shù)據(jù)源中，時間相關(guān)性（數(shù)據(jù)非獨立同分布）導(dǎo)致表征較差（3）在具有非平穩(wěn)數(shù)據(jù)分布的數(shù)據(jù)源上進行訓(xùn)練時，展現(xiàn)出災(zāi)難性遺忘的跡象。我們作者提出使用回放緩沖區(qū)（replay buffer）來緩解低效和時間相關(guān)性問題。我們進一步提出了一種新的方法，通過保留最少的冗余樣本來增強回放緩沖區(qū)。最小冗余（MinRed）緩沖區(qū)讓我們即使是在由單個具身智能體獲得的序列化視覺數(shù)據(jù)組成的最具挑戰(zhàn)性的流場景中，也可以學(xué)習(xí)到有效的表征，并緩解利用非平穩(wěn)語義分布的數(shù)據(jù)學(xué)習(xí)時的災(zāi)難性遺忘問題。
計算機視覺領(lǐng)域正經(jīng)歷著從「監(jiān)督學(xué)習(xí)」到「自監(jiān)督學(xué)習(xí)」的范式轉(zhuǎn)換。在自監(jiān)督學(xué)習(xí)場景下，由于我們不再受制于手動數(shù)據(jù)標注的成本，可以釋放數(shù)據(jù)的真正潛能。近年來，一些工作開始將現(xiàn)有的方法拓展到包含超過 10 億張圖片的超大規(guī)模數(shù)據(jù)集上，從而希望學(xué)習(xí)到更好的表征。那么，我們是否準備好在自然場景下部署自監(jiān)督學(xué)習(xí)，從而利用無限的數(shù)據(jù)的全部潛力呢？
圖注：傳統(tǒng)自監(jiān)督學(xué)習(xí)與持續(xù)自監(jiān)督學(xué)習(xí)對比。傳統(tǒng)自監(jiān)督學(xué)習(xí)設(shè)定下，數(shù)據(jù)集是固定的。而自然場景下持續(xù)收集到的數(shù)據(jù)是無限、非獨立同分布、具有非平穩(wěn)語義的。因此，傳統(tǒng)設(shè)定很難作為自然場景下部署的自監(jiān)督學(xué)習(xí)的對比基準。
盡管自監(jiān)督學(xué)習(xí)有望利用互聯(lián)網(wǎng)或機器人智能體生成的無限數(shù)據(jù)流，但當(dāng)下的自監(jiān)督學(xué)習(xí)方法仍然依賴于傳統(tǒng)的數(shù)據(jù)集設(shè)置。我們采用積累的圖像和視頻創(chuàng)建訓(xùn)練語料庫，然后利用數(shù)百個經(jīng)過打亂的數(shù)據(jù)遍歷優(yōu)化模型。使用數(shù)據(jù)集的主要是為了復(fù)現(xiàn)基準測試。然而，這種傳統(tǒng)的靜態(tài)學(xué)習(xí)設(shè)置適用于作為自監(jiān)督學(xué)習(xí)的基準測試嗎？這種設(shè)置是否準確地反映了在自然場景下部署的自監(jiān)督系統(tǒng)所面臨的挑戰(zhàn)？
答案是否定的。例如，考慮一個這樣的自監(jiān)督的系統(tǒng)，它試圖學(xué)習(xí)網(wǎng)絡(luò)多年積累下來的汽車的表征。目前的實驗設(shè)定只評估靜態(tài)學(xué)習(xí)，而不評估模型在不忘記舊車型的情況下適應(yīng)新車型的表征的能力。此外，部署的機器人自監(jiān)督學(xué)習(xí)智能體主動地從輸入的視頻中獲取幀數(shù)據(jù)。由于時間是連貫的，這些數(shù)據(jù)具有很強的結(jié)構(gòu)性和相關(guān)性。然而，由于現(xiàn)有的自監(jiān)督基準測試依賴于通過隨機抽樣產(chǎn)生獨立同分布樣本的數(shù)據(jù)集，它們并沒有反映這一挑戰(zhàn)。
在本文中，我們超脫于數(shù)據(jù)驅(qū)動的自監(jiān)督學(xué)習(xí)，進而研究現(xiàn)有的持續(xù)自監(jiān)督學(xué)習(xí)方法的性能。具體而言，我們探討了兩種部署的方法面臨的挑戰(zhàn)：（1）基于互聯(lián)網(wǎng)的自監(jiān)督模型，依賴于持續(xù)獲得的圖像/視頻數(shù)據(jù)；（2）基于智能體的自監(jiān)督系統(tǒng)，直接根據(jù)智能體傳感器數(shù)據(jù)學(xué)習(xí)。以上兩種方式都依賴于持續(xù)生成新數(shù)據(jù)的流數(shù)據(jù)源，為自監(jiān)督學(xué)習(xí)基準測試帶來了以下三個獨特的挑戰(zhàn)：
（1）存儲無限數(shù)量的數(shù)據(jù)是不可行的。由于帶寬或傳感器速度的限制，在自然場景下獲取數(shù)據(jù)通常要耗費一定時間。因此，我們不可能進行逐 Epoch 的訓(xùn)練。傳統(tǒng)的自監(jiān)督學(xué)習(xí)方式每次使用一個樣本，學(xué)習(xí)器的效率較低，經(jīng)常需要等待可用的數(shù)據(jù)，未充分利用處理的數(shù)據(jù)。一些研究人員依靠回放緩沖區(qū)從訓(xùn)練過程中解耦出數(shù)據(jù)采集工作。那么，在采集數(shù)據(jù)同時使表征持續(xù)提升的情況下，回放機制有多大的效果？
（2）不能「打亂」流數(shù)據(jù)源從而創(chuàng)建獨立同分布樣本的 mini-batch。相反，樣本的順序是由數(shù)據(jù)源本身決定的。訓(xùn)練數(shù)據(jù)不一定滿足獨立同分布要求，這對傳統(tǒng)的表示學(xué)習(xí)方法帶來了挑戰(zhàn)。那么，如何讓現(xiàn)有的自監(jiān)督方法，從而在各種非獨立同分布條件下學(xué)習(xí)到魯棒的表征？
（3）真實世界的數(shù)據(jù)是非平穩(wěn)的。例如，在世界杯期間，人們會看到更多與足球相關(guān)的圖片。此外，探索室內(nèi)環(huán)境的機器人會觀察到根據(jù)時間聚類的語義分布。智能的終身學(xué)習(xí)系統(tǒng)應(yīng)該能夠不斷地學(xué)習(xí)新概念，同時不忘記來自非平穩(wěn)數(shù)據(jù)分布的舊概念。然而，經(jīng)驗表明，傳統(tǒng)的對比學(xué)習(xí)方法可以使表征對當(dāng)前的布過擬合，產(chǎn)生遺忘現(xiàn)象。那么，我們應(yīng)該如何設(shè)計可以在非平穩(wěn)條件下學(xué)習(xí)的自監(jiān)督學(xué)習(xí)方法？
本文的主要貢獻包括：確定了在持續(xù)自監(jiān)督學(xué)習(xí)設(shè)定下出現(xiàn)的三個關(guān)鍵挑戰(zhàn)——即訓(xùn)練效率、對非獨立同分布數(shù)據(jù)流的魯棒性和非平穩(wěn)語義分布下的學(xué)習(xí)。我們都構(gòu)建了針對性的數(shù)據(jù)流來模擬每項挑戰(zhàn)，定量地展示了現(xiàn)有自監(jiān)督學(xué)習(xí)方法的缺點，提出了這些問題的初步解決方案。我們探索了緩沖自監(jiān)督學(xué)習(xí)（Buffered SSL）的思想，它用回放緩沖區(qū)來增強現(xiàn)有的方法，以提高訓(xùn)練效率。其次，我們通過去除存儲樣本的相關(guān)性，提出了一種新方法來處理非獨立同分布數(shù)據(jù)流。我們說明了，在非平穩(wěn)數(shù)據(jù)分布下，去相關(guān)緩沖可以防止遺忘，并改善持續(xù)學(xué)習(xí)。
首先，無線數(shù)據(jù)流中的樣本無法重復(fù)，我們使用回放緩沖區(qū)增強現(xiàn)有的自監(jiān)督學(xué)習(xí)方法，顯著緩解了該問題。其次，持續(xù)從自然場景下收集的數(shù)據(jù)往往在時間上是相關(guān)的，不滿足優(yōu)化算法的獨立同分布假設(shè)。我們通過增強回放緩沖區(qū)來保留最低限度的冗余樣本（MinRed），從而生成相關(guān)性較低的數(shù)據(jù)。最后，在自然場景下收集到數(shù)據(jù)的于一分部是非平穩(wěn)的，模型可能會「遺忘」在過去的分布中看到的概念。MinRed 緩沖區(qū)可以通過從各種語義類中收集獨特的樣本緩解「遺忘」問題。
現(xiàn)有的自監(jiān)督學(xué)習(xí)方法依賴于固定大小的數(shù)據(jù)集。這些數(shù)據(jù)集是有限、不可變、現(xiàn)成可用的。因此，我們可以對樣本進行編號、打亂其順序，在訓(xùn)練的所有節(jié)點上都可以獲取樣本。傳統(tǒng)的自監(jiān)督學(xué)習(xí)通過在數(shù)據(jù)集上進行多個 Epoch 的訓(xùn)練來利用這些特性的優(yōu)勢。
相較之下，持續(xù)自監(jiān)督學(xué)習(xí)依賴于流數(shù)據(jù)源 S，即無標簽傳感器數(shù)據(jù)的時間序列
，該序列的長度可能是無限的。在給定的任意時間點 t 上，從流數(shù)據(jù)源 S 中抓取數(shù)據(jù)會產(chǎn)生當(dāng)前的樣本，此時無法獲取未來的樣本。只有在過去抓取時保存下來的樣本才能被再次訪問。
在持續(xù)自監(jiān)督學(xué)習(xí)設(shè)定下，數(shù)據(jù)加載時間和執(zhí)行每個優(yōu)化步所需的時間之比是很重要的參數(shù)。在大多數(shù)情況下，由于數(shù)據(jù)架子速度較慢、傳感器幀率較低，即使使用并行化技術(shù)，優(yōu)化算法仍然需要等待數(shù)據(jù)加載。因此，持續(xù)自監(jiān)督學(xué)習(xí)方法需要在使用流數(shù)據(jù)源中獲得的樣本進行訓(xùn)練的情況下，高效、持續(xù)地構(gòu)建更好的表征。
持續(xù)自監(jiān)督學(xué)習(xí)有何優(yōu)勢？
擴增獨特圖像的數(shù)量是否有助于表示學(xué)習(xí)？
為了理解增長訓(xùn)練數(shù)據(jù)的規(guī)模的作用，我們?yōu)樗性?2008 年至 2021 年間上傳至圖片分享網(wǎng)站 Flickr.com 的帶有知識共享標簽的圖像賦予編號。接著，我們使用該編號創(chuàng)建了各種規(guī)模的數(shù)據(jù)集，通過多倫傳統(tǒng)自監(jiān)督學(xué)習(xí)方法訓(xùn)練視覺表征。我們采用了代表性的對比學(xué)習(xí)方法 SimSiam，它通過優(yōu)化增強不變性損失來學(xué)習(xí)表征：
其中，和是對于圖像的兩種隨機變化,為模型輸出的表征，sg 為停止梯度，g 為預(yù)測頭。
圖注：使用 ResNet-18 主干網(wǎng)絡(luò)在不同規(guī)模的數(shù)據(jù)集上訓(xùn)練的 SimSiam 模型在 ImageNet 分類下游任務(wù)中的準確率。
如上圖所示，使用更多元化的數(shù)據(jù)訓(xùn)練可以得到更好的表征，說明擴展獨特圖像的規(guī)模是有利的，而持續(xù)自監(jiān)督學(xué)習(xí)可以將這一特性發(fā)揮到極致。
在持續(xù)自監(jiān)督學(xué)習(xí)設(shè)定下學(xué)習(xí)表征帶來了一些傳統(tǒng)自監(jiān)督學(xué)習(xí)方法不存在挑戰(zhàn)：
（1）多輪訓(xùn)練 vs 單趟訓(xùn)練。在使用流數(shù)據(jù)源時，我們無法重新訪問沒有儲存的過去獲得的樣本。流數(shù)據(jù)的長度可能是無限的，將完整的流數(shù)據(jù)存儲下來并不可行，連續(xù)自監(jiān)督方法需要通過在樣本上「單趟」訓(xùn)練的方式學(xué)習(xí)表征。
（2）采樣效率。由于傳感器幀頻或帶寬的限制，在現(xiàn)實世界中從流數(shù)據(jù)源中采樣可能十分低效。由于優(yōu)化算法可能在等待數(shù)據(jù)時處于空閑狀態(tài)，學(xué)習(xí)表征所需的時間會顯著增加。
（3）相關(guān)樣本。許多自然場景下的流數(shù)據(jù)源存在時間相關(guān)性。例如，來自在線視頻或機器人探索環(huán)境的連續(xù)幀會展現(xiàn)出微小的變化。這種相關(guān)性打破了傳統(tǒng)優(yōu)化算法所依賴的獨立同分布假設(shè)。
（4）終身學(xué)習(xí)。使用無限的數(shù)據(jù)流讓我們可能不斷改進視覺表征。然而，自然場景下非平穩(wěn)的數(shù)據(jù)流會導(dǎo)致自監(jiān)督學(xué)習(xí)方法很快遺忘不再與當(dāng)前分布相關(guān)的特征。隨著我們不斷獲取新數(shù)據(jù)，持續(xù)自監(jiān)督學(xué)習(xí)方法如何在不遺忘之前學(xué)到的概念的情況下將新概念集成到表征中？
上述挑戰(zhàn)同時存在于自然場景下，直接評估當(dāng)前的自監(jiān)督學(xué)習(xí)方法會使我們無法全面、單獨地分析每一項挑戰(zhàn)。因此，我們通過設(shè)計一組分別突出各項挑戰(zhàn)的數(shù)據(jù)流，評估其對現(xiàn)有自監(jiān)督學(xué)習(xí)方法的影響。
計算效率和數(shù)據(jù)效率是目前阻礙自監(jiān)督學(xué)習(xí)在自然場景下的連續(xù)數(shù)據(jù)流上部署的兩大挑戰(zhàn)。對于大多數(shù)實際應(yīng)用來說，可能很高，因此自監(jiān)督學(xué)習(xí)方法應(yīng)該更好地利用空閑時間來改進模型。其次，獲取新樣本的成本仍然很高。簡單地將現(xiàn)有的自監(jiān)督學(xué)習(xí)方法部署到流數(shù)據(jù)設(shè)定下會在使用一次后就丟棄每批數(shù)據(jù)。然而，目前的深度學(xué)習(xí)優(yōu)化實踐表明，在多個 epoch 中迭代地訓(xùn)練相同的樣本有助于學(xué)習(xí)到更好的表征。
緩沖自監(jiān)督學(xué)習(xí)
圖注：緩沖自監(jiān)督學(xué)習(xí)引入了回放緩沖區(qū)，使模型即使在有限的帶寬設(shè)定下仍然能持續(xù)訓(xùn)練。
為了在流數(shù)據(jù)設(shè)定下提升數(shù)據(jù)效率，我們維護了一個固定大小的回放緩沖區(qū)，存儲少量最近的樣本。這個想法的靈感來自常被用于強化學(xué)習(xí)和監(jiān)督持續(xù)學(xué)習(xí)的經(jīng)驗回放技術(shù)。如上圖（a）所示，回放緩沖區(qū)將流數(shù)據(jù)源與訓(xùn)練過程解耦。當(dāng)流數(shù)據(jù)可用時，可以將其添加到回放緩沖區(qū)，替換加入緩沖區(qū)時間最早的樣本（即先進先出的隊列更新規(guī)則）。同時，通過對緩沖區(qū)隨機采樣，可以隨時生成訓(xùn)練數(shù)據(jù)的 batch。如上圖（b）所示，回放緩沖區(qū)讓我們可以在空閑等待期間繼續(xù)訓(xùn)練?；胤啪彌_區(qū)讓我們可以通過多次采樣來重用樣本，從而減少總的數(shù)據(jù)成本。
單趟（One Pass）訓(xùn)練
我們研究了回放緩沖區(qū)在使用單趟訓(xùn)練數(shù)據(jù)時的作用。我們使用 Flickr 數(shù)據(jù)集中序號為前 2 千萬的圖像，分別訓(xùn)練了使用/不使用回放緩沖區(qū)的 ResNet-18 SimSiam 模型。
圖注：具有帶寬限制的流自監(jiān)督學(xué)習(xí)。緩沖自監(jiān)督學(xué)習(xí)可以利用空閑時間有效地改進學(xué)習(xí)到的表征
如上圖所示，通過維護一個小的回放緩沖區(qū)（只包含最近的 64,000 張圖像），緩沖自監(jiān)督學(xué)習(xí)能夠充分利用空閑時間。與傳統(tǒng)自監(jiān)督學(xué)習(xí)方法相比，顯著改進了表征?；胤啪彌_區(qū)還可以提高持續(xù)自監(jiān)督學(xué)習(xí)設(shè)定下的數(shù)據(jù)效率，每個樣本都可以被多次重用。數(shù)據(jù)利用率與超采樣率 K 成正比，K 是為訓(xùn)練生成的 mini-batch 數(shù)與從流數(shù)據(jù)源獲取的 mini-batch 數(shù)之比。
為了理解超采樣的限制，我們訓(xùn)練將一個帶有回放緩沖區(qū)的 ResNet-18 SimSiam 模型訓(xùn)練了固定的更新次數(shù)。
圖注：數(shù)據(jù)效率。通過回放緩沖區(qū)增強自監(jiān)督學(xué)習(xí)方法可以提升數(shù)據(jù)效率，使我們可以單次訓(xùn)練數(shù)據(jù)流。
如上圖所示，基于 Epoch 的自監(jiān)督學(xué)習(xí)和緩沖自監(jiān)督學(xué)習(xí)在優(yōu)化更新次數(shù)相同的情況下，緩沖自監(jiān)督學(xué)習(xí)的性能更佳。盡管需要利用單趟數(shù)據(jù)進行訓(xùn)練，超采樣率為 K=10 的緩沖自監(jiān)督學(xué)習(xí)可以獲得與基于 epoch 的訓(xùn)練相當(dāng)?shù)男阅埽词咕彌_區(qū)的大小僅為 64,000 張圖像）。隨著超采樣率提升，回放緩沖區(qū)變得越來越重要。例如，當(dāng) K=200 時，無論緩沖區(qū)大小如何，在數(shù)量相同的數(shù)據(jù)上，緩沖自監(jiān)督學(xué)習(xí)仍然相較于傳統(tǒng)自監(jiān)督學(xué)習(xí)有顯著的提升。然而，隨著緩沖區(qū)大小提升，學(xué)習(xí)到的表征也會更好。因此，在高度超采樣時，緩沖區(qū)被來自流數(shù)據(jù)源的新圖像緩慢更新，增大緩沖區(qū)的大小可以防止模型快速過擬合緩沖區(qū)中的樣本。
自然場景下得到的視覺數(shù)據(jù)往往是相關(guān)、非獨立同分布的。這與傳統(tǒng)自監(jiān)督學(xué)習(xí)方法使用的數(shù)據(jù)形成了鮮明的對比。例如，ImageNet 數(shù)據(jù)集使我們可以從 1,000 個均勻分布的對象類別中對圖像采樣。即使是在更大的數(shù)據(jù)集上訓(xùn)練的方法，也不太可能在 mini-batch 中遇到高度相關(guān)的樣本。但是，即使是在靜態(tài)圖像設(shè)定下，持續(xù)自監(jiān)督學(xué)習(xí)設(shè)定下的持續(xù)數(shù)據(jù)流也往往不滿足上述假設(shè)。
令為一個樣本序列，其中從大數(shù)據(jù)集中隨機采樣生成，這種采樣近似于獨立同分布。因此，樣本和樣本之間高度相關(guān)的概率較低。樣本相關(guān)說明圖像在視覺上十分相似，或即使視覺上不相似但描述了相似的語義內(nèi)容。然而，在持續(xù)自監(jiān)督學(xué)習(xí)設(shè)定下，獨立同分布假設(shè)往往不被滿足，即。假設(shè)持續(xù)的數(shù)據(jù)流中的連續(xù)樣本具有相同的相關(guān)性概率，長度為 b 的 batch 中隨機數(shù)據(jù)對相關(guān)似然很大：
在引入尺寸為的回放緩沖區(qū)時，相關(guān)似然越低，則表征學(xué)習(xí)更有效。
最小冗余回放緩沖區(qū)
盡管回放緩沖區(qū)可以減小相關(guān)性似然，但需要非常大的回放緩沖區(qū)，才能在樣本高度相關(guān)的設(shè)定下得到較低的。為了緩解這一問題，我們提出了一種修正后的回放緩沖區(qū)——最小冗余回放緩沖區(qū)（MinRed），它只保留去相關(guān)的樣本，因此可以主動地降低。
為此，我們基于學(xué)習(xí)到的嵌入空間確定冗余樣本。假設(shè)一個回放緩沖區(qū)的最大容量為 B，它已經(jīng)包含了 B 個具有表征的樣本。為了向該緩沖區(qū)中加入新的樣本 x，我們根據(jù)所有樣本對之間的余弦距離丟棄大多數(shù)冗余的樣本：
換而言之，我們丟棄那些與其最近鄰具有最小余弦距離的樣本。
非獨立同分布數(shù)據(jù)流上的實驗
我們評估了自監(jiān)方法在兩種具有高度時間相關(guān)性的數(shù)據(jù)流上的性能。第一個數(shù)據(jù)流是通過連接 Kinetics 數(shù)據(jù)集中的視頻樣本創(chuàng)建的。我們從每個視頻中隨機采樣幀，并將它們依次添加到數(shù)據(jù)流中。第二個訓(xùn)練流是 KrishnaCAM 數(shù)據(jù)集中的連續(xù)幀，記錄了一名計算機視覺研究生九個月的以自我為中心的視頻。我們分別在每個流數(shù)據(jù)上訓(xùn)練傳統(tǒng)的 SimSiam、聽過回放緩沖區(qū)增強的緩沖 SimSiam，通過 MinRed 緩沖區(qū)增強的 SimSiam。
圖注：視覺上相關(guān)的自監(jiān)督學(xué)習(xí)。在具有高度時間相關(guān)性的數(shù)據(jù)源上訓(xùn)練的緩沖和非緩沖 SimSiam 表征的線性分類效果。MinRed 通過對數(shù)據(jù)進行解相關(guān)學(xué)到更好的表征。
如上圖所示，數(shù)據(jù)的相關(guān)性嚴重擾亂了傳統(tǒng)模型的訓(xùn)練，而常規(guī)的回放緩沖區(qū)技術(shù)在一定程度上緩解了這個問題，但學(xué)習(xí)到的表征在高度相關(guān)的數(shù)據(jù)流（例如，的 Kinetics 數(shù)據(jù)集和 KrishaCAM 數(shù)據(jù)集）上仍然會收到影響。相較之下，本文提出的 MinRed 緩沖在上述設(shè)定下表現(xiàn)出了顯著的性能提升。使用 MinRed 緩沖區(qū)訓(xùn)練的模型性能往往十分接近使用完全解相關(guān)的數(shù)據(jù)流訓(xùn)練。
訓(xùn)練樣本的相關(guān)性：生成具有較低相關(guān)似然的訓(xùn)練樣本是緩沖自監(jiān)督學(xué)習(xí)的優(yōu)勢之一，因此這些樣本更加接近獨立同分布。
圖注：使用/不使用回放緩沖訓(xùn)練時的 batch 內(nèi)的數(shù)據(jù)相關(guān)性。
如上圖所示，MinRed 回放緩沖區(qū)中的內(nèi)容比 FIFO 緩沖區(qū)中內(nèi)容的相關(guān)性明顯較低。在使用 KrishnaCAM 數(shù)據(jù)集時，MinRed 緩沖區(qū)能夠維護過去更長的時間內(nèi)的獨特幀。在使用 Kinetics 數(shù)據(jù)集時，MinRed 緩沖區(qū)用可以產(chǎn)生包含更多獨特視頻中的幀構(gòu)成的訓(xùn)練用 mini-batch。
在探索世界時，我們會遇到各種目標類的分布，會經(jīng)常遇到一些未曾見過的類別，語義類的分布通常會實時偶然變化。然而，傳統(tǒng)的自監(jiān)督學(xué)習(xí)方法針對有限的概念學(xué)習(xí)，這些概念被重復(fù)使用了數(shù)千次。這種簡化的學(xué)習(xí)設(shè)定不能反映概念在自然場景下的非平穩(wěn)特性。
用于自監(jiān)督學(xué)習(xí)對比基準的非平穩(wěn)數(shù)據(jù)流
受監(jiān)督式持續(xù)學(xué)習(xí)的啟發(fā)，我們引入了具有平滑偏移語義分布的設(shè)置。首先，我們基于 Wordnet 的類別層次結(jié)構(gòu)將 ImageNet-21K 數(shù)據(jù)集劃分為 4 份
，每一份包含語義相似的類別的圖像。對于每一類，我們拿出 25 張圖像用于評估。我們通過從打亂的上述 4 個數(shù)據(jù)集
中依次隨機采樣圖像并匯總，從而得到訓(xùn)練數(shù)據(jù)流。其中，是的排列。這樣一來，我們就模擬了語義分布的平滑變化。我們旨在學(xué)習(xí)到可以在不發(fā)生過擬合、不遺忘先前看到的概念的情況下，能夠判別所有數(shù)據(jù)集中概念的表征。
非平穩(wěn)分布上的實驗
我們分別在單趟數(shù)據(jù)流上使用傳統(tǒng)的 SimSiam、帶有回放緩沖區(qū)的 SimSiam、帶有最小冗余緩沖區(qū)的 SimSiam 進行訓(xùn)練。在評估階段，我們利用學(xué)到的表征訓(xùn)練了一個線性分類器，用來識別 ImageNet-21K 數(shù)據(jù)集中的所有類別，并在每個的留出集上評估了模型準確率，實驗結(jié)果取三次排列的平均值。
圖注：完整 ImageNet 數(shù)據(jù)集上的持續(xù)無監(jiān)督表征學(xué)習(xí)實驗結(jié)果。（a）在每個任務(wù)的數(shù)據(jù)上訓(xùn)練，測量在其它每個任務(wù)上的準確率下降情況。最小冗余緩沖區(qū)可以保留先前任務(wù)的實例，因此緩解了傳統(tǒng)自監(jiān)督學(xué)習(xí)中的災(zāi)難性遺忘問題，能夠有規(guī)律地回放緩沖區(qū)中的內(nèi)容。（b）15,790 個類別上的整體準確率。通過確保來自過去類別分布的圖像沒有被遺忘，最小冗余緩沖區(qū)可以學(xué)習(xí)更好的總體表征。
如上圖所示，所有的方法性能都會受到「遺忘」現(xiàn)象的損害。然而，MinRed 緩沖區(qū)維護了語義范圍更廣的訓(xùn)練數(shù)據(jù)，使用了 MinRed 緩沖區(qū)的 SimSiam 的性能下降較小，始終具有較好的泛化能力。
在本文中，作者指出了構(gòu)建魯棒、可部署的自監(jiān)督學(xué)習(xí)器所面臨的三大挑戰(zhàn)。通過利用回放緩沖區(qū)重新訪問較早訪問過的樣本，作者提升持續(xù)自監(jiān)督學(xué)習(xí)模型的效率。未來，研發(fā)通過預(yù)先評估樣本價值實現(xiàn)快速拒絕樣本的方法可能會提高數(shù)據(jù)效率。作者還提出了新的最小冗余緩沖區(qū)技術(shù)，該技術(shù)可以丟棄相關(guān)性較強的樣本，使我們能夠模擬獨立同分布訓(xùn)練數(shù)據(jù)的生成。此外，未來的研究可以更加關(guān)注利用數(shù)據(jù)流的相關(guān)性，從細粒度的差異中學(xué)習(xí)表征。
在具有非平穩(wěn)語義分布的數(shù)據(jù)流中，作者發(fā)現(xiàn) MinRed 緩沖區(qū)緩解了災(zāi)難性遺忘的問題，它們能夠維護來自過去分布的獨特樣本。然而，當(dāng)引入新概念時，作者觀察到「飽和泛化」的現(xiàn)象，這可能是由于：（1）余弦衰減學(xué)習(xí)率（2）模型的容量是固定的，無法學(xué)習(xí)大的新概念序列。作者發(fā)現(xiàn)，使用恒定的學(xué)習(xí)率進行訓(xùn)練并不能顯著提高模型性能。作者還發(fā)現(xiàn)，定期擴展模型架構(gòu)并不會帶來明顯的性能提升。我們需要以自監(jiān)督的方式不斷學(xué)習(xí)新的概念。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
