ICCV 2021 | 簡而優(yōu)：用分類器變換器進行小樣本語義分割

本文作者：我在思考中

2021-08-26 10:30

導語：該論文由英國薩里大學發(fā)表，針對小樣本語義分割問題，提出一種更加簡潔的元學習范式，即只對分類器進行元學習，對特征編碼解碼器采用常規(guī)分割模型訓練方式。

作者 | 盧治合

編輯 | 王曄

本文是對發(fā)表于計算機視覺領域的頂級會議 ICCV 2021的論文“Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer（簡而優(yōu)：用分類器變換器進行小樣本語義分割）”的解讀。

該論文由英國薩里大學Centre for Vision, Speech and Signal Processing (CVSSP)發(fā)表，針對小樣本語義分割問題，提出一種更加簡潔的元學習范式，即只對分類器進行元學習，對特征編碼解碼器采用常規(guī)分割模型訓練方式。元學習訓練后的Classifier Weight Transformer使分類器可以動態(tài)地適應測試樣本，從而提高分割準確率。

論文：https://arxiv.org/pdf/2108.03032.pdf

代碼：https://github.com/zhiheLu/CWT-for-FSS

背景

得益于大型的標簽數(shù)據(jù)和深度學習算法的發(fā)展，語義分割方法近幾年取得了很大的進步。但這些方法有兩個局限：

1）過度依賴帶標簽數(shù)據(jù)，而這些數(shù)據(jù)的獲得通常消耗大量人力物力；

2）訓練好的模型并不能處理訓練過程中未見的新類別。

面對這些局限，小樣本語義分割被提出來，它的目的是通過對少量樣本的學習來分割新類別。一般來說，小樣本語義分割方法是通過用訓練數(shù)據(jù)模擬測試環(huán)境進行元學習使得訓練的模型有很好的泛化能力，從而在測試時可以僅僅利用幾個樣本的信息來迭代模型完成對新類別的分割。具體地，小樣本分割模型是在大量的模擬任務上進行訓練，每個模擬任務有兩個數(shù)據(jù)組：Support set and Query set。Support set 是有標簽的K-shot樣本，而Query set只在訓練的時候有標簽。這樣的模擬任務可以有效地模擬測試環(huán)境。

方法

一個小樣本分類系統(tǒng)一般由三部分構(gòu)成：編碼器，解碼器和分類器。其中，前兩個模塊模型比較復雜，最后一個分類器結(jié)構(gòu)簡單。我們發(fā)現(xiàn)現(xiàn)存的小樣本分類方法通常在元學習的過程中更新所有模塊或者除編碼器外的模塊，而所利用更新模塊的數(shù)據(jù)僅僅有幾個樣本。在這樣的情況下，我們認為模型更新的參數(shù)量相比于數(shù)據(jù)提供的信息量過多，從而不足以優(yōu)化模型參數(shù)?；诖朔治?，我們提出了一個全新的元學習訓練范式，即只對分類器進行元學習。為了方便讀者更好的理解，我們給出了兩種方式的對比，如圖1。