ICCV 2021 | 簡(jiǎn)而優(yōu)：用分類器變換器進(jìn)行小樣本語(yǔ)義分割

本文作者：我在思考中

2021-08-26 10:30

導(dǎo)語(yǔ)：該論文由英國(guó)薩里大學(xué)發(fā)表，針對(duì)小樣本語(yǔ)義分割問(wèn)題，提出一種更加簡(jiǎn)潔的元學(xué)習(xí)范式，即只對(duì)分類器進(jìn)行元學(xué)習(xí)，對(duì)特征編碼解碼器采用常規(guī)分割模型訓(xùn)練方式。

作者 | 盧治合

編輯 | 王曄

本文是對(duì)發(fā)表于計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)會(huì)議 ICCV 2021的論文“Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer（簡(jiǎn)而優(yōu)：用分類器變換器進(jìn)行小樣本語(yǔ)義分割）”的解讀。

該論文由英國(guó)薩里大學(xué)Centre for Vision, Speech and Signal Processing (CVSSP)發(fā)表，針對(duì)小樣本語(yǔ)義分割問(wèn)題，提出一種更加簡(jiǎn)潔的元學(xué)習(xí)范式，即只對(duì)分類器進(jìn)行元學(xué)習(xí)，對(duì)特征編碼解碼器采用常規(guī)分割模型訓(xùn)練方式。元學(xué)習(xí)訓(xùn)練后的Classifier Weight Transformer使分類器可以動(dòng)態(tài)地適應(yīng)測(cè)試樣本，從而提高分割準(zhǔn)確率。

論文：https://arxiv.org/pdf/2108.03032.pdf

代碼：https://github.com/zhiheLu/CWT-for-FSS

背景

得益于大型的標(biāo)簽數(shù)據(jù)和深度學(xué)習(xí)算法的發(fā)展，語(yǔ)義分割方法近幾年取得了很大的進(jìn)步。但這些方法有兩個(gè)局限：

1）過(guò)度依賴帶標(biāo)簽數(shù)據(jù)，而這些數(shù)據(jù)的獲得通常消耗大量人力物力；

2）訓(xùn)練好的模型并不能處理訓(xùn)練過(guò)程中未見的新類別。

面對(duì)這些局限，小樣本語(yǔ)義分割被提出來(lái)，它的目的是通過(guò)對(duì)少量樣本的學(xué)習(xí)來(lái)分割新類別。一般來(lái)說(shuō)，小樣本語(yǔ)義分割方法是通過(guò)用訓(xùn)練數(shù)據(jù)模擬測(cè)試環(huán)境進(jìn)行元學(xué)習(xí)使得訓(xùn)練的模型有很好的泛化能力，從而在測(cè)試時(shí)可以僅僅利用幾個(gè)樣本的信息來(lái)迭代模型完成對(duì)新類別的分割。具體地，小樣本分割模型是在大量的模擬任務(wù)上進(jìn)行訓(xùn)練，每個(gè)模擬任務(wù)有兩個(gè)數(shù)據(jù)組：Support set and Query set。Support set 是有標(biāo)簽的K-shot樣本，而Query set只在訓(xùn)練的時(shí)候有標(biāo)簽。這樣的模擬任務(wù)可以有效地模擬測(cè)試環(huán)境。

方法

一個(gè)小樣本分類系統(tǒng)一般由三部分構(gòu)成：編碼器，解碼器和分類器。其中，前兩個(gè)模塊模型比較復(fù)雜，最后一個(gè)分類器結(jié)構(gòu)簡(jiǎn)單。我們發(fā)現(xiàn)現(xiàn)存的小樣本分類方法通常在元學(xué)習(xí)的過(guò)程中更新所有模塊或者除編碼器外的模塊，而所利用更新模塊的數(shù)據(jù)僅僅有幾個(gè)樣本。在這樣的情況下，我們認(rèn)為模型更新的參數(shù)量相比于數(shù)據(jù)提供的信息量過(guò)多，從而不足以優(yōu)化模型參數(shù)?；诖朔治?，我們提出了一個(gè)全新的元學(xué)習(xí)訓(xùn)練范式，即只對(duì)分類器進(jìn)行元學(xué)習(xí)。為了方便讀者更好的理解，我們給出了兩種方式的對(duì)比，如圖1。