雷鋒網(wǎng) AI 科技評論按：百度研究院、華中科技大學(xué)、悉尼科技大學(xué)聯(lián)合新作——關(guān)于無監(jiān)督領(lǐng)域自適應(yīng)語義分割的論文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 類學(xué)術(shù)會議 CVPR2019 收錄為 Oral 論文 。該論文提出了一種從「虛擬域」泛化到「現(xiàn)實(shí)域」的無監(jiān)督語義分割算法，旨在利用易獲取的虛擬場景標(biāo)注數(shù)據(jù)來完成對標(biāo)注成本高昂的現(xiàn)實(shí)場景數(shù)據(jù)的語義分割，大大減少了人工標(biāo)注成本。 本文是論文作者之一羅亞威為雷鋒網(wǎng) AI 科技評論提供的論文解讀。 雷鋒網(wǎng)

論文地址： https://arxiv.org/abs/1809.09478

1.問題背景

基于深度學(xué)習(xí)的語義分割方法效果出眾，但需要大量的人工標(biāo)注進(jìn)行監(jiān)督訓(xùn)練。不同于圖像分類等任務(wù)，語義分割需要像素級別的人工標(biāo)注，費(fèi)時費(fèi)力，無法大規(guī)模實(shí)施。借助于計算機(jī)虛擬圖像技術(shù)，如3D游戲，用戶可以幾乎無成本地獲得無限量自動標(biāo)注數(shù)據(jù)。然而虛擬圖像和現(xiàn)實(shí)圖像間存在嚴(yán)重的視覺差異（域偏移），如紋理、光照、視角差異等等，這些差異導(dǎo)致在虛擬圖像上訓(xùn)練出的深度模型往往在真實(shí)圖像數(shù)據(jù)集上的分割精度很低。

 圖1. 問題背景

2. 傳統(tǒng)方法

針對上述域偏移問題，一種廣泛采用的方法是在網(wǎng)絡(luò)中加入一個域判別器Discriminator (D），利用對抗訓(xùn)練的機(jī)制，減少源域Source (S）和目標(biāo)域Target（T）之間不同分布的差異，以加強(qiáng)原始網(wǎng)絡(luò)（G）在域間的泛化能力。方法具體包括兩方面：

（1）利用源域的有標(biāo)簽數(shù)據(jù)進(jìn)行有監(jiān)督學(xué)習(xí)，提取領(lǐng)域知識：

 

其中Xs，Ys為源域數(shù)據(jù)及其對應(yīng)標(biāo)簽。

（2）通過對抗學(xué)習(xí)，降低域判別器（D）的精度，以對齊源域與目標(biāo)域的特征分布：

其中XT為目標(biāo)域數(shù)據(jù)，無標(biāo)簽。

3.我們針對傳統(tǒng)方法的改進(jìn)

以上基于對抗學(xué)習(xí)的傳統(tǒng)域適應(yīng)方法只能對齊全局特征分布（Marginal Distribution），而忽略了不同域之間，相同語義特征的語義一致性（Joint Distribution），在訓(xùn)練過程中容易造成負(fù)遷移，如圖2（a）所示。舉例來說，目標(biāo)域中的車輛這一類，可能與源域中的車輛在視覺上是接近的。因此，在沒有經(jīng)過域適應(yīng)算法之前，目標(biāo)域車輛也能夠被正確分割。然而，為了迎合傳統(tǒng)方法的全局對齊，目標(biāo)域中的車輛特征反而有可能會被映射到源域中的其他類別，如火車等，造成語義不一致。

針對這一問題，我們在今年CVPR的論文中，向?qū)箤W(xué)習(xí)框架里加入了聯(lián)合訓(xùn)練的思想，解決了傳統(tǒng)域適應(yīng)方法中的語義不一致性和負(fù)遷移等鍵問題。具體做法見圖2（b），我們采用了兩個互斥分類器對目標(biāo)域特征進(jìn)行分類。當(dāng)兩個分類器給出的預(yù)測很一致時，我們認(rèn)為該特征已經(jīng)能被很好的分類，語義一致性較高，所以應(yīng)減少全局對齊策略對這些特征產(chǎn)生的負(fù)面影響。反之，當(dāng)兩個分類器給出的預(yù)測不一致，說明該目標(biāo)域特征還未被很好地分類，依然需要用對抗損失進(jìn)行與源域特征的對齊。所以應(yīng)加大對齊力度，使其盡快和源域特征對應(yīng)。

 

圖2. 傳統(tǒng)方法和本文方法對比

4.網(wǎng)絡(luò)結(jié)構(gòu)

為了實(shí)現(xiàn)上述語義級對抗目標(biāo)，我們提出了Category-Level Adversarial Network (CLAN)。 遵循聯(lián)合訓(xùn)練的思想，我們在生成網(wǎng)絡(luò)中采用了互斥分類器的結(jié)構(gòu)，以判斷目標(biāo)域的隱層特征是否已達(dá)到了局部語義對齊。在后續(xù)對抗訓(xùn)練時，  網(wǎng)絡(luò)依據(jù)互斥分類器產(chǎn)生的兩個預(yù)測向量之差（Discrepancy）來對判別網(wǎng)絡(luò)所反饋的對抗損失進(jìn)行加權(quán)。網(wǎng)絡(luò)結(jié)構(gòu)如下圖3所示。 

圖3. 網(wǎng)絡(luò)結(jié)構(gòu)

圖3中，橙色的線條表示源域流，藍(lán)色的線條表示目標(biāo)域流，綠色的雙箭頭表示我們在訓(xùn)練中強(qiáng)迫兩個分類器的參數(shù)正交，以達(dá)到互斥分類器的目的。源域流和傳統(tǒng)的方法并無很大不同，唯一的區(qū)別是我們集成了互斥分類器產(chǎn)生的預(yù)測作為源域的集成預(yù)測。該預(yù)測一方面被標(biāo)簽監(jiān)督，產(chǎn)生分割損失（Segmentation Loss），如式（3）所示：

另一方面，該預(yù)測進(jìn)入判別器D，作為源域樣本。

綠色的雙箭頭處，我們使用余弦距離作為損失，訓(xùn)練兩個分類器產(chǎn)生不同的模型參數(shù)：

 

目標(biāo)域流中，集成預(yù)測同樣進(jìn)入判別器D。不同的是，我們維持兩個分類器預(yù)測的差值，作為局部對齊程度的依據(jù) (local alignment score map）。該差值與D所反饋的損失相乘，生成語義級別的對抗損失：

該策略加大了語義不一致特征的對齊力度，而減弱了語義一致的特征受全局對齊的影響，從而加強(qiáng)了特征間的語義對齊，防止了負(fù)遷移的產(chǎn)生。

最后，根據(jù)以上三個損失，我們可以得出最終的總體損失函數(shù)：

 

基于以上損失函數(shù)，算法整體的優(yōu)化目標(biāo)為：

 

在訓(xùn)練中，我們交替優(yōu)化G和D，直至損失收斂。

5. 特征空間分析

圖4. T-SNE

我們重點(diǎn)關(guān)注不常見類，如圖4（a）中黃框內(nèi)的柱子，交通標(biāo)志。這些類經(jīng)過傳統(tǒng)方法的分布對齊，反而在分割結(jié)果中消失了。結(jié)合特征的t-SNE圖，我們可以得出結(jié)論，有些類的特征在沒有進(jìn)行域遷移之前，就已經(jīng)是對齊的。傳統(tǒng)的全局域適應(yīng)方法反而會破壞這種語義一致性，造成負(fù)遷移。而我們提出的語義級別對抗降低了全局對齊對這些已對齊類的影響，很好的解決了這一問題。

6. 實(shí)驗(yàn)結(jié)果 

我們在兩個域適應(yīng)語義分割任務(wù)，即GTA5 -> Cityscapes 和 SYNTHIA -> Cityscapes 上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。我們采用最常見的Insertion over Union作為分割精度的衡量指標(biāo)，實(shí)驗(yàn)結(jié)果如下。從表1和表2中可以看出，在不同網(wǎng)絡(luò)結(jié)構(gòu)（VGG16，ResNet101）中，我們的方法（CLAN）域適應(yīng)效果都達(dá)到了 state-of-the-art的精度。特別的，在一些不常見類上（用藍(lán)色表示），傳統(tǒng)方法容易造成負(fù)遷移，而CLAN明顯要優(yōu)于其他方法。

表 1. 由虛擬數(shù)據(jù)集GTA5 遷移至真實(shí)數(shù)據(jù)集 Cityscapes 的域適應(yīng)分割精度對比。 

表 2. 由虛擬數(shù)據(jù)集SYNTHIA 遷移至真實(shí)數(shù)據(jù)集 Cityscapes 的域適應(yīng)分割精度對比。

第二個實(shí)驗(yàn)中，我們了展示隱空間層面，源域和目標(biāo)域間同語義特征簇的中心距離。該距離越小，說明兩個域間的語義對齊越好。結(jié)果見圖 5。

最后，我們給出分割結(jié)果的可視化效果。我們的算法大大提高了分割精度。

7. 總結(jié)

《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》引入了聯(lián)合訓(xùn)練結(jié)合對抗學(xué)習(xí)的設(shè)計，在無監(jiān)督域適應(yīng)語義分割任務(wù)中取得了較好的實(shí)驗(yàn)結(jié)果。該算法能應(yīng)用前景廣泛，比如能夠很好地應(yīng)用到自動駕駛中，讓車輛在不同的駕駛環(huán)境中也能保持魯棒的街景識別率。

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。