CVPR 2018摘要：第四部分

本文作者： AI研習(xí)社-譯站

2018-11-23 17:54

導(dǎo)語(yǔ)：今天，我們深入探討最近一直在興起的深度學(xué)習(xí)領(lǐng)域的細(xì)節(jié)：領(lǐng)域適應(yīng)。

CVPR 2018摘要：第四部分

本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題：
State of the Art in Domain Adaptation (CVPR in Review IV)
作者 | Sergey Nikolenko、Anastasia Gaydashenko
翻譯 | 老趙校對(duì) | 醬番梨
整理 | 菠蘿妹
原文鏈接：
https://medium.com/neuromation-io-blog/state-of-the-art-in-domain-adaptation-cvpr-in-review-iv-21ac05f935b9

領(lǐng)域適應(yīng)的最新進(jìn)展（CVPR 回顧 -4）

我們已經(jīng)分三期關(guān)于CVPR 2018（計(jì)算機(jī)視覺(jué)和模式識(shí)別）會(huì)議：第一部分專門討論計(jì)算機(jī)視覺(jué)的GAN，第二部分涉及關(guān)于識(shí)別人類（姿勢(shì)估計(jì)和跟蹤）的論文，第三部分涉及合成數(shù)據(jù)。今天，我們深入探討最近一直在興起的深度學(xué)習(xí)領(lǐng)域的細(xì)節(jié)：領(lǐng)域適應(yīng)。對(duì)于這個(gè)NeuroNugget，我很高興為您呈現(xiàn)我的共同作者Anastasia Gaydashenko，他已離開(kāi)Neuromation并繼續(xù)加入思科...但他的研究繼續(xù)存在，這就是其中之一。

什么是領(lǐng)域適應(yīng)？

最近研究中有幾個(gè)具體趨勢(shì)（包括CVPR 2018），其中一個(gè)是領(lǐng)域適應(yīng)。由于這個(gè)領(lǐng)域與合成數(shù)據(jù)密切相關(guān)，因此我們?cè)贜euromation對(duì)我們非常感興趣，但這個(gè)主題在本身也越來(lái)越受歡迎和重要。

讓我們從頭開(kāi)始。我們已經(jīng)討論了構(gòu)成現(xiàn)代計(jì)算機(jī)視覺(jué)基礎(chǔ)的最常見(jiàn)任務(wù)：圖像分類，對(duì)象和姿勢(shì)檢測(cè)，實(shí)例和語(yǔ)義分割，對(duì)象跟蹤等。由于深度卷積神經(jīng)架構(gòu)和大量標(biāo)記數(shù)據(jù)，這些問(wèn)題得到了相當(dāng)成功的解決。

但是，正如我們?cè)谏弦徊糠种兴懻摰哪菢樱偸谴嬖谝粋€(gè)巨大的挑戰(zhàn)：對(duì)于監(jiān)督學(xué)習(xí)，你總是需要找到或創(chuàng)建標(biāo)記數(shù)據(jù)集。幾乎所有關(guān)于某些奇特的現(xiàn)有技術(shù)模型的論文都會(huì)提到數(shù)據(jù)集的一些問(wèn)題，除非他們使用每個(gè)人通常比較的少數(shù)標(biāo)準(zhǔn)“ vanilla ”數(shù)據(jù)集之一。因此，收集標(biāo)記數(shù)據(jù)與設(shè)計(jì)網(wǎng)絡(luò)本身一樣重要。這些數(shù)據(jù)集應(yīng)該足夠可靠和多樣化，以便研究人員能夠使用它們來(lái)開(kāi)發(fā)和評(píng)估新穎的架構(gòu)。

我們已經(jīng)多次談到手動(dòng)數(shù)據(jù)收集既昂貴又耗時(shí)，往往非常耗費(fèi)精力。有時(shí)甚至不可能手動(dòng)標(biāo)記數(shù)據(jù)（例如，如何標(biāo)記深度估計(jì)，評(píng)估圖像上的點(diǎn)到相機(jī)的距離的問(wèn)題？）。當(dāng)然，許多標(biāo)準(zhǔn)問(wèn)題已經(jīng)具有可自由或容易獲得的大型標(biāo)記數(shù)據(jù)集。但首先，這些易于標(biāo)記的數(shù)據(jù)可以（并且確實(shí)）將研究偏向于可用的特定領(lǐng)域，其次，你自己的問(wèn)題永遠(yuǎn)不會(huì)完全相同，標(biāo)準(zhǔn)數(shù)據(jù)集通常根本不符合您的要求：它們將包含不同的類別，會(huì)有不同的偏置，等等。

使用現(xiàn)有數(shù)據(jù)集，甚至是沒(méi)有專門針對(duì)你的特定問(wèn)題的合成數(shù)據(jù)生成器的主要問(wèn)題是，當(dāng)生成數(shù)據(jù)并且已經(jīng)標(biāo)記時(shí)，我們?nèi)匀幻媾R域轉(zhuǎn)移的問(wèn)題：我們?nèi)绾问褂靡环N數(shù)據(jù)準(zhǔn)備網(wǎng)絡(luò)應(yīng)對(duì)不同種類？對(duì)于整個(gè)合成數(shù)據(jù)領(lǐng)域來(lái)說(shuō)，這個(gè)問(wèn)題也很突出：無(wú)論你制作數(shù)據(jù)是否真實(shí)，它仍然無(wú)法與現(xiàn)實(shí)世界的照片完全區(qū)分開(kāi)來(lái)。這里的主要潛在挑戰(zhàn)稱為域移位：基本上，目標(biāo)域中的數(shù)據(jù)分布（例如，真實(shí)圖像）與源域中的數(shù)據(jù)分布（例如，合成圖像）不同。設(shè)計(jì)能夠應(yīng)對(duì)這種轉(zhuǎn)變的模型正是稱為域適應(yīng)的問(wèn)題。

讓我們看看人們現(xiàn)在如何處理這個(gè)問(wèn)題，考慮一下CVPR 2018中的一些論文，比之前的“CVPR in Review”分期付款稍微詳細(xì)一些。

具有相似性學(xué)習(xí)的無(wú)監(jiān)督領(lǐng)域適應(yīng)

Pedro Pinheiro的這項(xiàng)工作（見(jiàn)pdf）來(lái)自ElementAI，這是一家蒙特利爾公司，于2016年由Yoshua Bengio共同創(chuàng)立。它涉及一種基于對(duì)抗性網(wǎng)絡(luò)的域適應(yīng)方法，我們之前提到的那種方式（參見(jiàn)本文，第二部分即將推出）。

對(duì)無(wú)監(jiān)督領(lǐng)域自適應(yīng)的最簡(jiǎn)單的對(duì)抗方法是嘗試提取跨域保持相同的特征的網(wǎng)絡(luò)。為了實(shí)現(xiàn)這一點(diǎn)，網(wǎng)絡(luò)試圖使它們與網(wǎng)絡(luò)的單獨(dú)部分（鑒別器（下圖中的“光盤”）無(wú)法區(qū)分。但與此同時(shí)，這些功能應(yīng)該代表源域，以便網(wǎng)絡(luò)能夠?qū)?duì)象進(jìn)行分類：

CVPR 2018摘要：第四部分

通過(guò)這種方式，網(wǎng)絡(luò)必須提取能夠同時(shí)實(shí)現(xiàn)兩個(gè)目標(biāo)的特征：（1）足夠的信息，“類”網(wǎng)絡(luò)（通常非常簡(jiǎn)單）可以分類，（2）獨(dú)立于域，以便 “光盤”網(wǎng)絡(luò)（通常與特征提取器本身一樣復(fù)雜，或更多）無(wú)法真正區(qū)分。請(qǐng)注意，我們不必為目標(biāo)域提供任何標(biāo)簽，僅針對(duì)源域，通常更容易（再次考慮源域的合成數(shù)據(jù)）。

在Pinheiro的論文中，通過(guò)用基于相似性的部分替換分類器部分來(lái)改進(jìn)這種方法。判別部分保持不變，分類部分現(xiàn)在比較圖像與一組原型的嵌入; 所有這些表述都是以端到端的方式共同學(xué)習(xí)的：

CVPR 2018摘要：第四部分

基本上，我們要求一個(gè)網(wǎng)絡(luò)g從標(biāo)記的源域和另一個(gè)網(wǎng)絡(luò)f中提取特征，以從未標(biāo)記的目標(biāo)域中提取具有相似但不同的數(shù)據(jù)分布的特征。不同之處在于現(xiàn)在f和g是不同的（我們?cè)谏蠄D中有相同的f），并且分類現(xiàn)在是不同的：我們訓(xùn)練模型以區(qū)分目標(biāo)原型和所有其他原型，而不是訓(xùn)練分類器。為了標(biāo)記來(lái)自目標(biāo)域的圖像，我們將圖像的嵌入與來(lái)自源域的原型圖像的嵌入進(jìn)行比較，分配其最近鄰的標(biāo)簽：

CVPR 2018摘要：第四部分

本文表明，所提出的基于相似性的分類方法對(duì)于兩個(gè)數(shù)據(jù)集之間的域移位更加穩(wěn)健。

領(lǐng)域適應(yīng)的圖像到圖像翻譯

在Murez等人的這項(xiàng)工作中（完整的pdf）。來(lái)自加州大學(xué)圣地亞哥分校和HRL實(shí)驗(yàn)室，主要的想法實(shí)際上相當(dāng)簡(jiǎn)單，但實(shí)施是新穎和有趣的。該工作涉及比分類更復(fù)雜的任務(wù)，即圖像分割（參見(jiàn)我們之前的帖子），其廣泛用于自動(dòng)駕駛，醫(yī)學(xué)成像和許多其他領(lǐng)域。那么他們所談?wù)摰倪@種“形象翻譯”是什么？

讓我們從常規(guī)翻譯開(kāi)始。想象一下，我們有兩個(gè)不同語(yǔ)言的大型文本語(yǔ)料庫(kù)，比如英語(yǔ)和法語(yǔ)，我們不知道哪些短語(yǔ)對(duì)應(yīng)哪個(gè)。它們甚至可能略有不同，可能缺少其他語(yǔ)言語(yǔ)料庫(kù)中的相應(yīng)翻譯。就像來(lái)自合成域和真實(shí)域的圖片一樣。現(xiàn)在，為了得到一個(gè)機(jī)器翻譯模型，我們將一個(gè)短語(yǔ)從英語(yǔ)翻譯成法語(yǔ)，并試圖將所得短語(yǔ)的嵌入與原始法語(yǔ)語(yǔ)料庫(kù)中的短語(yǔ)嵌入?yún)^(qū)分開(kāi)來(lái)。然后檢查我們沒(méi)有失去太多的方法是嘗試將這個(gè)短語(yǔ)翻譯成英語(yǔ); 現(xiàn)在，即使原始語(yǔ)料庫(kù)完全不對(duì)齊，我們也知道我們?cè)趯ふ沂裁矗捍鸢妇褪窃季渥印?/p>

現(xiàn)在讓我們看看圖像到圖像的轉(zhuǎn)換，實(shí)際上，它非常相似。基本上，領(lǐng)域自適應(yīng)技術(shù)旨在通過(guò)找到從源數(shù)據(jù)分布到目標(biāo)分布的映射來(lái)解決域移位問(wèn)題。或者，域X和Y都可以映射到共享域Z，其中分布是對(duì)齊的; 這是本文中使用的方法。這種嵌入必須是域不可知的（獨(dú)立于域），因此我們希望最大化嵌入源和目標(biāo)圖像的分布之間的相似性。

CVPR 2018摘要：第四部分

例如，假設(shè)X是晴天駕駛場(chǎng)景的領(lǐng)域，Y是下雨天駕駛場(chǎng)景的領(lǐng)域。雖然“晴天”和“下雨”是源域和目標(biāo)域的特征，但實(shí)際上它們對(duì)于注釋任務(wù)（例如，道路的語(yǔ)義分段）幾乎沒(méi)有任何意義，并且它們不應(yīng)該影響注釋。在處理諸如結(jié)構(gòu)化噪聲之類的特征時(shí)，我們希望找到對(duì)這種變化不變的潛在空間Z. 換句話說(shuō)，域Z不應(yīng)包含特定于域的特征，即與域無(wú)關(guān)。

在這種情況下，我們還希望從目標(biāo)域恢復(fù)圖像的注釋。因此，我們還需要添加從共享嵌入空間到標(biāo)簽的映射。它可能是圖像級(jí)標(biāo)簽，如分類問(wèn)題中的類或像素級(jí)標(biāo)簽，如語(yǔ)義分段：

CVPR 2018摘要：第四部分

基本上，這就是整個(gè)想法。現(xiàn)在，要從目標(biāo)域獲取圖像的注釋，我們只需要將其嵌入到共享空間Z中并從C恢復(fù)其注釋。這是該方法的基本思想，但可以通過(guò)這些思想進(jìn)一步改進(jìn)本文提出。

具體而言，實(shí)現(xiàn)成功的無(wú)監(jiān)督領(lǐng)域適應(yīng)需要三個(gè)主要工具：

域無(wú)關(guān)特征提取，這意味著從對(duì)抗性鑒別器網(wǎng)絡(luò)判斷，從兩個(gè)域提取的特征的分布應(yīng)該是難以區(qū)分的
特定域的重建，這意味著我們應(yīng)該能夠?qū)⑶度虢獯a回源域和目標(biāo)域，也就是說(shuō)，我們應(yīng)該能夠?qū)W習(xí)如下所示的函數(shù)gX和gY：

CVPR 2018摘要：第四部分

循環(huán)一致性，以確保正確學(xué)習(xí)映射，也就是說(shuō)，我們應(yīng)該能夠回到我們開(kāi)始的循環(huán)，如下所示：

CVPR 2018摘要：第四部分

在這項(xiàng)工作中提出的框架的重點(diǎn)是確保這些屬性具有損失函數(shù)和對(duì)抗結(jié)構(gòu)。我們不會(huì)深入研究架構(gòu)的細(xì)節(jié)，因?yàn)樗鼈兛赡軙?huì)針對(duì)其他領(lǐng)域和問(wèn)題進(jìn)行更改。

但是讓我們來(lái)看看結(jié)果。在帖子的最后，我們將對(duì)三篇關(guān)于領(lǐng)域適應(yīng)的論文進(jìn)行詳細(xì)比較，但現(xiàn)在讓我們看一個(gè)例子。本文使用了兩個(gè)數(shù)據(jù)集：來(lái)自俠盜獵車手5的合成數(shù)據(jù)集和帶有城市圖片的真實(shí)世界城市景觀數(shù)據(jù)集。這是兩張示例圖片：

CVPR 2018摘要：第四部分

以下是真實(shí)世界圖像的分割結(jié)果（上圖B）：

CVPR 2018摘要：第四部分

在這張圖片中，E是地面真實(shí)分割，C是沒(méi)有領(lǐng)域適應(yīng)的結(jié)果，只需通過(guò)訓(xùn)練合成GTA5數(shù)據(jù)集，D是領(lǐng)域適應(yīng)的結(jié)果。它確實(shí)看起來(lái)更好，并且數(shù)字（交叉聯(lián)合度量）確實(shí)證實(shí)了這一點(diǎn)。

結(jié)構(gòu)領(lǐng)域自適應(yīng)的條件生成對(duì)抗網(wǎng)絡(luò)

本文由Hong等人撰寫(xiě)（完整的pdf）提出了標(biāo)準(zhǔn)鑒別器 - 分段器架構(gòu)的另一種修改。從第一次看到架構(gòu)，我們甚至可能沒(méi)有注意到任何差異：

CVPR 2018摘要：第四部分

但實(shí)際上這種架構(gòu)非常有趣：它將GAN集成到完全卷積網(wǎng)絡(luò)（FCN）中。我們?cè)谥暗腘euroNugget帖子中討論了FCN; 它是用于分割問(wèn)題的網(wǎng)絡(luò)體系結(jié)構(gòu)，它通過(guò)反卷積層提供特征來(lái)返回圖片中每個(gè)像素的標(biāo)簽。

在此模型中，GAN用于緩解源域和目標(biāo)域之間的差距。例如，前一篇論文通過(guò)中間特征空間對(duì)齊兩個(gè)域，從而隱含地假定兩個(gè)域具有相同的決策函數(shù)。這種方法放松了這個(gè)假設(shè)：在這里我們學(xué)習(xí)來(lái)自兩個(gè)域的特征圖之間的殘差，因?yàn)樯善鲗W(xué)會(huì)產(chǎn)生類似于真實(shí)圖像中的特征以欺騙鑒別器; 之后，更新FCN參數(shù)以適應(yīng)GAN所做的更改。

同樣，我們將顯示下面結(jié)果的數(shù)字比較，但這里是數(shù)據(jù)集中的一些示例：

CVPR 2018摘要：第四部分

值得注意的是，在這項(xiàng)工作中，作者還提供了與我們?cè)诤铣蓴?shù)據(jù)效率研究中所做的非常類似的事情：他們已經(jīng)測(cè)量了結(jié)果的準(zhǔn)確性（再次通過(guò)交叉結(jié)合測(cè)量）取決于部分數(shù)據(jù)集中的合成圖像：

CVPR 2018摘要：第四部分

從合成數(shù)據(jù)中學(xué)習(xí)：解決語(yǔ)義分割的域移位問(wèn)題

這項(xiàng)工作由Sankaranarayanan等人完成（完整的pdf）介紹了基于GAN的基本方法的另一種修改，它使嵌入在學(xué)習(xí)的特征空間中更接近。這一次，讓我們從圖片開(kāi)始，然后解釋它：

CVPR 2018摘要：第四部分

基礎(chǔ)網(wǎng)絡(luò)的結(jié)構(gòu)類似于預(yù)先訓(xùn)練的模型，如VGG-16，分為兩部分：F表示的嵌入和C表示的逐像素分類器。C的輸出是標(biāo)簽的映射上采樣到與F的輸入相同的大小。生成器網(wǎng)絡(luò)G將學(xué)習(xí)的嵌入作為輸入并重建RGB圖像。鑒別器網(wǎng)絡(luò)D在給定輸入的情況下執(zhí)行兩個(gè)不同的任務(wù)：它以域一致的方式將輸入分類為真實(shí)或偽造，并且還執(zhí)行類似于網(wǎng)絡(luò)C的像素標(biāo)記任務(wù)（這僅適用于源數(shù)據(jù)，因?yàn)槟繕?biāo)數(shù)據(jù)在訓(xùn)練期間沒(méi)有任何標(biāo)簽）。

因此，這項(xiàng)工作的主要貢獻(xiàn)是采用生成模型來(lái)對(duì)齊特征空間中的源和目標(biāo)分布的技術(shù)。為此，作者首先通過(guò)訓(xùn)練網(wǎng)絡(luò)的重建部分，將使用CNN獲得的中間特征表示投影到圖像空間，然后通過(guò)強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)特征使得源特征產(chǎn)生類似目標(biāo)的圖像來(lái)強(qiáng)加域?qū)R約束。當(dāng)傳遞給重建模塊時(shí)，反之亦然。

聽(tīng)起來(lái)很復(fù)雜，那么，讓我們看看所有這些方法實(shí)際上是如何比較的。

結(jié)果的數(shù)值比較

我們選擇這三篇論文進(jìn)行深入研究，因?yàn)樗鼈兊慕Y(jié)果實(shí)際上是可比較的！所有這三篇論文都使用了GTA5的域適應(yīng)作為源（合成）數(shù)據(jù)集和Cityscapes作為目標(biāo)數(shù)據(jù)集，因此我們可以簡(jiǎn)單地比較這些數(shù)字。

Cityscapes數(shù)據(jù)集包含19個(gè)城市戶外場(chǎng)景的特征，如 “road”, “wall”, “person”, “car” 等。所有這三篇論文實(shí)際上都包含表格，其中的結(jié)果按類別進(jìn)行細(xì)分。

Murez等人，圖像到圖像的翻譯：

CVPR 2018摘要：第四部分

Hong等人，條件GAN：

CVPR 2018摘要：第四部分

Sankaranarayanan等人，GAN in FCN：

CVPR 2018摘要：第四部分

平均結(jié)果分別為31.8,44.5,37.1，因此看起來(lái)圖像到圖像的方法是最不成功的，條件GAN是贏家。為清楚起見(jiàn)，我們還要比較每種方法的前3個(gè)最不可區(qū)分的類別（即最佳和最差結(jié)果）。

最明顯的是，按照相同的模型順序：

road (85.3), car (76.7), veg (72.0)
road (89.2), veg (77.9), car (77.8)
road (88.0), car (80.4), veg (78.7)

但是最糟糕的課程情況則不同：

train (0.3), bike (0.6), rider (3.3)
train (0.0), fence (10.9), wall (13.5)
train (0.9), t sign (11.6), pole (16.7)

再次， “train” 類似乎構(gòu)成了一種不可逾越的挑戰(zhàn)（可能在訓(xùn)練集中沒(méi)有那么多集合），但其他人都是不同的。因此，讓我們比較所有基于“自行車”， “bike”, “rider”, “fence”, “wall”, “t sign”, 和“pole” 類的模型。現(xiàn)在他們的分?jǐn)?shù)將非常明顯：

CVPR 2018摘要：第四部分

你可以從這些結(jié)果中得出不同的結(jié)論。但是我們個(gè)人覺(jué)得真正令人興奮的主要結(jié)果是，對(duì)于這樣一個(gè)復(fù)雜的任務(wù)可以提出許多不同的方法，在同一個(gè)會(huì)議上產(chǎn)生不同的論文（因此作者不能互相追隨，這些結(jié)果獨(dú)立出現(xiàn)）是完全可以相互比較，研究人員毫不猶豫地發(fā)布這些可比較的數(shù)字，而不是一些舒適的自我開(kāi)發(fā)的指標(biāo)，這將證明他們無(wú)可置疑的至高無(wú)上的地位方式去嘻嘻嘻現(xiàn)代機(jī)器學(xué)習(xí)。

最后，讓我們以更輕松的方式完成，還有一篇關(guān)于合成數(shù)據(jù)的有趣論文。

免費(fèi)監(jiān)督視頻游戲

在這項(xiàng)工作中，PhilippKr?henbühl（完整的pdf）為流行的Microsoft DirectX渲染API創(chuàng)建了一個(gè)包裝器，并在游戲運(yùn)行時(shí)為游戲添加了專門的代碼。這使得DirectX引擎能夠?qū)崟r(shí)生成地面實(shí)況標(biāo)簽，例如分段，語(yǔ)義標(biāo)記，深度估計(jì)，光流，內(nèi)在圖像分解和實(shí)例跟蹤！這聽(tīng)起來(lái)非?？?，因?yàn)楝F(xiàn)在，研究人員不僅可以手動(dòng)標(biāo)記數(shù)據(jù)或創(chuàng)建專用合成數(shù)據(jù)引擎，而且可以整天玩視頻游戲！您需要做的就是找到合適的3D游戲：

CVPR 2018摘要：第四部分