CVPR 2018摘要：第三部分

本文作者： AI研習(xí)社-譯站

2018-11-23 15:01

導(dǎo)語：CVPR 2018（計算機視覺和模式識別）會議已經(jīng)結(jié)束，但我們不能停止回顧其精彩的論文；今天，我們學(xué)習(xí)第三部分。

CVPR 2018摘要：第三部分

本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題：
NeuroNuggets: CVPR 2018 in Review, Part III
作者 | Sergey Nikolenko、Aleksey Artamonov
翻譯 | 老趙校對 | 醬番梨
整理 | 菠蘿妹
原文鏈接：
https://medium.com/neuromation-io-blog/neuronuggets-cvpr-2018-in-review-part-iii-82a5a3129caf

NeuroNuggets：CVPR 2018年回顧，第三部分

CVPR 2018（計算機視覺和模式識別）會議已經(jīng)結(jié)束，但我們不能停止回顧其精彩的論文; 今天，我們學(xué)習(xí)第三部分。在第一部分中，我們簡要回顧了2018年CVPR中關(guān)于計算機視覺GAN的最有趣的論文; 在第二部分中，增加了人性化，并談到了人類的姿勢估計和跟蹤。今天，我們轉(zhuǎn)向Neuromation中內(nèi)部研究的主要焦點之一：合成數(shù)據(jù)。像往常一樣，論文沒有特別的順序，我們的評論非常簡短，所以我們絕對建議完整閱讀論文。

合成數(shù)據(jù)：模仿學(xué)習(xí)

合成數(shù)據(jù)是指通過3D建模和渲染（通常用于計算機視覺）或通過其他方式人工生成的數(shù)據(jù)，然后用于訓(xùn)練機器學(xué)習(xí)模型。合成數(shù)據(jù)在機器學(xué)習(xí)中是一個令人驚訝的主題，最令人驚訝的是它被忽略了多長時間。有關(guān)合成數(shù)據(jù)的一些著作可以追溯到2000年代，但在2016年之前它基本上沒有引起任何興趣。它所使用的唯一領(lǐng)域是訓(xùn)練自動駕駛汽車，對模擬環(huán)境的需求和收集真實數(shù)據(jù)集的不可能性使其成為合成數(shù)據(jù)集的完美情況。

現(xiàn)在興趣正在迅速增長：我們現(xiàn)在擁有模擬室內(nèi)環(huán)境的SUNCG數(shù)據(jù)集，用于駕駛和導(dǎo)航的室外環(huán)境，用于學(xué)習(xí)姿勢估計和跟蹤的合成人的SURREAL數(shù)據(jù)集，以及甚至最近應(yīng)用GAN來生成和改進(jìn)合成的數(shù)據(jù)（我們希望回到這一點并解釋它之后的工作原理）。那么讓我們看看CVPR 2018作者對合成數(shù)據(jù)的看法。由于這是我們的主要關(guān)注點，因此我們將比通常更詳細(xì)地考慮合成數(shù)據(jù)的工作。

從GAN生成合成數(shù)據(jù)：特征空間中的增強和自適應(yīng)

R. Volpi等人，無監(jiān)督域適應(yīng)的對抗特征增強
S. Sankaranarayanan等人，生成適應(yīng)：對齊域使用生成性對抗網(wǎng)絡(luò)

CVPR 2018摘要：第三部分

有一個非常有趣和有前途的領(lǐng)域，即使用GAN生成合成數(shù)據(jù)集來訓(xùn)練其他模型。從表面上看，沒有多大意義：如果你有足夠的數(shù)據(jù)訓(xùn)練GAN，為什么不用它來訓(xùn)練模型呢？或者甚至更好，如果你有一個訓(xùn)練有素的GAN，你為什么不采取鑒別器并將它用于你的問題？

但是這個想法在自適應(yīng)域設(shè)置中變得更加有趣。假設(shè)你有一個大的源數(shù)據(jù)集和一個小的目標(biāo)數(shù)據(jù)集，并且需要使用針對目標(biāo)的源數(shù)據(jù)集訓(xùn)練的模型，該模型可能完全沒有標(biāo)記。這里，對抗域適應(yīng)技術(shù)訓(xùn)練兩個網(wǎng)絡(luò)，一個生成器和一個鑒別器，并用它來確保網(wǎng)絡(luò)不能在源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)分布之間進(jìn)行壓縮。這個領(lǐng)域是在Ganin和Lempitsky的ICML2015論文中開始的，其中使用鑒別器來確保這些特征保持域不變：

CVPR 2018摘要：第三部分

以下是2017年對抗性判別領(lǐng)域適應(yīng)論文中這一想法如何略微概括的示意圖：

CVPR 2018摘要：第三部分

在Volpi等人的CVPR 2018論文中，來自意大利和斯坦福的研究人員使對抗訓(xùn)練不是在原始圖像上，而是在特征空間本身。 GAN對預(yù)訓(xùn)練網(wǎng)絡(luò)提取的特征進(jìn)行操作，這使得有可能實現(xiàn)更好的域不變性并最終提高域適應(yīng)的質(zhì)量。以下是Volpi等人改編的整體培訓(xùn)程序：

CVPR 2018摘要：第三部分

另一種方法是由Sankaranarayanan等人在馬里蘭大學(xué)的研究人員在2018年的CVPR中提出的。他們使用GAN來利用無監(jiān)督數(shù)據(jù)，使源和目標(biāo)分布在特征空間中彼此更接近。基本上，該想法是使用鑒別器來控制從嵌入產(chǎn)生的圖像保持用于源分布的真實圖像，即使嵌入是從目標(biāo)分布的樣本中獲取的。以下是它的工作原理，作者再次報告了改進(jìn)的域適應(yīng)結(jié)果：

CVPR 2018摘要：第三部分

你應(yīng)該如何標(biāo)記？標(biāo)簽質(zhì)量研究

A. Zlateski等，關(guān)于標(biāo)簽質(zhì)量對語義分割的重要性

CVPR 2018摘要：第三部分

合成數(shù)據(jù)的主要賣點之一始終是像素完美的標(biāo)簽質(zhì)量，你可以使用合成數(shù)據(jù)輕松實現(xiàn)。合成場景總是帶有完美的分割 - 但它有多重要？這項工作的作者研究了如何精確（或多么粗略地）標(biāo)記你的訓(xùn)練集以從現(xiàn)代卷積體系結(jié)構(gòu)中獲得良好的分割質(zhì)量......當(dāng)然，與合成場景相比，執(zhí)行此研究的工具更好。

作者使用他們專門開發(fā)的Auto City數(shù)據(jù)集：

CVPR 2018摘要：第三部分

在他們的實驗中，作者表明，毫不奇怪，最終的分割質(zhì)量確實與生產(chǎn)標(biāo)簽所花費的時間量密切相關(guān)，但與每個單獨標(biāo)簽的質(zhì)量無關(guān)。這表明，生產(chǎn)大量粗標(biāo)簽（例如，使用眾包）比對每個標(biāo)簽執(zhí)行嚴(yán)格的質(zhì)量控制更好。

CVPR 2018摘要：第三部分