雷鋒網(wǎng) AI 科技評(píng)論按：大家都知道深度學(xué)習(xí)模型的表現(xiàn)會(huì)隨著訓(xùn)練數(shù)據(jù)增加而提高，所以為了不斷提高模型表現(xiàn)，模型本身的設(shè)計(jì)和訓(xùn)練數(shù)據(jù)擴(kuò)增方面的研究也都非常多。對(duì)于圖像相關(guān)的任務(wù)，傳統(tǒng)上有基于變換的數(shù)據(jù)擴(kuò)增方法，雷鋒網(wǎng) AI 科技評(píng)論曾經(jīng)介紹過(guò)谷歌式的暴力收集、有 Facebook 利用用戶上傳圖像的標(biāo)簽，也有蘋果的生成并微調(diào)。生成數(shù)據(jù)的方法當(dāng)然是最理想的，畢竟許多任務(wù)中所有有關(guān)的圖像加起來(lái)也沒有多少，而且生成數(shù)據(jù)的同時(shí)也直接獲得了真實(shí)標(biāo)簽。但生成數(shù)據(jù)的方法也有嚴(yán)重的問題，那就是生成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集的數(shù)據(jù)分布之間會(huì)有差異，這些差異限制了生成數(shù)據(jù)方法的效果。

對(duì)生成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集差異的探究目前也有不少成果，比如學(xué)習(xí)不同任務(wù)通用的圖像特征、學(xué)習(xí)圖像風(fēng)格遷移等，這樣可以讓生成數(shù)據(jù)集中的圖像看上去更像真實(shí)圖像。不過(guò)這篇論文的作者們認(rèn)為，圖像風(fēng)格的差異其實(shí)只是很小的因素，更重要的差異在于圖像內(nèi)容的差異，而且生成的圖像應(yīng)當(dāng)對(duì)新的任務(wù)有幫助。以往的圖像生成方法只能覆蓋有限的場(chǎng)景、有限的物體、有限的變化，對(duì)真實(shí)世界物體的多變性和屬性的分布刻畫不足；而且作者們提出，以 KITTI 數(shù)據(jù)集為例，它的數(shù)據(jù)是在德國(guó)采集的，但也許別的研究人員使用這個(gè)數(shù)據(jù)集訓(xùn)練的系統(tǒng)是想要在日本使用的，場(chǎng)景內(nèi)容一定會(huì)有所不同；甚至服務(wù)的任務(wù)目標(biāo)也可以不同。這都是現(xiàn)有的數(shù)據(jù)生成方法沒有解決，甚至沒有考慮的方面。如果完全在虛擬環(huán)境中復(fù)制重現(xiàn)的話，資金和時(shí)間成本也都非常高昂。

Meta-Sim 生成的數(shù)據(jù)集能夠縮小真實(shí)和生成數(shù)據(jù)之間的分布，而且能為下游任務(wù)進(jìn)行優(yōu)化

所以在論文《Meta-Sim: Learning to Generate Synthetic Datasets》中，作者們旗幟鮮明地提出，他們的研究目標(biāo)是自動(dòng)生成大規(guī)模標(biāo)注數(shù)據(jù)集，而且這個(gè)數(shù)據(jù)集是對(duì)下游任務(wù)有幫助的（數(shù)據(jù)集中的內(nèi)容分布能夠符合目標(biāo)使用場(chǎng)景）。作者們提出的方法是 Meta-Sim，它會(huì)學(xué)習(xí)到關(guān)于新合成的場(chǎng)景的生成式模型，而且可以通過(guò)一個(gè)圖形引擎同步獲得訓(xùn)練用的圖形和對(duì)應(yīng)的真實(shí)標(biāo)簽值。作者們接著用神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集生成器進(jìn)行參數(shù)化，使得它能夠?qū)W會(huì)修改從場(chǎng)景內(nèi)容分布概率中獲得的場(chǎng)景結(jié)構(gòu)圖的屬性，以便減小圖像引擎輸出的圖像和目標(biāo)數(shù)據(jù)集分布之間的差異。如果要模仿的真實(shí)數(shù)據(jù)集帶有一個(gè)小的有標(biāo)注驗(yàn)證集的話，作者們的方法還可以額外針對(duì)一個(gè)元目標(biāo)進(jìn)行優(yōu)化，也就是說(shuō)可以針對(duì)當(dāng)前數(shù)據(jù)集任務(wù)的下游任務(wù)進(jìn)行優(yōu)化。實(shí)驗(yàn)表明，與人工設(shè)計(jì)的場(chǎng)景內(nèi)容分布概率相比，他們提出的方法可以極大提高內(nèi)容生成質(zhì)量，可以在下游任務(wù)上定性以及定量地得到驗(yàn)證。更多具體細(xì)節(jié)可以參見論文原文。

這篇論文的作者們來(lái)自英偉達(dá)、多倫多大學(xué)、Vector 人工智能學(xué)院以及MIT。

項(xiàng)目主頁(yè)參見： https: //nv-tlabs.github.io/meta-sim/ 

論文地址：https://arxiv.org/abs/1904.11621 

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。