0
| 本文作者： camel | 2018-05-21 19:41 | 專(zhuān)題：CVPR 2018 |
雷鋒網(wǎng) AI 科技評(píng)論按：2018 年 5 月 11 日，由微軟亞洲研究院、清華大學(xué)媒體與網(wǎng)絡(luò)技術(shù)教育部-微軟重點(diǎn)實(shí)驗(yàn)室、商湯科技、中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)專(zhuān)委會(huì)、中國(guó)圖象圖形學(xué)會(huì)視覺(jué)大數(shù)據(jù)專(zhuān)委會(huì)合作舉辦了 CVPR 2018 中國(guó)論文宣講研討會(huì)，數(shù)十位 CVPR 2018 收錄論文的作者在此論壇中分享其最新研究和技術(shù)觀點(diǎn)。研討會(huì)共包含了 6 個(gè) session（共 22 個(gè)報(bào)告），1 個(gè)論壇，以及 20 多個(gè) posters，AI 科技評(píng)論將為您詳細(xì)報(bào)道。
雷鋒網(wǎng)注：全球計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議 IEEE CVPR 2018 將于 6 月 18 - 22 日在美國(guó)鹽湖城召開(kāi)。據(jù) CVPR 官網(wǎng)顯示，今年大會(huì)有超過(guò) 3300 篇論文投稿，其中錄取 979 篇；相比去年 783 篇論文，今年增長(zhǎng)了近 25%。
更多報(bào)道請(qǐng)參看雷鋒網(wǎng)更多報(bào)道：
Session 3: Person Re-Identification and Tracking
Session 4: Vision and Language
本文為 Session 1，報(bào)告論文主要以使用 GAN 方法和生成方法為主，共有四場(chǎng)論文報(bào)道。
在第一個(gè)報(bào)告中，北京大學(xué)劉家瑛副教授介紹他們團(tuán)隊(duì)使用 Attentive GAN 從單幅圖像中去除雨滴的工作；第二個(gè)報(bào)告由來(lái)自中科院自動(dòng)化所的胡一博博士介紹他們通過(guò) CAPG-GAN 算法實(shí)現(xiàn)人臉旋轉(zhuǎn)任意角度的工作；隨后是由北京大學(xué)連宙輝副教授介紹了他們提出的交互式紋理變換的通用框架；最后由來(lái)自微軟亞洲研究院的傅建龍研究員介紹了他們提出的基于instance-level的 DA-GAN（深度注意生成對(duì)抗網(wǎng)絡(luò)），該網(wǎng)絡(luò)在圖像到圖像翻譯中能夠?qū)崿F(xiàn)更精細(xì)的生成結(jié)果。
報(bào)告題目：Attentive Generative Adversarial Network for Raindrop Removal from A Single Image
報(bào)告人：劉家瑛，北京大學(xué)
論文下載地址：
[1] Attentive Generative Adversarial Network for Raindrop Removal from A Single Image
[2] Deep Joint Rain Detection and Removal From A Singal Image
去除圖片中的雨痕，一般有四種情景，如下圖所示，分別為：落下的雨滴（Rain Drop 1），落在鏡頭上的雨滴（Rain Drop 2），雨線（Rain Streak），以及雨霧（Mist）。
劉家瑛團(tuán)隊(duì)在去年 CVPR 中曾發(fā)表過(guò)一篇關(guān)于去除雨痕的文章《Deep Joint Rain Detection and Removal From A Singal Image》，在這篇論文中他們主要研究如何去除圖片中的雨線。但在無(wú)人駕駛或相關(guān)研究中，更具挑戰(zhàn)性的一個(gè)任務(wù)是如何去除落在玻璃或者鏡頭上的雨滴。劉家瑛在本次分享會(huì)上介紹了她所指導(dǎo)的北大大二學(xué)生 Rui Qian 所做的該方面工作，也即去除單張圖片上隨機(jī)散布的雨滴（Rain Drop 2）。
在此之前僅有的一篇類(lèi)似研究，是由 David Eigen 等人發(fā)表在 ICCV 2013 的一篇文章，在這篇文章中由于作者只使用了 3 層卷積網(wǎng)絡(luò)，所以只能處理很少的 case，同時(shí)能夠處理的圖片上的雨滴也非常小，基本上可以視為灰塵。
在劉家瑛所分享的這篇文章中，其思路仍然延續(xù)去年文章的方法，即生成數(shù)據(jù)集，然后用生成的數(shù)據(jù)集來(lái)訓(xùn)練模型。
數(shù)據(jù)集的生成方式是，本文作者 Rui Qian 使用單反+一個(gè) 3 毫米厚的玻璃片（或者直接把水噴在鏡頭上）收集了 1000 多對(duì)（有雨和無(wú)雨）在不同戶(hù)外環(huán)境、不同背景、不同尺寸和形狀的雨滴圖像，以模擬真實(shí)環(huán)境中雨滴的多樣性。使用一個(gè)數(shù)學(xué)公式來(lái)表達(dá)帶有雨滴圖像的話，如圖中公式所示：
在該論文中作者選擇使用 GAN 的方法，整個(gè)模型的框架如下圖所示：
共包含三個(gè)部分，分別為：Generator（Attention-recurrent Network），Context Autoencoder 和 Dicriminator Network。
第一部分主要的工作是做檢測(cè)（即檢測(cè)雨滴在圖片中的位置），然后生成 attention map。首先使用 Residual block 從雨滴圖片中抽取 feature，漸進(jìn)式地使用 Convs 來(lái)檢測(cè) attentive 的區(qū)域。訓(xùn)練數(shù)據(jù)集中圖片都是成對(duì)的，所以可以很容易計(jì)算出相應(yīng)的 mask（M），由此可以構(gòu)建出 Loss 函數(shù)；由于不同的 attention 網(wǎng)絡(luò)刻畫(huà) feature 的準(zhǔn)確度不同，所以給每個(gè) loss 一個(gè)指數(shù)的衰減。相應(yīng)的 loss 函數(shù)如下：
隨后將 attention map 和雨滴圖像一起送給 autoencoder，生成去雨滴圖像。autoencoder 的結(jié)構(gòu)用了 16 個(gè) Conv 和 Relu。為了避免網(wǎng)絡(luò)本身造成的 blur，作者使用了 skip connection，因?yàn)樵诘图?jí)層次這會(huì)帶來(lái)很好的效果。在構(gòu)建 loss 方面，除了多尺度的考慮，還加上了一個(gè)高精度的 loss，即：Multi-scale loss + perceptual loss。
最后一個(gè)是 discriminator。這個(gè)步驟有兩種方式，一種是只使用 autoencoder 生成的無(wú)雨滴圖像，進(jìn)行判斷；另一種則是加入 attention map 作為指導(dǎo)。如圖所示：
作者使用兩個(gè)數(shù)據(jù)集（PSNR 和 SSIM）進(jìn)行了驗(yàn)證，其中 PSNR 是他們自己收集的數(shù)據(jù)集。作者選用 Eigen 等人 2013 年發(fā)表的工作以及 Pix2Pix 的方法作為對(duì)比。結(jié)果如下：
其中 A 表示只有 Autoencoder，A+D 表示 Autoencoder+Discriminator，A+AD 表示 Autoencoder + Attention Discriminator，AA + AD 表示 Attention Autoencoder + Attention Discriminator。
實(shí)際去雨效果如圖所示：
參考資料：
[1] https://arxiv.org/abs/1609.07769
[2] https://arxiv.org/abs/1711.10098
[3] https://arxiv.org/abs/1802.07412
[4] 生成式對(duì)抗網(wǎng)絡(luò)去除雨滴效果，如何實(shí)現(xiàn)有哪些論文？
[5] 第十三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議，張廣軍院士等學(xué)者報(bào)告其多年研究工作
報(bào)告題目：Pose-Guided Photorealistic Face Rotation
報(bào)告人：胡一博，中科院自動(dòng)化所
論文下載地址：Pose-Guided Photorealistic Face Rotation
對(duì)于如何將圖像中的人臉旋轉(zhuǎn)任意角度，例如從一張正臉圖像生成側(cè)臉圖像，或反之從側(cè)臉恢復(fù)其正臉圖像，無(wú)論是學(xué)術(shù)界還是工業(yè)界都給予了很大的關(guān)注，因?yàn)檫@可以用于人臉編輯、姿態(tài)變換、數(shù)據(jù)增強(qiáng)、表示學(xué)習(xí)等當(dāng)中。
視角旋轉(zhuǎn)有 x、y、z 三個(gè)方向，目前研究中主要考慮左右偏轉(zhuǎn)。如果從單張圖像進(jìn)行旋轉(zhuǎn)的話，這其實(shí)是一種「無(wú)中生有」、一對(duì)多的病態(tài)問(wèn)題。因此目前人臉旋轉(zhuǎn)存在真實(shí)性不高、分辨率較低、身份信息保持較差的問(wèn)題。
胡一博在介紹他們的工作之前，簡(jiǎn)單介紹了人臉旋轉(zhuǎn)研究的歷程，如下圖所示：
從 2015 年的 CVPR 論文開(kāi)始，人臉識(shí)別逐漸引起廣泛的關(guān)注。目前人臉識(shí)別主要分成兩個(gè)部分，一個(gè)是人臉正面化，一個(gè)是水平方向的任意角度旋轉(zhuǎn)。之所以將人臉正面化作為一個(gè)單獨(dú)的部分，是因?yàn)槿四樥婊倪^(guò)程中可以引入「對(duì)稱(chēng)性」的強(qiáng)約束，從而降低一對(duì)多問(wèn)題的困難。
其中的 TP-GAN 是人臉正面化中一個(gè)里程碑式的工作，這種方法出現(xiàn)之后使得人臉轉(zhuǎn)正能夠達(dá)到以假亂真的效果。TP-GAN 之所以能夠這么有效是因?yàn)?，它通過(guò)一條全局通路和 4 個(gè)局部通路（分別對(duì)應(yīng)人的五官），最終讓局部和全局的通路進(jìn)行融合。但是這種方法有兩點(diǎn)不足：1）它受限于最慢通路的約束存在一定的性能瓶頸；2）只適用于人臉正面化的問(wèn)題中，而不能應(yīng)用于更廣泛的人臉旋轉(zhuǎn)中。針對(duì)這兩個(gè)問(wèn)題，胡一博認(rèn)為我們需要提升其網(wǎng)咯性能以及實(shí)現(xiàn)任意姿態(tài)的人臉旋轉(zhuǎn)。
另一方面，全局優(yōu)先拓?fù)涓兄碚撝赋錾镆曈X(jué)系統(tǒng)對(duì)全局拓?fù)浣Y(jié)構(gòu)非常敏感。人臉五官包含著很豐富的全局拓?fù)湫畔?，因此以人臉全局拓?fù)湫畔⒆鳛橐粋€(gè)條件指導(dǎo)整個(gè)人臉的過(guò)程。
基于上面兩方面的啟發(fā)，胡一博等人提出了 CAPG-GAN 的方法，該方法能夠進(jìn)行二維空間中任意角度的人臉旋轉(zhuǎn)。選擇人臉全局拓?fù)湫畔⒆鳛闂l件有兩個(gè)優(yōu)勢(shì)，首先它可以提供人臉的結(jié)構(gòu)信息促使生成的圖像更加的逼真，其次在判別器中它可以作為先驗(yàn)知識(shí)，可以提高判別器對(duì)于人臉結(jié)構(gòu)的判別性，進(jìn)而促使生成器生成分辨率較高的圖像。CAPG-GAN 的結(jié)構(gòu)圖如下：
輸入包括原始圖像 I^a，原始圖像的五個(gè)關(guān)鍵點(diǎn) P^a，以及目標(biāo)姿態(tài)的關(guān)鍵點(diǎn) P^b，通過(guò)生成器 G 輸出目標(biāo)圖像。判別器采用的是 couple-agent 的結(jié)構(gòu)，本質(zhì)上就是兩個(gè)獨(dú)立的判別器，agent 1 判別旋轉(zhuǎn)角度的真實(shí)性，agent 2 判斷的是拓?fù)浣Y(jié)構(gòu)的真實(shí)性。
針對(duì)兩個(gè) agent，對(duì)應(yīng)的損失函數(shù)如下圖所示：
胡一博團(tuán)隊(duì)針對(duì)人臉正面化以及旋轉(zhuǎn)任意角度的任務(wù)在多種數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，其結(jié)果表現(xiàn)優(yōu)異。效果如下：
參考資料：
[1] https://ieeexplore.ieee.org/document/4641931/
[2] 中科院自動(dòng)化所智能感知與計(jì)算研究中心11篇論文被CVPR接收 | CVPR 2018
[3] https://www.zhihu.com/question/23830904
[4] http://www.cripac.ia.ac.cn/irds/People/rhe.html
[5] http://science.sciencemag.org/content/218/4573/699
[6] 中科院自動(dòng)化所赫然：大規(guī)模人臉圖像編輯理論、方法及應(yīng)用
報(bào)告題目：A Common Framework for Interactive Texture Transfer
報(bào)告人：連宙輝，北京大學(xué)
論文下載地址：
研究來(lái)源于需求。連宙輝副教授來(lái)自北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所（該研究所是由）的字形計(jì)算技術(shù)實(shí)驗(yàn)室。傳統(tǒng)上，字形設(shè)計(jì)需要人工對(duì)每個(gè)字進(jìn)行手寫(xiě)或者設(shè)計(jì)，然后輸入系統(tǒng)才能夠被利用。但是由于中文有大量的漢字，且很多漢字的結(jié)構(gòu)非常復(fù)雜，所以這項(xiàng)工作艱難且費(fèi)時(shí)。一種解決方法就是，設(shè)計(jì)一個(gè)特定風(fēng)格的字，然后通過(guò)變換遷移到別的字上。
那么是否可以將任意紋理的圖像風(fēng)格通過(guò)變換遷移到一個(gè)目標(biāo)漢字上呢？更廣義一點(diǎn)，是否可以將任意紋理風(fēng)格遷移到任意圖像上呢？基于這些思考，連宙輝團(tuán)隊(duì)在其論文中提出一種交互式的紋理遷移通用框架。
如上圖所示，該通用框架能夠：（a）將涂鴉轉(zhuǎn)換為藝術(shù)品，（b）編輯裝飾模式，（c）生成特殊效果的文本，（d）控制文本中的效果分布圖像，（e）交換紋理。
紋理遷移的問(wèn)題其實(shí)就是，如何輸入原始紋理圖像、原始圖像的語(yǔ)義圖以及目標(biāo)圖像的語(yǔ)義圖后，從而輸出目標(biāo)紋理圖像。
其中較為關(guān)鍵的問(wèn)題是，如何將兩張語(yǔ)義圖進(jìn)行匹配。例如上圖中，對(duì)于邊緣由于有豐富的語(yǔ)義信息指引，因此可以較為容易地進(jìn)行匹配；但是對(duì)于內(nèi)部大面積的區(qū)域（d、e），同一個(gè)點(diǎn)有很多地方可以去匹配，作者選擇利用從邊緣傳過(guò)來(lái)的信息（紋理一致和結(jié)構(gòu)引導(dǎo)）可以實(shí)現(xiàn)很好的匹配效果。
整個(gè)流程如上圖所示，共分為三大部分 7 個(gè)步驟。需要說(shuō)明的是，基于交互式結(jié)構(gòu)的圖像合成是由語(yǔ)義映射和結(jié)構(gòu)信息來(lái)指導(dǎo)的，其中用戶(hù)可以對(duì)語(yǔ)義通道進(jìn)行注釋來(lái)控制目標(biāo)圖像中風(fēng)格化紋理的空間分布。在結(jié)構(gòu)提取環(huán)節(jié)，通過(guò)內(nèi)容感知顯著性檢測(cè)自動(dòng)提取結(jié)構(gòu)通道，并將其從源樣式圖像傳遞到目標(biāo)。具體而言，傳播步驟通過(guò)在源圖像和目標(biāo)圖像之間的關(guān)鍵輪廓點(diǎn)的配準(zhǔn)來(lái)獲取內(nèi)部結(jié)構(gòu)對(duì)應(yīng)關(guān)系。結(jié)合語(yǔ)義和結(jié)構(gòu)信息進(jìn)行動(dòng)態(tài)指導(dǎo)，可以使轉(zhuǎn)換過(guò)程產(chǎn)生具有內(nèi)容意識(shí)和低級(jí)細(xì)節(jié)的高質(zhì)量紋理。
本文提出了一個(gè)結(jié)構(gòu)指導(dǎo)的交互式紋理傳遞的一般框架。該方法可以自動(dòng)將樣式從給定的源圖像遷移到用戶(hù)控制的目標(biāo)圖像，同時(shí)保持結(jié)構(gòu)的完整性和視覺(jué)豐富性。更具體地說(shuō)，作者引入了通過(guò)自動(dòng)提取顯著區(qū)域和傳播結(jié)構(gòu)信息獲得的結(jié)構(gòu)指導(dǎo)。通過(guò)將結(jié)構(gòu)通道與語(yǔ)義和紋理一致性結(jié)合起來(lái)，可以實(shí)現(xiàn)指導(dǎo)紋理轉(zhuǎn)移。實(shí)驗(yàn)結(jié)果表明，所提出的框架廣泛適用于許多紋理轉(zhuǎn)移挑戰(zhàn)。盡管目前大多數(shù)模型都傾向于使用基于神經(jīng)的方法進(jìn)行樣式轉(zhuǎn)換，但本文的結(jié)果表明，簡(jiǎn)單的傳統(tǒng)的紋理合成框架仍然可以表現(xiàn)出優(yōu)異的性能。
參考資料：
[1] http://www.icst.pku.edu.cn/zlian/
[2] http://www.icst.pku.edu.cn/F/zLian/papers/CVPR18-Men.pdf
[3] http://www.icst.pku.edu.cn/cscl?p=556
報(bào)告題目：DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Network
報(bào)告人：傅建龍，微軟亞洲研究院
論文下載地址：
DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Network
本文是另外一篇將 Attention 機(jī)制與 GAN 相結(jié)合，以生成更高質(zhì)量目標(biāo)的工作。
傅建龍?jiān)趫?bào)告中認(rèn)為，CV 中的圖像到圖像的翻譯任務(wù)（Image2Image Translation）是一個(gè)比較廣泛的概念，即根據(jù) source domain 中的圖像生成 target domain 中的對(duì)偶圖像，同時(shí)在翻譯過(guò)程中約束生成的樣本和 source 中的樣本有盡量一致的分布。事實(shí)上有許多基本的 CV 問(wèn)題都屬于圖像到圖像的翻譯問(wèn)題，例如白天到黑夜的圖像轉(zhuǎn)換、黑白照到彩色照的轉(zhuǎn)換、低像素到高像素的轉(zhuǎn)換、去除水印、圖像分割、2D 到 3D、梵高風(fēng)格化、木炭風(fēng)格、缺失部分復(fù)原等。
更高級(jí)的如下圖這些：
在這所有的任務(wù)中，根據(jù)是否是一對(duì)一的學(xué)習(xí)對(duì)，將這些任務(wù)劃分為 pair data 任務(wù)和 unpair data 任務(wù)。（如下圖所示）
其中前者在訓(xùn)練數(shù)據(jù)集中具有一對(duì)一的數(shù)據(jù)對(duì)，x 作為輸入，y 用來(lái)計(jì)算輸出的 loss 函數(shù)，目前效果最好的網(wǎng)絡(luò)是 Pix2Pix 網(wǎng)絡(luò)；而后者則是兩個(gè)獨(dú)立的數(shù)據(jù)集之間的訓(xùn)練，模型應(yīng)該能夠從兩個(gè)集合中自動(dòng)地發(fā)現(xiàn)集合之間的關(guān)聯(lián)，從而來(lái)學(xué)習(xí)出映射函數(shù)，其中目前效果最好的網(wǎng)絡(luò)是 CycleGAN 模型。
但是以上這些都是基于圖像級(jí)的特征學(xué)習(xí)，若想完成更高質(zhì)量要求的生成任務(wù)（例如要求改變圖像區(qū)域的風(fēng)格）則較為困難。于是有人便提出了基于 instance-level 的圖像到圖像的翻譯方法——PatchGAN：
如傅建龍所說(shuō)，做研究就是要找到前人所沒(méi)有填補(bǔ)的空缺。通過(guò)畫(huà)出上圖，可以很明白地看出，對(duì)應(yīng)的也應(yīng)該有基于 unpaired instance-level 的圖像到圖像的翻譯方法。這正是本文的工作，即能否自動(dòng)地發(fā)現(xiàn) source domain 和 target domain 的 instance 之間的關(guān)聯(lián)，同時(shí)這是一種 unpair 的方法，不需要任何人類(lèi)標(biāo)注。
既然是基于 instance-level 的方法，那么首先就要問(wèn)：什么是 instance？
事實(shí)上，這是一個(gè)比較寬泛的概念，在不同的任務(wù)中可以有不同的定義。例如在生成鳥(niǎo)的任務(wù)中，鳥(niǎo)本身是一個(gè) instance，鳥(niǎo)的嘴、腿、翅膀、尾巴等也都可以是 instance；如果想要建立更細(xì)致的生成模型，也可更加細(xì)致地去定義更多種 instance。
介紹了以上的思路后，模型本身的構(gòu)建就很清晰了。如上圖所示，首先通過(guò)一個(gè)深度 Attention 編碼器（DAE）來(lái)自動(dòng)地學(xué)習(xí)各個(gè) instance，然后將不同的部分分別投射到一個(gè)「隱空間」，最后通過(guò) GAN 網(wǎng)絡(luò)進(jìn)行生成。
定量的比較可以看出，DA-GAN 相比于其他方法有較大的提升。
在定性比較方面，有下面三種：
Text to Image
object configuration
pose morphing
從左到右分別為 source bird、target bird 和 DA-GAN 生成的鳥(niǎo)。一個(gè)疑問(wèn)是：鳥(niǎo)腿缺失是因?yàn)槭裁茨兀?/span>
本文提出了一種無(wú)監(jiān)督的圖像翻譯的方法，即通過(guò)更細(xì)致化的 instance-level 的 GAN 生成來(lái)獲得更高質(zhì)量的翻譯圖像。通過(guò)實(shí)驗(yàn)結(jié)果可以很明顯地看出 DA-GAN 相較于其他網(wǎng)絡(luò)在性能上的提升。但是需要注意的是，在生成結(jié)果中仍然存在一些失敗的地方（例如前面提到的「缺失的鳥(niǎo)腿」），這可能由于模型中的 instance 是通過(guò)弱監(jiān)督 Attention 機(jī)制學(xué)到的，這與完全監(jiān)督下的學(xué)習(xí)還是有一定的差距。如何彌補(bǔ)，或許要靜等傅建龍團(tuán)隊(duì)接下來(lái)的工作了。
相關(guān)文章：
[1] DA-GAN技術(shù)：計(jì)算機(jī)幫你創(chuàng)造奇妙“新物種”
[2] https://blog.csdn.net/sinat_31790817/article/details/79658006
[3] https://github.com/wolegechu/learning-every-day/issues/2
[4] http://chenpeng.online/2018/05/23/DA-GAN/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
專(zhuān)題
本專(zhuān)題其他文章
