0
雷鋒網(wǎng) AI 科技評論按：本文為 2018 年 5 月 11 日在微軟亞洲研究院進行的 CVPR 2018 中國論文宣講研討會中第 5 個 Session ——「Segmentation, Detection」環(huán)節(jié)的三場論文報告。
在第一個報告中，來自西北工業(yè)大學(xué)的戴玉超教授介紹了他們在物體檢測方面的工作。其工作的新穎之處在于，他們將較為經(jīng)濟的但不太精確的傳統(tǒng)手工方法應(yīng)用于深度學(xué)習(xí)網(wǎng)絡(luò)當(dāng)中，即將傳統(tǒng)手工方法得到的結(jié)果視作預(yù)測結(jié)果 + 噪聲，從而作為監(jiān)督信號來同時訓(xùn)練預(yù)測模型和噪聲模型，實現(xiàn)了傳統(tǒng)方法在深度學(xué)習(xí)時代的又一春。
第二個報告由來自商湯科技的石建萍博士介紹了商湯科技在自動駕駛相關(guān)問題中的研究工作，分別包括場景理解、物體理解、視頻理解和 3D 場景結(jié)構(gòu)理解。其中物體理解方面的工作在去年 COCO 物體分割和物體識別中分別獲得第一名和第二名的成績。
來自微軟亞洲研究院的廖菁研究員在第三個報告中介紹了微軟亞洲研究院在神經(jīng)風(fēng)格變換方面的相關(guān)工作，包括理論和應(yīng)用兩方面。在理論方面，他們通過分析先前的風(fēng)格轉(zhuǎn)換不同類型的優(yōu)缺點，設(shè)計出了一種綜合兩類模型優(yōu)點，同時摒棄其缺點的模型。在應(yīng)用方面，考慮到風(fēng)格變換應(yīng)用于VR/AR中，如果兩個視野的風(fēng)格變換不一致將會導(dǎo)致鬼影出現(xiàn)，他們通過加入約束解決了該問題。
雷鋒網(wǎng)注：
[1] CVPR 2018 中國論文宣講研討會由微軟亞洲研究院、清華大學(xué)媒體與網(wǎng)絡(luò)技術(shù)教育部-微軟重點實驗室、商湯科技、中國計算機學(xué)會計算機視覺專委會、中國圖象圖形學(xué)會視覺大數(shù)據(jù)專委會合作舉辦，數(shù)十位 CVPR 2018 收錄論文的作者在此論壇中分享其最新研究和技術(shù)觀點。研討會共包含了 6 個 session（共 22 個報告），1 個論壇，以及 20 多個 posters，雷鋒網(wǎng) AI 科技評論將為您詳細報道。
[2] CVPR 2018 將于 6 月 18 - 22 日在美國鹽湖城召開。據(jù) CVPR 官網(wǎng)顯示，今年大會有超過 3300 篇論文投稿，其中錄取 979 篇；相比去年 783 篇論文，今年增長了近 25%。
更多報道請參看：
Session 3: Person Re-Identification and Tracking
Session 4: Vision and Language
論文：Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective
報告人：戴玉超 - 西北工業(yè)大學(xué)，教授
從 2012 年深度卷積網(wǎng)絡(luò)出現(xiàn)并被廣泛且成功地引入到其他領(lǐng)域后，許多傳統(tǒng)的方法都被拋棄到垃圾堆里。
以視覺顯著性檢測為例，即從一幅圖像中提取人眼最感興趣的區(qū)域或者物體，當(dāng)前所有的 benchmark 方法都是基于深度卷積網(wǎng)絡(luò)。那么傳統(tǒng)的基于經(jīng)驗和手工設(shè)計的方法在深度學(xué)習(xí)的時代真的就完全沒用了嗎？
戴玉超教授的這篇論文的工作正是對上述問題的回答。盡管深度學(xué)習(xí)方法當(dāng)前來看取得了極大的成功，但是這些方法大多是基于監(jiān)督學(xué)習(xí)，也即需要用大量、準(zhǔn)確的標(biāo)注數(shù)據(jù)，而對于視覺顯著性檢測任務(wù)來講，標(biāo)注數(shù)據(jù)依然是一個困難的事情。而另一方面，傳統(tǒng)的手工顯著性檢測方法中融入了人類的知識，盡管其表現(xiàn)不如現(xiàn)在大多數(shù)的基于深度神經(jīng)網(wǎng)絡(luò)的方法，但是它可以通過無監(jiān)督學(xué)習(xí)的方法獲得結(jié)果。
于是戴玉超教授等人就想，是否可以將傳統(tǒng)方法所獲得的結(jié)果看做是一個理想的顯著性檢測圖與噪聲的疊加，從而將這個結(jié)果作為監(jiān)督來同時訓(xùn)練顯著性檢測模塊和噪聲模塊？如果成功，那么這將是一個端到端的無監(jiān)督視覺顯著性檢測模型。
首先描述其任務(wù)，即：當(dāng)給定一個彩色圖像 x_i 時，通過不同的「無監(jiān)督顯著性方法」得到一系列帶噪聲的顯著性圖 y_ij，在這些結(jié)果的監(jiān)督下學(xué)習(xí)一個更好的顯著性圖。
戴玉超等人設(shè)計的模型如下圖所示：
這里包含一個隱藏的顯著性檢測模塊和一個噪聲模型模塊。當(dāng)給定一個輸入圖像后，一個無監(jiān)督的手工的顯著性檢測方法會生成一個噪聲顯著性圖 y_ij。他們在這個框架中將這個圖視為待預(yù)測的顯著性圖與一個噪聲的疊加。這個噪聲是一個預(yù)設(shè)的帶參數(shù)的模型，例如高斯分布模型。通過不斷地優(yōu)化，最小化 loss 函數(shù)：
從而同時訓(xùn)練出一個較好的顯著性模型和相應(yīng)的噪聲模型。
這里提到三種 baseline：第一種是用帶噪聲的無監(jiān)督顯著性直接作為 ground truth 進行監(jiān)督訓(xùn)練；第二種是用平均后的無監(jiān)督顯著性作為 ground truth 進行監(jiān)督訓(xùn)練；第三種是當(dāng)前用標(biāo)注數(shù)據(jù)進行監(jiān)督訓(xùn)練的模型。對比結(jié)果如下：
同時他們也比較了當(dāng)前幾種較好的監(jiān)督和無監(jiān)督模型：
從上述兩個結(jié)果中，可以看出這種方法相比多數(shù)無監(jiān)督模型的結(jié)果都要好很多，而相比監(jiān)督學(xué)習(xí)也并不差；最為關(guān)鍵的問題是，它不需要標(biāo)注數(shù)據(jù)，是一個端到端的模型。
這種新穎的方法，顯然可以很輕易地拓展到其他領(lǐng)域，包括語義分割等。
報告題目：Effective Scene Understanding for Autonomous Driving (4 papers)
報告人：石建萍 - 商湯科技
論文下載地址：
[1] 場景理解：Context Encoding for Semantic Segmentation ( oral )
[2] 物體理解：Path Aggregation Network for Instance Segmentation ( spotlight )
[3] 視頻理解：Low-Latency Video Semantic Segmentation ( spotlight )
石建萍在此介紹了商湯科技在 CVPR 2018 上發(fā)表的眾多文章中的 4 篇，分別為自動駕駛研究中的場景理解、物體理解、視頻理解和 3D 場景結(jié)構(gòu)理解。
關(guān)于場景理解，商湯科技在 CVPR 2017 的一篇錄用論文中已做了相關(guān)研究，他們在那篇文章中提出了 PSPNet 模型，通過 pyramid pooling 的方法對場景做了一個全局的表示。
這種方式能夠得到比較好的場景信息，但是（1）這個 pyramid pooling 的結(jié)構(gòu)是人為設(shè)計出來的；（2）其計算仍然相對比較 heavy。針對這兩點，他們在今年的這篇文章中做了進一步的優(yōu)化和加速。其基本的想法就是將人為設(shè)計的 pyramid pooling 換成一種更靈活、有效的模塊。
首先，他們把 feature encode 成類似 dictionary Learning 的表達方式。當(dāng)一張輸入圖片經(jīng)過 CNN 網(wǎng)絡(luò)之后，把信息 encode 到 dictionary basis 里面，其中場景的表述就被學(xué)到其中的 feature 上。然后再把學(xué)習(xí)到的場景的 feature 拉伸到圖片原有維度，于是便可以得到場景的信息。
除了 context encoding module，石建萍等人在模型中還加入了一個 loss，即 semantic encoding loss，其目的是為了學(xué)習(xí)全局中某一類別是否存在，加了這樣一個全局約束后，對于那些較小的類別的預(yù)測將更好一些。
整體來說這種方法比去年的方法的表現(xiàn)稍好一點，但是石建萍仍然對此表示遺憾，因為她認(rèn)為整個這個方向在去年一年里并沒有提升太多，所以還需要去看是否是因為別的原因（例如數(shù)據(jù)原因）導(dǎo)致性能無法有較大提升。
物體理解的這篇文章是他們?nèi)ツ暝?COCO 比賽中的工作，其中在物體分割上獲得了第一名，在物體檢測中獲得了第二名。
據(jù)石建萍介紹，他們最初的目的就是希望能夠達到比較高的指標(biāo)，因此他們當(dāng)時就基于兩個最好的框架，一個是 FPNet，一個是 Mask-RCNN，并做了一系列的改進。
他們設(shè)計出的網(wǎng)絡(luò)如下：
從這個網(wǎng)絡(luò)中，仍然可以看出 FPNet 和 Mask-RCNN 的影子。其改進的地方是：（a）將 FPNet 的 backbone 做了一次 bottom-up 的增強；（b）在 FPNet 中每一個 scale 的 proposal 都是從對應(yīng)的 scale 直接得來的，但石建萍他們發(fā)現(xiàn)事實上其他 scale 也將對該 scale 的 proposal 有很大幫助，因此他們加入了 adaptive feature learning 的模塊；（c）在 Mask-RCNN 這一塊，他們加入了 fully-connected fusion，這樣可以保持更多的全局信息，使得 mask 有進一步的提升。
下面是加入各個模塊后在性能上所帶來的提升：
從實際場景中拿到的大部分?jǐn)?shù)據(jù)都是視頻數(shù)據(jù)，但是至今仍然沒有一個能夠很好地利用視頻的方案。石建萍等人在這篇文章中考慮的一個重點是如何降低視頻理解中的 latency，同時保持較好的表現(xiàn)。
其設(shè)計的網(wǎng)絡(luò)如下圖所示：
關(guān)鍵的思想就是，給關(guān)鍵幀相對較高的計算量，而比較類似的幀相應(yīng)地就少分配一些計算。在網(wǎng)絡(luò)中，另一個比較關(guān)鍵的點是，把前一幀的 feature 傳遞給后一幀。
他們針對 features，設(shè)定一個 threshold，從而可以自動地選取關(guān)鍵幀。顯然這里 threshold 值的大小也決定了計算的精度；事實上如果沒有必要完全可以設(shè)置一個稍高的 threshold。此外，這種方式也可以動態(tài)地反映視頻幀的變化，例如當(dāng)場景變化較快時關(guān)鍵點也會較快地出現(xiàn)。
feature 傳遞則是通過底層的 feature 學(xué)習(xí)相應(yīng)的權(quán)重，這些權(quán)重是和 input 相關(guān)的，通過這些權(quán)重可以實現(xiàn)自動地特征傳遞。另外一點是，他們還設(shè)計了調(diào)度策略，使得整個關(guān)鍵幀的計算可以延后，也即在非關(guān)鍵幀的部分也可以同時去計算關(guān)鍵幀的信息；通過這個調(diào)度方案，可以有效地將整個網(wǎng)絡(luò)的延遲降下來。
相比來說其他的方案在做視頻理解時，往往需要針對每一幀做一個較為 heavy 的計算，而這篇文章所提出的方案能夠有效降低整個模型的 latency，而同時保證了較高的性能。
之前 3D 場景結(jié)構(gòu)理解的研究中，有做深度的估計，有做光流的估計，有做 camera 運動的估計等，但它們的每個部分都是獨立的網(wǎng)絡(luò)。石建萍等人因此考慮是否可以是否可以基于 CNN 的方案，加上幾何約束，來構(gòu)建一個統(tǒng)一的框架，同時能夠得到一個更好的結(jié)果呢？
網(wǎng)絡(luò)模型的結(jié)構(gòu)如下圖所示：
整個模型為無監(jiān)督網(wǎng)絡(luò)，業(yè)績不需要任何外部信息就可以把深度、光流、相機運動訓(xùn)練出來。首先通過一個 DepthNet 來預(yù)測深度，得到一個 depth map；另外用 PoseNet 通過前后兩幀之間的信息來預(yù)測 camera motion；隨后將 depth map 和 camera motion 組合成 rigid flow，通過 rigid flow 與 final flow 即可完成一個監(jiān)督學(xué)習(xí)。
另一方面，考慮到場景中會有一些不變的結(jié)構(gòu)（rigid structure）；而人、車等則會因為運動而變化（non-rigid motion）。所以他們將這兩部分分解開來。通過 camera motion 可以比較容易地處理前者；對于 object motion 則需再加一個額外的約束。
整個 objective function 如下所示，包含了以上全部過程的 loss：
最后結(jié)果可以看到，用這種無監(jiān)督的方法可以達到比以前的方法靠譜地多的深度、Flow 的結(jié)果，同時發(fā)現(xiàn)對運動比較大的 object 效果也是比較好的。代碼下載鏈接：http://github.com/yzcjtr/GeoNet
報告題目：Extensions of Neural Style Transfer
報告人：廖菁 - 微軟亞洲研究院
論文下載：
廖菁介紹了他們團隊在 CVPR 2018 上發(fā)表的兩篇關(guān)于 Neural Style Transfer 的延展性工作。一個是在深度方向的延展，即從理論上對以往的 NST 進行分類和總結(jié)，并提出了一種綜合各方優(yōu)點的方法。另一個是在廣度方向的延展，也即 NST 在 VR 和 AR 領(lǐng)域的應(yīng)用，他們提出了約束左右眼風(fēng)格變換不一致的網(wǎng)絡(luò)模型。
風(fēng)格轉(zhuǎn)換目前已經(jīng)成為一個熱門的研究課題。其中 Neural Style Transfer 指的是，當(dāng)給定兩張圖，一張是 Style Image，一張是 Content Image，然后通過一個預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)將前者的風(fēng)格變換到后者之上。這種方法通常依賴于預(yù)訓(xùn)練的 CNN，CNN 能夠?qū)D像有一個很好的分解能力，在高層表征圖像的 content，在低層表征圖像的 style。
因此就希望這張圖像的 deep feature 在高層能夠和 content image 相似，而在低層則和 Style image 相似。這即是 Neural Style Transfer 大體的思路。
目前所有的神經(jīng)風(fēng)格轉(zhuǎn)換都定義了兩個 loss 函數(shù)，分別為 content loss 和 style loss。這些神經(jīng)風(fēng)格轉(zhuǎn)換模型的 content loss 通常都采用了 feature map 之間的 L^2 loss 函數(shù)；但是在 style loss 上不同的模型卻各不相同。
根據(jù) style loss 的不同，大致可以將這些模型分為兩類：一類是 parametric model，這類模型要求生成的圖片 feature map 和要學(xué)的 style image 的 feature map 在整體上具有統(tǒng)計相似性；另一類是 non-parametric model，這類模型希望最后生成圖片的 feature map 的 local patch 都是來源于 style image。所以可以說前者定義了 global 的相似性，而后者定義了 local 的相似性。
這兩種模型都各自有優(yōu)缺點。
parametric model 能夠很好地學(xué)習(xí)到 style 的整體特征；但是它很難保證 localtexture 的結(jié)構(gòu)，同時還會忽略一些空間布局，例如上圖中將帆船的紅色映射到了海水中。
另一方面，non-parametric model 能夠很好地保證 local 的結(jié)構(gòu)，但是它很有可能沒法保證對整體的模仿（上圖中藍色格調(diào)并沒有遷移到嬰兒身上），此外由于 local 的方法沒有限制 patch 怎么使用，所有有可能導(dǎo)致某一兩個 patch 被大量的使用（上面貓圖中黃色 patch 被大量使用），最終產(chǎn)生一個 wash-out artifact。
那么一個自然的思考就是，能否提出一種方法將兩者的優(yōu)點結(jié)合起來，而同時又能夠避免各自的缺點呢？廖菁團隊提出了這樣一種新穎的方法，他們稱之為 reshuffle。
這種方法的核心思想史：將 style image 的 deep feature 做一個重排，也即每個 pixel 出現(xiàn)一次，但是出現(xiàn)的位置已經(jīng)和原圖不一樣了。這種重排的結(jié)果首先先天地就符合 local 的 style loss；另一面，global loss 當(dāng)前主要使用的就是對所有 pixel 進行加和的 gram matrix 方法，這種方法并不關(guān)心 pixel 是怎樣分布的，所以即使打亂了 pixel 的分布，也不會影響 global loss 的結(jié)果。因此這種 reshuffle 的方法即符合定義在 gram matrix 上的 global style，同時也符合定義在 patch 上的 local style。在論文中，他們對這個結(jié)果做了數(shù)學(xué)上的分析，這里不再展開。
不過這個方法中有一個嚴(yán)格的要求，即每個 pixel 只能出現(xiàn)一次。這種要求有時候會有問題，例如下圖：
這里 content image 中有兩個人四個眼睛，而 Style image 里面只有一個人兩只眼睛。如果只允許 patch 用一次的話，眼睛的 patch 將不夠用。所以在實際操作中，廖菁他們定義了一個相對 soft 的 parameter，通過這個參數(shù)控制 patch 的使用數(shù)量。當(dāng)參數(shù)比較大的時候，其約束就比較強，這時候模型更接近于 global 方法；相反則更接近 non-parametric 的 local 的結(jié)果。通過設(shè)置參數(shù)可以動態(tài)地調(diào)節(jié)結(jié)果偏向，從而自適應(yīng)地來融合兩方的特征。
模型框架如下圖所示：
風(fēng)格轉(zhuǎn)換后的對比圖如下：
從結(jié)果可以看出，這種 reshuffle 的方法的結(jié)果，相比 paramtric 的方法可以更好地保持局部的 texture，而相比 non-parametric 的方法可以更好地重現(xiàn) Style 的整體特征。
現(xiàn)在 VR 和 AR 非常火，微軟也出了相關(guān)的產(chǎn)品 Hololens。當(dāng)將風(fēng)格轉(zhuǎn)換應(yīng)用在 VR/AR 上時，首先將會出現(xiàn)一個問題，即 VR/AR 設(shè)備有左眼視野和右眼視野，如果對兩個視野的圖像單獨做風(fēng)格轉(zhuǎn)換，也即它們的轉(zhuǎn)換之間沒有相關(guān)性，那么結(jié)果將導(dǎo)致左右眼看到的轉(zhuǎn)換后的風(fēng)格圖像并不一致，當(dāng)帶上 VR/AR 時就會出現(xiàn)各種鬼影，使得用戶不能很好地感受 3D 的風(fēng)格結(jié)構(gòu)。
解決這個問題的關(guān)鍵，即將左右眼的約束加入到風(fēng)格轉(zhuǎn)換過程當(dāng)中，這個約束被稱為 disparity constraint。
廖菁團隊定義了一個新的 network，大致來說分為三個部分。
首先是一個圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，這個網(wǎng)絡(luò)可以是市面上任意一種圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，只要它能夠分成 encoder 和 decoder 兩部分。
其次，是一個 disparity occlusion network，這個網(wǎng)絡(luò)將左右眼的圖像當(dāng)做 input，它會輸出兩幀圖像間的 disparity，以及其置信度。
中間這一部分則是根據(jù) disparity 做一個 feature 的增強，其方式就是將左眼和右眼對稱地向中間去 warp，然后在中間域做一個增強，得到一個可信的結(jié)果后再分別投影到左眼和右眼。
加入約束后的效果如動圖所示：
相關(guān)文章：
CVPR 2018 中國論文分享會 之「人類、人臉及3D形狀」
CVPR 2018 中國論文分享會 之「深度學(xué)習(xí)」
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
