雷鋒網(wǎng)AI研習(xí)社按：陰影檢測向來是計算機視覺中基礎(chǔ)且富有挑戰(zhàn)性的問題——對于一張輸入圖像，我們通過生成二進制圖像來標(biāo)記陰影區(qū)域，陰影區(qū)域的檢測為進一步獲取圖像中的光照情況、物體的形狀與位置，以及攝像機的參數(shù)提供了可能。與此同時，陰影的存在也為計算機視覺中進一步理解圖像的算法，例如物體的檢測與跟蹤，帶來了障礙。

來自香港中文大學(xué)的胡梟瑋采用了提取 DSC 特征的方式來解決這個問題，他在近日的 AI 研習(xí)社大講堂上向我們分享了具體操作思路。

公開課回放地址：

http://www.mooc.ai/open/course/523

分享主題：用于陰影檢測的 DSC 特征

分享提綱：

• 陰影檢測相關(guān)工作與研究動機

• DSC模型介紹

• 實驗結(jié)果與討論

• 最新工作---陰影去除

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

大家好，我是胡梟瑋，來自香港中文大學(xué)。很榮幸能和大家介紹一下我們的工作「Direction-aware Spatial Context Features for Shadow Detection」。這篇文章已經(jīng)被 CVPR2018 收錄，并做口頭報告 (Oral)。

作為計算機視覺中的基礎(chǔ)問題，最近一些年來，陰影檢測已經(jīng)被廣泛的研究。

最近的兩個工作是基于深度學(xué)習(xí)的方法來檢測陰影，目前看來已經(jīng)達到了比較好的性能，這兩種方法——scGAN 與 stacked-CNN，分別發(fā)表在了 2017 年的 ICCV 與 2016 年的 ECCV 上，主要是通過深度神經(jīng)網(wǎng)絡(luò)從大量的數(shù)據(jù)樣本中自動學(xué)習(xí)特征，用于檢測陰影區(qū)域。

然而，它們?nèi)匀豢赡?span style="color: #C0504D;">將黑色的物體誤檢為陰影，或者漏掉一些不太明顯的陰影區(qū)域。

在這幅漫畫中，左邊的這個人舉著刀子指向右邊的人，可能會讓我們以為左邊的家伙是一個殺手，但如果我們觀察整幅圖像，就會發(fā)現(xiàn)右邊的這個人才是真正的殺手。在同一幅圖畫中，我們看到了兩個完全不一樣的故事。

在檢測陰影區(qū)域的時候，我們也面臨類似的問題。

正如這幅圖展示的這樣，如果只從局部區(qū)域來判斷它是不是陰影，這個問題是十分困難的。

我們并不知道這個黑色區(qū)域到底是一個陰影還是一個黑色物體，所以我們需要通過分析更大的區(qū)域或者周圍區(qū)域來決定它是否是陰影——換句話說，陰影檢測需要去理解全局圖像的上下文信息。

除此之外，我們還需要分析不同方向的上下文信息。

如圖所示，當(dāng)我們比較 A 區(qū)域與 B 區(qū)域的時候，由于 B 區(qū)域要比 A 區(qū)域亮許多，給了我們一個很強烈的指示：A 是陰影區(qū)域。

可是當(dāng)我們?nèi)ケ容^ C 區(qū)域和 A 區(qū)域的時候，我們并不能從 C 區(qū)域來判斷 A 是不是陰影（C 區(qū)域與 A 區(qū)域同樣都是陰影，且 C 區(qū)域更暗）。所以，為了進一步理解陰影，我們提出從不同方向的上下文特征來分析圖像。

比如在這幅圖中，陰影投射在不同顏色的背景上面。

如果我們使用之前的方法，位于黃色區(qū)域的陰影可能會檢測不到。但是，當(dāng)我們方向性地分析圖像上下文信息，就可以從圖像的上面或者下面來傳播陰影信息，同時可以使用左邊或右邊的信息來推斷陰影區(qū)域。

因此，我們的方法可以有效的檢測到位于黃色區(qū)域的陰影。

什么是 spatial context features？

為了傳播圖像的全局上下文信息，我們使用空間 RNN 來獲取空間上下文特征，該特征叫做 spatial context features。先輸入一張?zhí)卣鲌D（這個特征圖可以是卷積神經(jīng)網(wǎng)絡(luò)中任意的一張?zhí)卣鲌D），再從四個方向獨立的傳播信息，用來獲得局部的空間上下文特征。

以向右傳播為例，每一個特征值都會被它左邊的這個值更新。

在這個更新的過程中，信息在整張?zhí)卣鲌D上從左到右傳播（公式中的權(quán)值 alpha right 是共享的并且可以自動學(xué)習(xí)的）。通過聚合四個方向的結(jié)果，對于每一個像素點來講，就可以獲得它所在的行和列的信息。

通過兩次這樣的操作，每個像素點就可以得到全局的信息。

具體來說，就是將一個卷積神經(jīng)網(wǎng)絡(luò)中的 2D 特征圖作為輸入，首先經(jīng)過一個 1 乘 1 的卷積操作，之后是四個方向的 recurrent translation。接著我們將四個結(jié)果綜合起來作為中間的特征圖，然后重復(fù)上述過程，最終得到全局的空間上下文特征。

為了進一步方向性的分析空間上下文特征，我們采用的是 attention 機制，來生成一組權(quán)值，并且將他們分成四張權(quán)值圖，分別通過點對點的方式，乘上四個方向的空間上下文特征。

這些權(quán)值會在兩次 recurrent translation 中共享（且可以跟整個深度學(xué)習(xí)網(wǎng)絡(luò)一起進行訓(xùn)練），因此，我們可以通過在不同方向上選擇性的使用空間上下文特征來得到 direction-aware spatial context feature，這個結(jié)果我們叫做 DSC 特征。

至于獲取該特征的過程被稱作 DSC 模塊。

如何訓(xùn)練網(wǎng)絡(luò)？

我們將在深度神經(jīng)網(wǎng)絡(luò)中采用多個 DSC 模塊：對于一張輸入圖像，首先使用卷積神經(jīng)網(wǎng)絡(luò)提取不同分辨率下的特征圖像（「特征金字塔」），位于低層的特征圖像分辨率高，能夠提取到圖像的細節(jié)信息，但是缺乏語義信息；位于高層的特征圖像分辨率低，可以提取到圖像的語義信息，但是缺乏圖像細節(jié)信息。

我們將 DSC 模塊應(yīng)用到每一層特征圖上，并將得到的 DSC 特征與原來的特征相連接，然后放大這些特征圖像到原圖大小。

這些放大之后的特征圖像組合為 Multi-level integrated features（簡稱為 MLIF），之后我們使用包括 MLIF 特征在內(nèi)的每一層特征來預(yù)測陰影區(qū)域，最后將每層的預(yù)測結(jié)果綜合起來，作為網(wǎng)絡(luò)最終的輸出結(jié)果。

整個網(wǎng)絡(luò)是在 SBU training set 上面訓(xùn)練的，訓(xùn)練好的 model 會在 SBU testing set 以及 UCF testing set 上進行測試。

在自然圖像中，陰影區(qū)域的面積往往大于非陰影區(qū)域的面積，如果我們只是以提高整體的訓(xùn)練精度為目標(biāo)，結(jié)果會傾向于匹配占的面積大的非陰影區(qū)域。

因此，我們設(shè)計了 weighted cross entropy loss 來訓(xùn)練網(wǎng)絡(luò)——它由 L1 和 L2 兩部分組成。

L1 用來平衡陰影區(qū)域與非陰影區(qū)域的比重，如果陰影區(qū)域的面積小于非陰影區(qū)域，會懲罰誤檢的陰影區(qū)域多一些。

L2 幫助網(wǎng)絡(luò)去學(xué)習(xí)不容易識別的類型（這里主要指陰影或非陰影）。如果正確識別的陰影區(qū)域較小，那么他的損失函數(shù)的權(quán)值就會變大，反之亦然。

在測試過程中，我們使用 MLIF 層以及 fusion 層的均值作為最后的結(jié)果。并且使用 CRF 作為后處理，用來改進檢測到的陰影區(qū)域的邊界。

這里是我們的方法與最新的兩個陰影檢測方法的比較結(jié)果。

 可以看到，我們的方法在兩個陰影檢測數(shù)據(jù)集上都取得了最好的效果。

陰影檢測效果展示

接下來，我來展示一些視覺比較結(jié)果。

圖中從左到右分別對應(yīng)：輸入圖像，ground truth（人工標(biāo)注的數(shù)據(jù)），我們的結(jié)果，以及其他方法的結(jié)果。

可以看到，我們的方法能夠有效的識別出黑色的物體，同時檢測到位于不同顏色的背景上面的陰影，相比之下，其他方法可能會失敗。

這是另一組比較結(jié)果。

通過方向性的分析圖像上下文特征，我們的方法可以區(qū)分出黑色的桶與陰影區(qū)域，以及減少漏檢區(qū)域等等。

這是一個評價網(wǎng)絡(luò)設(shè)計的實驗。

圖中 Basic 指的是去除掉所有 DSC 模塊的網(wǎng)絡(luò)，而 basic + context 則指考慮上下文信息，但忽略掉不同方向上下文的影響。

可以看出，通過考慮 DSC 特征，能夠有效的提高檢測精度。

這里展示一下更多的陰影檢測結(jié)果。 

圖 A 中的陰影投射到不同顏色的背景上面；圖 B 有一些小且零碎的陰影；圖 C 中陰影區(qū)域與非陰影區(qū)域的邊界不清晰；圖 D 是一些不規(guī)則的陰影。

這些陰影通過我們的方法可以比較準(zhǔn)確地檢測出來。

然而，該方法在一些情況下可能會失效。

比如，第一幅圖擁有許多小的陰影區(qū)域；第二幅圖擁有一塊大的深色區(qū)域，然而缺少上下文信息；第三張圖主要是 soft shadow，它與非陰影區(qū)域的差別不是很大.

陰影去除機制

近期我們將網(wǎng)絡(luò)用于陰影去除，在兩個陰影去除數(shù)據(jù)集上取得了最好的效果。

為了將該網(wǎng)絡(luò)用于陰影去除，我們先讓網(wǎng)絡(luò)預(yù)測 shadow-free image（去除掉陰影的圖像），再接著用 Euclidean loss 訓(xùn)練整個網(wǎng)絡(luò)。

同時，我們發(fā)現(xiàn)在現(xiàn)有的陰影去除數(shù)據(jù)集當(dāng)中，輸入圖像與 ground truth 的非陰影區(qū)域存在顏色和亮度不一致的問題。

為了準(zhǔn)備陰影去除的訓(xùn)練數(shù)據(jù)，人們通常會先對有陰影的場景拍一張照片，然后拿掉產(chǎn)生陰影的物體，再拍一張照片。在這兩次拍照的過程中，環(huán)境光照與照相機的曝光參數(shù)都可能會發(fā)生變化，導(dǎo)致訓(xùn)練樣本的顏色與亮度不完全一致。

這兩張圖是分別從 SRD 和 ISTD 兩個公開數(shù)據(jù)集中找的樣本，可以從顏色直方圖中清楚看到輸入圖像與 ground truth 之間的偏差。

現(xiàn)有的基于深度神經(jīng)網(wǎng)絡(luò)的方法，會去學(xué)習(xí)匹配 ground truth，因此，如果直接用這些圖像去訓(xùn)練，網(wǎng)絡(luò)可能會生成有顏色偏差的圖像。

為了解決這個問題，我們設(shè)計了顏色補償機制——對于一組訓(xùn)練樣本，我們通過最小化輸入圖像與 ground truth 非陰影區(qū)域的誤差，來學(xué)習(xí)一個顏色轉(zhuǎn)換函數(shù)，然后將這個函數(shù)應(yīng)用到整幅 ground truth 圖像上面來調(diào)整顏色誤差。

在實驗中我們發(fā)現(xiàn)，只要使用簡單的線性函數(shù)就可以學(xué)習(xí)的很好（該函數(shù)在公式中用 Tf 表示），也就意味著我們可以使用最小二乘法計算函數(shù)中矩陣 M alpha 的參數(shù)。

圖中的 R,g,b 分別對應(yīng)圖像的紅綠藍三個通道的顏色值。

實際上每張訓(xùn)練樣本都有一個轉(zhuǎn)換函數(shù)，由于每張拍攝樣本的偏差可能都不一樣（每張樣本都有各自的顏色轉(zhuǎn)換函數(shù)），所以我們將學(xué)到的顏色轉(zhuǎn)換函數(shù)應(yīng)用到原始的 ground truth 上，就可以得到與輸入圖像非陰影區(qū)域的顏色亮度相匹配的結(jié)果。

我們分別在 SRD 與 ISTD 上訓(xùn)練與測試網(wǎng)絡(luò)，并且通過計算整幅圖像（包含陰影區(qū)域與非陰影區(qū)域）的 Euclidean loss 來優(yōu)化整個網(wǎng)絡(luò)。

在測試的過程中，我們采用 MLIF 與 fusion 層結(jié)果的平均值作為最終結(jié)果。

陰影去除效果展示

接下來我會展示一些視覺比較結(jié)果。

 第一行，從左到右分別對應(yīng)的是：輸入圖像、ground truth、DSC（我們的結(jié)果）、DSC+以及其他方法的結(jié)果。其中 DSC+是用調(diào)整之后（顏色轉(zhuǎn)換函數(shù)）的訓(xùn)練樣本訓(xùn)練的，而 DSC 則是使用原始的訓(xùn)練樣本訓(xùn)練網(wǎng)絡(luò)。

第二行則是：每張圖片（紅色）與輸入圖像（藍色）的顏色直方圖對比?？梢钥吹?，DSC+可以生成和輸入圖像顏色與亮度更匹配的結(jié)果。而 DSC 以及 ST-CGAN 這些基于深度神經(jīng)網(wǎng)絡(luò)的方法，直接用原始的 ground truth 訓(xùn)練，生成的圖像與原始的 ground truth 更接近，與輸入圖像存在顏色偏差。

第三行是另一組結(jié)果。

可以看到，我們方法能夠有效的去除陰影，同時保留非陰影區(qū)域的顏色。

這是在另一個數(shù)據(jù)集上面的測試結(jié)果，相比之下，其他方法可能會改變非陰影區(qū)域的顏色，或者不能有效去除陰影區(qū)域。

然后我們比較了 DSC 與 DSC+和原始的 ground truth (In) 與調(diào)整之后的 ground truth (Tf(In)) 的數(shù)值結(jié)果。

可以看到，DSC+能夠明顯減少與調(diào)整后沒有陰影的圖像的誤差。

我們繼續(xù)來看更多展示結(jié)果。

我們的方法可以去除在不同背景上的陰影區(qū)域 (如圖 AB)，也可以去除如圖 C 中墻磚上不規(guī)則形狀的陰影，以及圖 D 中復(fù)雜背景下的陰影。

然而，我們的方法可能也會不小心去除黑色瓷磚上的顏色，因為周圍的上下文無法提供有效的信息，讓它判斷黑色區(qū)域究竟是物體還是陰影。同時由于缺少足夠信息，該方法也不能夠恢復(fù)包包原本的顏色。

或者我們需要更多的訓(xùn)練樣本來解決這些問題。

總的來說，在這項工作中，我們通過方向性地分析圖像空間上下文信息來進行陰影檢測與去除，并在兩個陰影檢測數(shù)據(jù)集以及兩個陰影去除數(shù)據(jù)集上都達到了頂尖的性能。

我們公布了文章的代碼與結(jié)果（https://github.com/xw-hu/DSC），同時在個人主頁上傳了更多相關(guān)的資料（https://xw-hu.github.io/ ）。

接下來我們還會繼續(xù)深入研究這個方向，建立更大、更復(fù)雜的數(shù)據(jù)集。如果大家對這個項目感興趣，可以幫助我們收集數(shù)據(jù)或者標(biāo)記圖像，歡迎直接聯(lián)系我（郵箱：xwhu@cse.cuhk.edu.hk），我們會有相關(guān)的經(jīng)費支持給到大家。

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請到雷鋒網(wǎng)AI研習(xí)社社區(qū)（https://club.leiphone.com/）觀看。關(guān)注微信公眾號：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。