最近基于深度學(xué)習(xí)的圖像分割技術(shù)一般依賴于卷積神經(jīng)網(wǎng)絡(luò) CNN 的訓(xùn)練，訓(xùn)練過程中需要非常大量的標(biāo)記圖像，即一般要求訓(xùn)練圖像中都要有精確的分割結(jié)果。

對于圖像分割而言，要得到大量的完整標(biāo)記過的圖像非常困難，比如在 ImageNet 數(shù)據(jù)集上，有 1400 萬張圖有類別標(biāo)記，有 50 萬張圖給出了 bounding box, 但是只有 4460 張圖像有像素級別的分割結(jié)果。對訓(xùn)練圖像中的每個像素做標(biāo)記非常耗時，特別是對醫(yī)學(xué)圖像而言，完成對一個三維的 CT 或者 MRI 圖像中各組織的標(biāo)記過程需要數(shù)小時。

如果學(xué)習(xí)算法能通過對一些初略標(biāo)記過的數(shù)據(jù)集的學(xué)習(xí)就能完成好的分割結(jié)果，那么對訓(xùn)練數(shù)據(jù)的標(biāo)記過程就很簡單，這可以大大降低花在訓(xùn)練數(shù)據(jù)標(biāo)記上的時間。這些初略標(biāo)記可以是：

1. 只給出一張圖像里面包含哪些物體；

2. 給出某個物體的邊界框；

3. 對圖像中的物體區(qū)域做部分像素的標(biāo)記，例如畫一些線條、涂鴉等（scribbles)。

1. ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation (CVPR 2016)

香港中文大學(xué)的 Di Lin 提出了一個基于 Scribble 標(biāo)記的弱監(jiān)督學(xué)習(xí)方法。 Scribble 是一個很方便使用的標(biāo)記方法，因此被用得比較廣泛。如下圖，只需要畫五條線就能完成對一副圖像的標(biāo)記工作。

ScribbleSup 分為兩步，第一步將像素的類別信息從 scribbles 傳播到其他未標(biāo)記的像素，自動完成所有的訓(xùn)練圖像的標(biāo)記工作； 第二步使用這些標(biāo)記圖像訓(xùn)練 CNN。在第一步中，該方法先生成 super-pxels, 然后基于 graph cut 的方法對所有的 super-pixel 進(jìn)行標(biāo)記。

Graph cut 的能量函數(shù)為：

在這個 graph 中，每個 super-pixel 是 graph 中的一個節(jié)點(diǎn)，相接壤的 super-pixel 之間有一條連接的邊。這個能量函數(shù)中的一元項包括兩種情況，一個是來自于 scribble 的，一個是來自 CNN 對該 super-pixel 預(yù)測的概率。整個最優(yōu)化過程實際上是求 graph cut 能量函數(shù)和 CNN 參數(shù)聯(lián)合最優(yōu)值的過程：

上式的最優(yōu)化是通過交替求和的最優(yōu)值來實現(xiàn)的。文章中發(fā)現(xiàn)通過三次迭代就能得到比較好的結(jié)果。

2. Constrained Convolutional Neural Networks for Weakly Supervised Segmentation （ICCV 2015）

UC Berkeley 的 Deepak Pathak 使用了一個具有圖像級別標(biāo)記的訓(xùn)練數(shù)據(jù)來做弱監(jiān)督學(xué)習(xí)。訓(xùn)練數(shù)據(jù)中只給出圖像中包含某種物體，但是沒有其位置信息和所包含的像素信息。該文章的方法將 image tags 轉(zhuǎn)化為對 CNN 輸出的 label 分布的限制條件，因此稱為 Constrained convolutional neural network (CCNN).

該方法把訓(xùn)練過程看作是有線性限制條件的最優(yōu)化過程：

其中是一個隱含的類別分布，是 CNN 預(yù)測的類別分布。目標(biāo)函數(shù)是 KL-divergence 最小化。其中的線性限制條件來自于訓(xùn)練數(shù)據(jù)上的標(biāo)記，例如一幅圖像中前景類別像素個數(shù)期望值的上界或者下界（物體大?。?、某個類別的像素個數(shù)在某圖像中為 0，或者至少為 1 等。該目標(biāo)函數(shù)可以轉(zhuǎn)化為為一個 loss function，然后通過 SGD 進(jìn)行訓(xùn)練。

實驗中發(fā)現(xiàn)單純使用 Image tags 作為限制條件得到的分割結(jié)果還比較差，在 PASCAL VOC 2012 test 數(shù)據(jù)集上得到的 mIoU 為 35.6%，加上物體大小的限制條件后能達(dá)到 45.1%， 如果再使用 bounding box 做限制，可以達(dá)到 54%。FCN-8s 可以達(dá)到 62.2%，可見弱監(jiān)督學(xué)習(xí)要取得好的結(jié)果還是比較難。

3. Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation

Google 的 George Papandreou 和 UCLA 的 Liang-Chieh Chen 等在 DeepLab 的基礎(chǔ)上進(jìn)一步研究了使用 bounding box 和 image-level labels 作為標(biāo)記的訓(xùn)練數(shù)據(jù)。使用了期望值最大化算法（EM）來估計未標(biāo)記的像素的類別和 CNN 的參數(shù)。

對于 image-level 標(biāo)記的數(shù)據(jù)，我們可以觀測到圖像的像素值和圖像級別的標(biāo)記, 但是不知道每個像素的標(biāo)號, 因此把 當(dāng)做隱變量。使用如下的概率圖模式：

使用 EM 算法估計和。E 步驟是固定求的期望值，M 步驟是固定使用 SGD 計算θ。

對于給出 bounding box 標(biāo)記的訓(xùn)練圖像，該方法先使用 CRF 對該訓(xùn)練圖像做自動分割，然后在分割的基礎(chǔ)上做全監(jiān)督學(xué)習(xí)。通過實驗發(fā)現(xiàn)，單純使用圖像級別的標(biāo)記得到的分割效果較差，但是使用 bounding box 的訓(xùn)練數(shù)據(jù)可以得到較好的結(jié)果，在 VOC2012 test 數(shù)據(jù)集上得到 mIoU 62.2%。另外如果使用少量的全標(biāo)記圖像和大量的弱標(biāo)記圖像進(jìn)行結(jié)合，可以得到與全監(jiān)督學(xué)習(xí) (70.3%) 接近的分割結(jié)果 (69.0%)。

4. Learning to Segment Under Various Forms of Weak Supervision (CVPR 2015)

Wisconsin-Madison 大學(xué)的 Jia Xu 提出了一個統(tǒng)一的框架來處理各種不同類型的弱標(biāo)記：圖像級別的標(biāo)記、bounding box 和部分像素標(biāo)記如 scribbles。該方法把所有的訓(xùn)練圖像分成共計個 super-pixel，對每個 super-pixel 提取一個維特征向量。因為不知道每個 super-pixel 所屬的類別，相當(dāng)于無監(jiān)督學(xué)習(xí)，因此該方法對所有的 super-pixel 做聚類，使用的是最大間隔聚類方法 (max-margin clustering, MMC), 該過程的最優(yōu)化目標(biāo)函數(shù)是：

其中是一個特征矩陣，每列代表了對于的類別的聚類特征。是將第個 super-pixel 劃分到第類的代價。在這個目標(biāo)函數(shù)的基礎(chǔ)上，根據(jù)不同的弱標(biāo)記方式，可以給出不同的限制條件，因此該方法就是在相應(yīng)的限制條件下求最大間隔聚類。

該方法在 Siftflow 數(shù)據(jù)集上得到了比較好的結(jié)果，比 state-of-the-art 的結(jié)果提高了 10% 以上。

小結(jié)：在弱標(biāo)記的數(shù)據(jù)集上訓(xùn)練圖像分割算法可以減少對大量全標(biāo)記數(shù)據(jù)的依賴，在大多數(shù)應(yīng)用中會更加貼合實際情況。弱標(biāo)記可以是圖像級別的標(biāo)記、邊框和部分像素的標(biāo)記等。訓(xùn)練的方法一般看做是限制條件下的最優(yōu)化方法。另外 EM 算法可以用于 CNN 參數(shù)和像素類別的聯(lián)合求優(yōu)。

參考文獻(xiàn)

1. Di Lin, Jifeng Dai, Jiaya Jia, Kaiming He, and Jian Sun."ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation". IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016

2. Pathak, Deepak, Philipp Krahenbuhl, and Trevor Darrell. "Constrained convolutional neural networks for weakly supervised segmentation." Proceedings of the IEEE International Conference on Computer Vision. 2015.

3. Papandreou, George, et al. "Weakly-and semi-supervised learning of a DCNN for semantic image segmentation." arXiv preprint arXiv:1502.02734 (2015).

4. Xu, Jia, Alexander G. Schwing, and Raquel Urtasun. "Learning to segment under various forms of weak supervision." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

雷鋒網(wǎng)按：原作者taigw，本文原載于作者的知乎專欄。

---

實戰(zhàn)特訓(xùn)：遠(yuǎn)場語音交互技術(shù)  

智能音箱這么火，聽聲智科技CTO教你深入解析AI設(shè)備語音交互關(guān)鍵技術(shù)！

課程鏈接：http://www.mooc.ai/course/80

加入AI慕課學(xué)院人工智能學(xué)習(xí)交流QQ群：624413030，與AI同行一起交流成長

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。