0
雷鋒網(wǎng)AI科技評論按：圖像語義分割是 AI 領(lǐng)域中一個重要的分支，是機器視覺技術(shù)中關(guān)于圖像理解的重要一環(huán)。近年的自動駕駛技術(shù)中，也需要用到這種技術(shù)。車載攝像頭探查到圖像，后臺計算機可以自動將圖像分割歸類，以避讓行人和車輛等障礙。隨著近些年深度學習的火熱，使得圖像分割有了巨大的發(fā)展，本文為大家介紹深度學習中圖像分割的經(jīng)典算法。
在近期雷鋒網(wǎng) GAIR 大講堂上，來自浙江大學的在讀博士生劉漢唐為等候在直播間的同學們做了一場主題為「圖像分割的經(jīng)典算法」的技術(shù)分享，本文根據(jù)直播分享內(nèi)容整理而成，同學們?nèi)绻麑钨e所講的內(nèi)容感興趣還可以在 AI 慕課學院觀看直播回放。（技術(shù)細節(jié)推薦觀看視頻回放）
劉漢唐，浙江大學計算機系博士生在讀，阿里巴巴 iDST 實習生。研究方向是計算機視覺、深度學習。個人公眾號是：賈維斯的日常（jarvisdaily）。
分享提綱：
圖像分割的問題定義，以及在實際場景中的應用樣例
全卷積網(wǎng)絡(luò)
雙線性上采樣
特征金字塔
Mask-RCNN
大家好，我是浙江大學在讀博士生劉漢唐，目前在阿里巴巴 iDST 實習。接下來的分享首先會為大家介紹圖像分割具體是做什么的，圖像分割有哪些應用場景以及做圖像分割實驗經(jīng)常用到的幾個數(shù)據(jù)集。
最后再講解圖像分割的幾個方法。分為兩個部分，第一部分是傳統(tǒng)視覺的圖分割算法，雖然現(xiàn)在很少用，但自認為算法比較優(yōu)美。第二部分是深度學習算法，會介紹最近幾年流行的經(jīng)典技巧。
什么是圖像分割？
圖像分割就是預測圖像中每一個像素所屬的類別或者物體。圖像分割有兩個子問題，一個是只預測類別層面的分割，對每個像素標出一個位置。第二個是區(qū)分不同物體的個體。
應用場景，比如自動駕駛，3D 地圖重建，美化圖片，人臉建模等等。
最常用的數(shù)據(jù)集
主要介紹三個：Pascal VOC；CityScapes；MSCOCO。
第一個是 Pascal VOC 數(shù)據(jù)集
這是一個比較老牌的數(shù)據(jù)集，它提供 20 個類別，包括，人，車等。有 6929 張標注圖片，提供了類別層面的標注和個體層面的標注，也就是說既可以做語義分割，只區(qū)分是不是車；也可以做個體分割，區(qū)分有幾輛車，把不同的車標記出來。
第二個是CityScapes數(shù)據(jù)集
主要面向道路駕駛場景，它有 30 個精細的類別。其中有 5000 張圖片進行了精細標注，精確到像素級別。還有 20000 張圖片有粗糙的標注。它也可以提供語義層面分割和個體層面分割。
第三個是MS COCO數(shù)據(jù)集
這是目前為止有語義分割的最大數(shù)據(jù)集，提供的類別有 80 類，有超過 33 萬張圖片，其中 20 萬張有標注，整個數(shù)據(jù)集中個體的數(shù)目超過 150 萬個，最新的一些論文都會在 MSCOCO 數(shù)據(jù)集上做實驗，因為它的難度最大，挑戰(zhàn)新最高。
傳統(tǒng)的圖切割
圖切割就是移除一些邊，使得兩個子圖不相連；圖切割的目標是，找到一個切割，使得移除邊的和權(quán)重最小。
圖切割的優(yōu)點和缺點
優(yōu)點是分割效果還不錯，并且是一種普適性的框架 ，適合各種特征。缺點是時間復雜度和空間復雜度較高，需要事先選取分割塊兒的數(shù)目。
圖切割的失敗案列
為了克服這個失敗，有一篇論文提出了 Normalized Cut。它是在圖分割中加入權(quán)重參數(shù) Volume。Volume(A) 是 A 中所有邊的權(quán)重之和。這種方法平衡了每一個子圖的大小。
深度學習算法
第一篇比較成功用神經(jīng)網(wǎng)絡(luò)做圖像分割的論文是 Fully Convolutional Networks (以下簡稱為 FCN)。
傳統(tǒng)神經(jīng)網(wǎng)絡(luò)做分類的步驟是，首先是一個圖像進來之后經(jīng)過多層卷積得到降維之后的特征圖，這個特征圖經(jīng)過全連接層變成一個分類器，最后輸出一個類別的向量，這就是分類的結(jié)果。
而 FCN 是把所有的全連接層換成卷基層，原來只能輸出一個類別分類的網(wǎng)絡(luò)可以在特征圖的每一個像素輸出一個分類結(jié)果。這樣就把分類的向量，變成了一個分類的特征圖。
為了能讓分類的特征圖恢復到原圖的大小，采用了上采樣層。具體細節(jié)可觀看視頻回放。
FCN的結(jié)構(gòu)圖
下面介紹一下怎么進行圖片放大操作的。
這里有兩個概念，第一個概念叫反卷積層（Deconvolution）；第二個概念叫雙線性差值上采樣（Bilinear Upsampling）。
這里的「反卷積」其實不是真正的卷積的逆運算，用 Transposed Convolution 代替比較合適，但原論文中用的是 Deconvolution，我們下面還是用這個詞，它可以等效于普通卷積。它的主要目的就是實現(xiàn)上采樣。
反卷積具體是怎么計算的，詳細過程可到AI慕課學院免費觀看視頻回放。
下面講一下Padding和Stride。
Padding和Stride實際指的是普通卷積，而不是反卷積等效的普通卷積。
雙線性上采樣差
雙線性上采樣差值的三個用途：用作初始化反卷積的權(quán)重；不用反卷積，使用上卷積+卷積；只使用上采樣。
下面介紹膨脹卷積或帶洞卷積（Dilated Convolution ）。
它的用途可以使特征圖視野變大，但不增加計算量，對于圖像分割的好處，更利于提取全局信息，這樣就使得分割準確率增加很多。
特征金字塔（Feature Pyramid）
有以下幾種特征金字塔
特征金字塔網(wǎng)絡(luò)
Pyramid Pooling
前面的是在不同的尺度上提取特征，而這個是把特征提取之后pooling到不同的大小。
Mask-RCNN的特點
第一個特點它是多分支輸出的。它同時輸出物體的類別，bounding box和Mask。
第二個特點是它使用了Binary Mask。之前神經(jīng)網(wǎng)絡(luò)都是使用多類Mask，而它只需要判斷物體在哪個地方。
最后是RoiAlign層。能比較精確地把物體的位置對應到特征圖的位置上。
具體講解細節(jié)請觀看免費的直播回放視頻。
Rol Pooling 與Roi Align的比較
雷鋒網(wǎng)AI 慕課學院提供本次直播回放視頻，點擊鏈接直達：http://www.mooc.ai/course/414/learn#lesson/2266。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
