雷鋒網(wǎng)按：作者黃暢博士，地平線機(jī)器人技術(shù)聯(lián)合創(chuàng)始人&算法副總裁，深度學(xué)習(xí)專家、前百度主任架構(gòu)師（T10），長期從事計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、模式識別和信息檢索方面的研究。本科、碩士以及博士畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，曾經(jīng)在美國南加州大學(xué)和 NEC 美國研究院擔(dān)任研究員。2012年加入百度美國研發(fā)中心，2013年參與組建百度深度學(xué)習(xí)研究院（IDL），任高級科學(xué)家、主任研發(fā)架構(gòu)師。

黃暢博士在繼山世光教授以及他的博士生鄔書哲的演講之后，又補(bǔ)充介紹了DenseBox系列物體檢測算法。大家可能對這個(gè)方法不是特別熟悉，其實(shí)早在2014年的時(shí)候地平線就已經(jīng)開始圍繞這個(gè)方法做了各種各樣的工作，不斷迭代并產(chǎn)生了許多新的改進(jìn)，這些改進(jìn)在后來的一些公開的算法中，也能看到不少影子。DenseBox已經(jīng)在地平線的ADAS系統(tǒng)中得到了廣泛引用。

1.ADAS輔助駕駛系統(tǒng)中的具體問題

黃暢博士圍繞一個(gè)具體的應(yīng)用——ADAS即高級輔助駕駛系統(tǒng)來講目標(biāo)檢測。在ADAS的應(yīng)用場景中，物體檢測面臨的問題更加困難，這個(gè)問題并不僅僅來自于對檢測精度更高的要求，也來自于檢測問題本身更加復(fù)雜。不僅要識別是什么東西，還需要要做精準(zhǔn)的定位。精確的定位能夠幫助人們知道物體的距離， 這對ADAS系統(tǒng)中的前向碰撞預(yù)警是十分重要的。    

計(jì)算機(jī)視覺當(dāng)中有很多的問題，比如說檢測、跟蹤、識別、分割，如果在這里面選一個(gè)最重要的問題，恐怕絕大部分的同學(xué)都會選擇物體檢測。物體檢測在各種各樣的應(yīng)用系統(tǒng)當(dāng)中，往往是第一步，也是最重要一步。物體檢測相對于圖像識別，它的難度更大，因?yàn)闄z測還需要對物體進(jìn)行精確的定位，還是個(gè)搜索問題。在ADAS 產(chǎn)品當(dāng)中，車輛檢測是一個(gè)非常重要的問題，同時(shí)也面臨巨大的挑戰(zhàn)。以KITTI車輛檢測數(shù)據(jù)集為例，比如說這個(gè)車輛，在畫面當(dāng)中只出現(xiàn)一部分，這個(gè)是truncation導(dǎo)致的問題；然后車輛大小差距很大，這是scale variation導(dǎo)致的問題；然后車輛因?yàn)橐暯堑脑?，會被很多車輛遮擋，這是occlusion導(dǎo)致的問題；這些都是物體檢測面臨的挑戰(zhàn)。

那么如果直接嘗試用Faster R-CNN或者YOLO，會出現(xiàn)什么樣的問題呢? 首先不能很好地處理面積非常小的物體，因?yàn)檫@些方法，尤其是YOLO，最終在分類的時(shí)候是基于低分辨率的特征圖像，這導(dǎo)致原圖像中面積很小的物體在經(jīng)過多次的卷積之后，其信息很難在低分辨率的特征圖中進(jìn)行保存。

2.地平線的解決方案

地平線提出的方法叫做DenseBox(V2)。相比起YOLO以及SSD，最明顯的不同在于DenseBox(V2)輸出預(yù)測圖的分辨率很高。用DenseBox(V2)的方法，輸出大小為原始圖像的八分之一， 即在原圖中每移動8個(gè)像素，輸出中就有一個(gè)對應(yīng)的檢測框，這就保證能夠在結(jié)果中保留小的物體以及嚴(yán)重遮擋的物體。

2.1 標(biāo)注生成與模型設(shè)計(jì)

要訓(xùn)練一個(gè)檢測物體的神經(jīng)網(wǎng)絡(luò)，首先要用結(jié)構(gòu)化的信息去描述圖像。對于那些關(guān)注的物體，地平線會在合適的尺度和合適的位置進(jìn)行像素分類，即判斷物體中心是否在這個(gè)像素附近。其實(shí)有點(diǎn)像把物體檢測問題，變成一個(gè)圖像分割問題來看待。對于很可能包含物體的圖像區(qū)域，還需要知道物體的檢測框在哪里。針對檢測框，地平線用兩個(gè)點(diǎn)來描述，即框的左上角和右下角。

地平線設(shè)計(jì)的網(wǎng)絡(luò)還有一個(gè)特點(diǎn)，就是對于不同的尺度輸出有不同的分支。網(wǎng)絡(luò)底層的卷積被所有分支共享，用來學(xué)習(xí)低層的圖像特征，到了中間以后，會逐步分出三個(gè)分支， 去描述三個(gè)尺度上物體的分布。以左邊的圖為例，一大一小的兩輛車，都可以在網(wǎng)絡(luò)中找到合適的尺度去定位。除了產(chǎn)生正樣本的區(qū)域， 即左圖中紅色的區(qū)域外， 還會產(chǎn)生灰色的區(qū)域（gray zone） 或者是說模糊的區(qū)間。這些灰色地帶被判別為正樣本或者負(fù)樣本都是不合理的， 訓(xùn)練的時(shí)候模型不應(yīng)該對這些區(qū)域的預(yù)測正確與否產(chǎn)生懲罰。

正如前面所提到，除了產(chǎn)生正負(fù)樣本區(qū)域以外，還需要回歸物體框的位置。地平線用相對距離去描述框的位置，相對于當(dāng)前這個(gè)物體的中心，框的兩個(gè)角點(diǎn)水平和垂直方向距離是多少。在實(shí)際應(yīng)用中，地平線發(fā)現(xiàn)一個(gè)很重要的小技巧，可以提升檢測框的定位精度。不僅僅要對正樣本做回歸，對于灰度區(qū)域（gray zone）也需要做回歸。這么做的目的是希望檢測器即使把灰度區(qū)域當(dāng)成正樣本，那么還要求檢測框的位置是準(zhǔn)確的。

 

地平線在設(shè)計(jì)網(wǎng)絡(luò)的時(shí)候，也借鑒了全卷積網(wǎng)絡(luò)做圖像分割的方法。如果只做簡單的全卷積，在高層的特征空間里很難保留物體的細(xì)節(jié)特征。這對于小物體的檢測以及遮擋物體的定位都會帶來不利的影響。圖像分割中常常使用特征融合的方法，即把淺層的特征與高層的特征經(jīng)過尺度變換后拼在一起。拼接的方式基本有兩種，一種是像GoogLeNet一樣，按channel維度拼起來，第二種就是孫健的ResNet那樣，把它們直接相加?，F(xiàn)在這種做法也變成了趨勢，越來越多人做視覺任務(wù)都用了類似的方法。經(jīng)過多層卷積，下采樣后得到低分辨率的高維表達(dá)，可以抽象出物體的高層語意表達(dá)，捕獲物體的上下文空間信息，相當(dāng)于是一個(gè)bottom-up的表達(dá)抽象過程。然后再逐步把前面層的特征組合起來，補(bǔ)充細(xì)節(jié)信息，這相當(dāng)于再做一個(gè)top-down的修正。

 

2.2 模型訓(xùn)練

地平線采用多任務(wù)學(xué)習(xí)（multi-task learning）的方式對網(wǎng)絡(luò)進(jìn)行端到端（end-to-end）的訓(xùn)練。多任務(wù)訓(xùn)練體現(xiàn)在同時(shí)進(jìn)行分類和回歸的學(xué)習(xí)，以及不同尺度對應(yīng)的網(wǎng)絡(luò)分支也會進(jìn)行監(jiān)督學(xué)習(xí)。多任務(wù)學(xué)習(xí)有助于網(wǎng)絡(luò)訓(xùn)練的整體穩(wěn)定，同時(shí)還能加快收斂。除此之外對于分類任務(wù)，地平線也用了在線難負(fù)樣本挖掘（online hard negative mining）方法訓(xùn)練CNN。這個(gè)方法最近被證實(shí)在訓(xùn)練CNN檢測器的時(shí)候很有效。其實(shí)在很早以前大家用boosting, DPM等方法的時(shí)候就已經(jīng)這么做了，地平線也很早就在我們的方法里頭用了這個(gè)策略。具體來說，會首先保持正負(fù)樣本比例為1：1，然后讓所有的負(fù)樣本，一半從最難（即分類最糟糕）的一部分中采樣，另一半則為隨機(jī)采樣。另外，我們用hinge loss來做分類，用簡單的L2 loss 做檢測框的回歸。還有個(gè)細(xì)節(jié)就是地平線在訓(xùn)練中還用了梯度修剪（clip gradient）的方法來緩和訓(xùn)練過程中梯度不穩(wěn)定的情況。

2.3 性能測評

上圖是地平線用DenseBox(V2)的方法在KITTI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，這個(gè)方法在很長一段時(shí)間內(nèi)，在車輛檢測這個(gè)任務(wù)上都是排名第一。地平線主要試驗(yàn)了兩個(gè)模型版本，一個(gè)版本是叫Direwolf，它的參數(shù)大概有22M個(gè)，另外一個(gè)模型叫Peregrine，參數(shù)大概是1.4M個(gè)，但是計(jì)算量只有前者的三十分之一， 在GPU上可以做到實(shí)時(shí)。 相比于同一時(shí)期的其他方法， 例如Faster R-CNN等不能達(dá)到實(shí)時(shí)檢測，準(zhǔn)確度甚至比Peregrine還是要差一點(diǎn)。

3.物體檢測與ADAS

除了車輛檢測之外，地平線還關(guān)注車道線以及行人檢測。不僅如此，地平線還對于可行駛區(qū)域在圖像中的分割問題也非常感興趣，因?yàn)樵贏DAS問題中它和物體檢測技術(shù)是非?；パa(bǔ)的。物體檢測可以處理像車，交通標(biāo)志牌，行人等形狀規(guī)則的剛體（rigid object) ；對于像路面，馬路欄桿等結(jié)構(gòu)不規(guī)則的非剛體，圖像分割是更合適的選擇。同時(shí)可行駛區(qū)域的分割也可以提供相對保守的策略保證行駛的安全。前段時(shí)間特斯拉的嚴(yán)重交通事故就是因?yàn)檫^于依賴物體檢測技術(shù)造成的。

黃暢博士認(rèn)為，在ADAS應(yīng)用中，不應(yīng)該只是在平均期望的意義下優(yōu)化問題，二是應(yīng)該努力規(guī)避最差的情況。駕駛本身就是高風(fēng)險(xiǎn)活動，一旦出錯(cuò)將造成嚴(yán)重的后果。因此，整個(gè)系統(tǒng)的冗余是非常必要的，這個(gè)冗余來自于不同的傳感器，來自于不同的方法，來自于系統(tǒng)中不同的任務(wù)和目標(biāo)。 

4.總結(jié)

最后，黃暢博士對上面的介紹做一個(gè)簡單的總結(jié)：

DenseBox是一個(gè)完整的基于CNN的物體檢測框架，它通過精心的網(wǎng)絡(luò)設(shè)計(jì)，能夠處理不同尺度的檢測，實(shí)現(xiàn)更精確的定位回歸。模型訓(xùn)練中所采用特征融合，多任務(wù)訓(xùn)練，難負(fù)樣本挖掘等方法也是被廣泛證明有效的。同時(shí)它也KITTI上的結(jié)果也從另一個(gè)角度說明，只要模型設(shè)計(jì)和訓(xùn)練得當(dāng)，小模型已經(jīng)有足夠好的效果。但是對于ADAS而言，光有檢測是遠(yuǎn)遠(yuǎn)不夠的，往往需要通過系統(tǒng)的冗余，采取相對保守的策略來規(guī)避最差的情況。

注：本文由大牛講堂發(fā)布雷鋒網(wǎng)，如需轉(zhuǎn)載請聯(lián)系原作者，并注明作者和出處，不得刪減內(nèi)容。有興趣可以關(guān)注公號【地平線機(jī)器人技術(shù)】，了解最新消息。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。