雷鋒網(wǎng)按：本文為矩視智能創(chuàng)始人弭寶瞳投稿。矩視智能成立于 2017 年 10 月，專注于機(jī)器視覺(jué)，主要通過(guò) SaaS 云平臺(tái)幫助提升工廠機(jī)器視覺(jué)開(kāi)發(fā)、升級(jí)效率。弭寶瞳為中國(guó)人民大學(xué)計(jì)算機(jī)博士，曾在奇虎 360 任產(chǎn)品經(jīng)理、研發(fā)工程師。

一、背景知識(shí)

目標(biāo)定位是計(jì)算機(jī)視覺(jué)的重要應(yīng)用場(chǎng)景之一。在工業(yè)生產(chǎn)、航空航海、農(nóng)產(chǎn)品包裝等眾多領(lǐng)域內(nèi)均已得到廣泛應(yīng)用。在工業(yè)生產(chǎn)中，通過(guò)目標(biāo)定位可以實(shí)現(xiàn)精準(zhǔn)地完成自動(dòng)抓取、自動(dòng)上料等操作；在航空航海中，利用目標(biāo)定位可以為海上打撈等工作提供可靠的位置服務(wù)；在交通運(yùn)輸中，借助目標(biāo)定位可以準(zhǔn)確獲取車輛的位置信息。

由于上述領(lǐng)域相關(guān)的圖片信息都具有十分復(fù)雜的背景，對(duì)待識(shí)別目標(biāo)干擾性強(qiáng)，且通常存在目標(biāo)重疊、相似度高、部分遮擋等問(wèn)題，進(jìn)行目標(biāo)定位具有相當(dāng)大的難度。

二、傳統(tǒng)算法

傳統(tǒng)的目標(biāo)定位算法通常使用滑動(dòng)窗的方法，主要可分為以下三個(gè)步驟：

（1） 候選框：利用不同尺寸的滑動(dòng)窗，在圖片中標(biāo)記一塊區(qū)域作為候選區(qū)；

（2） 特征提取：針對(duì)輸入圖片的候選區(qū)域，提取視覺(jué)特征（例如人臉檢測(cè)常用的Harr特征、行人檢測(cè)和普通目標(biāo)檢測(cè)常用的HOG特征等）；

（3） 分類器識(shí)別：利用分類器進(jìn)行目標(biāo)和背景的判定，比如常用的SVM模型等。

上述傳統(tǒng)算法在一些特定的應(yīng)用方面已經(jīng)取得了不錯(cuò)的成績(jī)，但仍有不少缺點(diǎn)。首先，其需要手動(dòng)提取圖像特征，提取方法需要不斷嘗試比較才能得到好的特征；其次，提取的特征與模型性能的優(yōu)劣直接相關(guān)，導(dǎo)致模型針對(duì)性強(qiáng)，不能靈活應(yīng)用于其他情景；此外，有些算法中還涉及到復(fù)雜的邊緣檢測(cè)過(guò)程，包括閾值分割、分水嶺算法等。繁雜的處理過(guò)程導(dǎo)致模型檢測(cè)效率較低，無(wú)法滿足在工業(yè)生產(chǎn)中的廣泛應(yīng)用。

三、深度學(xué)習(xí)

在2012年的ImageNet競(jìng)賽中，AlexNet神經(jīng)網(wǎng)絡(luò)一舉成名，也使CNN成為了計(jì)算機(jī)視覺(jué)研究的中心，同時(shí)再一次掀起了深度學(xué)習(xí)的研究熱潮。

3.1R-CNN[1]

R-CNN是先進(jìn)的視覺(jué)對(duì)象檢測(cè)系統(tǒng)，它將自下而上的候選區(qū)域提取與卷積神經(jīng)網(wǎng)絡(luò)的豐富功能結(jié)合在一起。R-CNN在不使用上下文記錄或要素類型集成的情況下實(shí)現(xiàn)了檢測(cè)精度的大幅提升。

R-CNN算法的具體實(shí)現(xiàn)方法如下：

輸入圖片，基于區(qū)域候選方法（如selective search方法）生成約2000個(gè)候選區(qū)域；

對(duì)每個(gè)候選區(qū)域進(jìn)行Resize，固定大小后送入CNN模型中并得到特征向量；

將特征向量送入一個(gè)多類別的分類器中，判斷候選區(qū)域中所含物體屬于每個(gè)類別的概率大??；

在R-CNN最后訓(xùn)練一個(gè)邊界框回歸模型，以提升目標(biāo)定位的準(zhǔn)確性。

本方法使用CNN網(wǎng)絡(luò)自動(dòng)提取特征，避免了手動(dòng)提取特征的復(fù)雜操作，提升了工作效率。但由于每個(gè)候選區(qū)域都需要送入CNN模型計(jì)算特征向量，會(huì)耗費(fèi)一定的時(shí)間。

3.2FasterR-CNN[2]

Faster R-CNN是目標(biāo)檢測(cè)領(lǐng)域最經(jīng)典的算法之一。它主要由用于生成候選區(qū)域框的深度全卷積網(wǎng)絡(luò)和Fast R-CNN 檢測(cè)模型兩部分構(gòu)成。

Faster R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如上圖所示，由圖中可以看出其由四部分組成：

Conv layers：對(duì)輸入的整張圖片，提取其特征圖；

Region Proposal Networks：用于推薦候選區(qū)域（通過(guò)softmax判斷anchors屬于前景還是后景，并借助box regression修正anchors，輸出多個(gè)候選區(qū)域）；

ROI Pooling：將不同大小的輸入轉(zhuǎn)換為固定長(zhǎng)度的輸出，送入后續(xù)的全連接層判定目標(biāo)類別；

Classification：輸出候選區(qū)域所屬的類別及其精確的位置。

RPN層是Faster R-CNN網(wǎng)絡(luò)最大的亮點(diǎn)，使用RPN代替啟發(fā)式候選區(qū)域的方法，極大的加快了訓(xùn)練的速度和精度。

3.3 Yolov3[3，4]

前面介紹的兩種算法均為T(mén)wo-stage，而Yolo屬于One-stage，它不需要提取候選區(qū)域，可以直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，這里將針對(duì)目前更受歡迎的Yolo v3展開(kāi)介紹。

Yolo v3的具體實(shí)現(xiàn)可以分為三步，分別為：

多尺度預(yù)測(cè)：借助殘差網(wǎng)絡(luò)結(jié)構(gòu)形成了更深的網(wǎng)絡(luò)層次，可以在三種不同的尺度上進(jìn)行檢測(cè)；

基礎(chǔ)網(wǎng)絡(luò)：使用Darknet的變體Darknet-53，在Imagenet上訓(xùn)練了53層網(wǎng)絡(luò)，并在檢測(cè)任務(wù)時(shí)再次堆疊53層，形成了106層完全卷積的底層架構(gòu)；

分類器：使用多個(gè)logistic分類器，以進(jìn)行多標(biāo)簽對(duì)象的分類。

作為Yolo算法多次優(yōu)化后的產(chǎn)物，Yolo v3是當(dāng)前目標(biāo)檢測(cè)最優(yōu)的算法之一，其具有結(jié)構(gòu)清晰，實(shí)時(shí)性好，可以通過(guò)改變模型結(jié)構(gòu)的大小平衡速度與精度等優(yōu)點(diǎn)。此外，Yolo v3還提升了小尺寸物體的檢測(cè)效果，解決了前兩個(gè)版本存在的問(wèn)題。

3.4 SSD[5]

SSD算法（全稱Single Shot MultiBox Detector）同Yolo一樣屬于One-stage，且整體穩(wěn)定性比Yolo好很多，其網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

SSD的基本實(shí)現(xiàn)流程較Yolo復(fù)雜，可概括如下：

輸入圖片，使用卷積神經(jīng)網(wǎng)絡(luò)CNN提取特征，并生成特征圖；

抽取其中6層的特征圖，并在特征圖的每個(gè)點(diǎn)上生成default box；

將所得的default box全部集合起來(lái)，并輸入極大值抑制NMS中，篩選并輸出最后的default box。

同樣作為One-stage方法，SSD采用CNN直接檢測(cè)的方法替代Yolo在全連接層之后做檢測(cè)的方法提升了訓(xùn)練速度。此外，SSD提取不同尺寸的特征圖，分別用來(lái)檢測(cè)大小不同的物體；還使用不同尺度和長(zhǎng)寬比的Anchors提升了定位準(zhǔn)確度，實(shí)現(xiàn)了在高速運(yùn)行的同時(shí)保持高精度的重大突破。

四、總結(jié)

本文參考前沿文獻(xiàn)，總結(jié)了部分目前應(yīng)用較為廣泛的部分目標(biāo)定位算法框架及具體思路?？偟膩?lái)說(shuō)，目標(biāo)定位檢測(cè)可分為T(mén)wo-stage（產(chǎn)生候選區(qū)+確定位置）和One-stage（直接產(chǎn)生物體的位置坐標(biāo)值）兩大類，均可以實(shí)現(xiàn)快速準(zhǔn)確且魯棒性好的目標(biāo)定位，且可以靈活的應(yīng)用于建筑業(yè)、航天工程以及工業(yè)生產(chǎn)等眾多行業(yè)。

參考文獻(xiàn)：

[1] Girshick R, Donahue J, Darrell T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2015.

[2] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems. 2015.

[3] Redmon J, Farhadi A. Yolov3: An incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.

[4] https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b.

[5] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016.

雷鋒網(wǎng)，雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。