雷鋒網(wǎng) AI 科技評論消息，日前，商湯科技智能視頻團隊首次開源其目標跟蹤研究平臺 PySOT。PySOT 包含了商湯科技 SiamRPN 系列算法，以及剛被 CVPR2019 收錄為 Oral 的 SiamRPN++。此篇文章將獨家解讀目標跟蹤最強算法 SiamRPN 系列。

背景

由于存在遮擋、光照變化、尺度變化等一些列問題，單目標跟蹤的實際落地應用一直都存在較大的挑戰(zhàn)。過去兩年中，商湯智能視頻團隊在孿生網(wǎng)絡(luò)上做了一系列工作，包括將檢測引入跟蹤后實現(xiàn)第一個高性能孿生網(wǎng)絡(luò)跟蹤算法的 SiamRPN（CVPR 18），更好地利用訓練數(shù)據(jù)增強判別能力的 DaSiamRPN（ECCV 18），以及最新的解決跟蹤無法利用到深網(wǎng)絡(luò)問題的 SiamRPN++（CVPR 19）。其中 SiamRPN++在多個數(shù)據(jù)集上都完成了 10% 以上的超越，并且達到了 SOTA 水平，是當之無愧的目標跟蹤最強算法。

項目地址：https://github.com/STVIR/pysot

以上動圖中，紅色框是 SiamRPN++的跟蹤效果，藍色框是 ECCV 2018 上的 UPDT 的結(jié)果，可以看出 SiamRPN++的效果更佳，跟蹤效果更穩(wěn)定，框也更準。從這個圖也可以看出跟蹤的一些挑戰(zhàn)：光照急劇變化，形狀、大小變化等。

SiamRPN (CVPR18 Spotlight):

在 CVPR18 的論文中（SiamRPN），商湯智能視頻團隊發(fā)現(xiàn)孿生網(wǎng)絡(luò)無法對跟蹤目標的形狀進行調(diào)節(jié)。之前的跟蹤算法更多的將跟蹤問題抽象成比對問題，但是跟蹤問題其實和檢測問題也非常類似，對目標的定位與對目標框的回歸預測一樣重要。

研究人員分析了以往跟蹤算法的缺陷并對其進行改進：

1. 大多數(shù)的跟蹤算法把跟蹤考慮成定位問題，但它和檢測問題也比較類似，對目標的定位和對目標邊界框的回歸預測一樣重要。為此，SiamRPN 將跟蹤問題抽象成單樣本檢測問題，即需要設(shè)計一個算法，使其能夠通過第一幀的信息來初始化的一個局部檢測器。為此，SiamRPN 結(jié)合了跟蹤中的孿生網(wǎng)絡(luò)和檢測中的區(qū)域推薦網(wǎng)絡(luò)：孿生網(wǎng)絡(luò)實現(xiàn)對跟蹤目標的適應，讓算法可以利用被跟蹤目標的信息，完成檢測器的初始化；區(qū)域推薦網(wǎng)絡(luò)可以讓算法可以對目標位置進行更精準的預測。經(jīng)過兩者的結(jié)合，SiamRPN 可以進行端到端的訓練。

2. 以往的濾波類的方法，沒辦法通過數(shù)據(jù)驅(qū)動的形式提升跟蹤的性能。而 SiamRPN 可以端到端訓練，所以更大規(guī)模的數(shù)據(jù)集 Youtube-BB 也被引入到了訓練中，通過數(shù)據(jù)驅(qū)動的形式提升最終的性能。

結(jié)合以上兩點創(chuàng)新，在基線算法 SiamFC 的基礎(chǔ)上，SiamRPN 實現(xiàn)了五個點以上的提升（OTB100，VOT15/16/17 數(shù)據(jù)集）；同時還達到了更快的速度（160fps）、也更好地實現(xiàn)了精度與速度的平衡。

DaSiamRPN (ECCV18):

SiamRPN 雖然取得了非常好的性能，但由于訓練集問題，物體類別過少限制了跟蹤的性能；同時，在之前的訓練方式中，負樣本只有背景信息，一定程度上也限制了網(wǎng)絡(luò)的判別能力，網(wǎng)絡(luò)只具備區(qū)分前景與不含語義的背景的能力?；谶@兩個問題，DaSiamRPN 設(shè)計了兩種數(shù)據(jù)增強方式：

1. 孿生網(wǎng)絡(luò)的訓練只需要圖像對，而并非完整的視頻，所以檢測圖片也可以被擴展為訓練數(shù)據(jù)。更準確的來說，通過對檢測數(shù)據(jù)集進行數(shù)據(jù)增強，生成可用于訓練的圖片對。因此在 DaSiamRPN 中，COCO 和 ImageNet Det 也被引入了訓練，極大地豐富了訓練集中的類別信息。同時，數(shù)據(jù)量增大的本身也帶來了性能上的提升。

2. 在孿生網(wǎng)絡(luò)的訓練過程中，通過構(gòu)造有語意的負樣本對來增強跟蹤器的判別能力，即訓練過程中不再讓模板和搜索區(qū)域是相同目標；而是讓網(wǎng)絡(luò)學習判別能力，去尋找搜索區(qū)域中和模版更相似的物體，而并非一個簡單的有語義的物體。

經(jīng)過上述的改進，網(wǎng)絡(luò)的判別能力變得更強，檢測分數(shù)也變得更有辨別力，這樣就可以根據(jù)檢測分數(shù)判斷目標是否消失。基于此，DaSiamRPN 可以將短時跟蹤拓展到長時跟蹤，并且在 UAV20L 數(shù)據(jù)集上比之前最好的方法提高了 6 個點。在 ECCV18 的 VOT workshop 上面，DaSiamRPN 取得了實時比賽的冠軍，相比去年的冠軍有了 80% 的提升。

SiamRPN++ (CVPR19 Oral)：

目前，孿生網(wǎng)絡(luò)中的核心問題在于現(xiàn)有的孿生網(wǎng)絡(luò)目標跟蹤算法只能用比較淺的卷積網(wǎng)絡(luò)（如 AlexNet），無法利用現(xiàn)代化網(wǎng)絡(luò)為跟蹤算法提升精度，而直接引入深網(wǎng)絡(luò)甚至會使性能大幅衰減。

為了解決深網(wǎng)絡(luò)這個 Siamese 跟蹤器的痛點，商湯智能視頻團隊基于之前 ECCV2018 的工作（DaSiamRPN），通過分析孿生神經(jīng)網(wǎng)絡(luò)訓練過程，發(fā)現(xiàn)孿生網(wǎng)絡(luò)在使用現(xiàn)代化深度神經(jīng)網(wǎng)絡(luò)存在位置偏見問題，而這一問題是由于卷積的 padding 會破壞嚴格的平移不變性。然而深網(wǎng)絡(luò)并不能去掉 padding，為了緩解這一問題，讓深網(wǎng)絡(luò)能夠在跟蹤提升性能，SiamRPN++中提出在訓練過程中加入位置均衡的采樣策略。通過修改采樣策略來緩解網(wǎng)絡(luò)在訓練過程中的存在的位置偏見問題，讓深網(wǎng)絡(luò)能夠發(fā)揮出應有的效果。

通過加入這一采樣策略，深層網(wǎng)絡(luò)終于能夠在跟蹤任務中發(fā)揮作用，讓跟蹤的性能不再受制于網(wǎng)絡(luò)的容量。同時，為了更好地發(fā)揮深層網(wǎng)絡(luò)的性能，SiamRPN++中利用了多層融合。由于淺層特征具有更多的細節(jié)信息，而深層網(wǎng)絡(luò)具有更多的語義信息，將多層融合起來以后，可以跟蹤器兼顧細節(jié)和深層語義信息，從而進一步提升性能。

除此之外，研究人員還提出了新的連接部件，深度可分離相關(guān)層（Depthwise Correlation，后續(xù)簡寫為 DW）。相比于之前的升維相關(guān)層（UpChannel correlation，后續(xù)簡寫為 UP），DW 可以極大地簡化參數(shù)量，平衡兩支的參數(shù)量，同時讓訓練更加穩(wěn)定，也能更好的收斂。

為了驗證以上提出的內(nèi)容，研究人員做了詳細的實驗。在比較常用的 VOT 和 OTB 數(shù)據(jù)集上，SiamRPN++取得了 SOTA 的結(jié)果。在 VOT18 的長時跟蹤，以及最近新出的一些大規(guī)模數(shù)據(jù)集上如 LaSOT，TrackingNet，SiamRPN++也都取得了 SOTA 的結(jié)果。

傳送門：

目前相關(guān)代碼現(xiàn)已上傳至商湯科技開源目標跟蹤研究平臺 PySOT。PySOT 實現(xiàn)了目前 SOTA 的多個單目標跟蹤算法，旨在提供高質(zhì)量、高性能的視覺跟蹤研究代碼庫，并將其靈活應用于新算法的實現(xiàn)和評估中。歡迎大家使用與交流！

PySOT 開源項目

https://github.com/STVIR/pysot

SiamRPN

http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_High_Performance_Visual_CVPR_2018_paper.pdf

DaSiamRPN

http://openaccess.thecvf.com/content_ECCV_2018/papers/Zheng_Zhu_Distractor-aware_Siamese_Networks_ECCV_2018_paper.pdf

SiamRPN++

https://arxiv.org/abs/1812.11703

參考文獻：

Bo Li, Wei Wu, Qiang Wang, Fangyi Zhang, Junliang Xing, Junjie Yan, "SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks" (Oral) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019

Zheng Zhu, Qiang Wang, Bo Li, Wei Wu, Junjie Yan, "Distractor-aware Siamese Networks for Visual Object Tracking" European Conference on Computer Vision (ECCV) 2018

Bo Li, Junjie Yan, Wei Wu, Zheng Zhu, Xiaolin Hu, "High Performance Visual Tracking with Siamese Region Proposal Network" (Spotlight) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018

Luca Bertinetto, Jack Valmadre, Jo?o F. Henriques, Andrea Vedaldi, Philip H. S. Torr 

 "Fully-Convolutional Siamese Networks for Object Tracking" in ECCV Workshop 2016

Goutam Bhat, Joakim Johnander, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg."Unveiling the Power of Deep Tracking" European Conference on Computer Vision (ECCV) 2018

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。