雷鋒網(wǎng) AI 科技評論消息，計算機視覺和模式識別領(lǐng)域頂級會議 CVPR 2019 于上周在美國落下帷幕，各大企業(yè)和科研機構(gòu)紛紛發(fā)布自家最新成果，其中，不乏諸多來自中國的研究成果。接下來，雷鋒網(wǎng) AI 科技評論將為大家介紹亮風(fēng)臺在 CVPR 2019 上展示的大規(guī)模單目標(biāo)跟蹤高質(zhì)量數(shù)據(jù)集 LaSOT，這一數(shù)據(jù)集包含超過 352 萬幀手工標(biāo)注的圖片和 1400 個視頻，這也是目前為止最大的擁有密集標(biāo)注的單目標(biāo)跟蹤數(shù)據(jù)集。以下為亮風(fēng)臺所提供的詳細(xì)解讀：

論文《LaSOT: A High-quality Benchmark for Large-scale Single Object Tracking》詳細(xì)闡述了 LaSOT 數(shù)據(jù)集的構(gòu)造原理和評估方法，由亮風(fēng)臺、華南理工大學(xué)、美圖-亮風(fēng)臺聯(lián)合實驗室等單位共同完成，收錄于 CVPR 2019。

LaSOT 貢獻(xiàn)

視覺跟蹤是計算機視覺中最重要的問題之一，其應(yīng)用領(lǐng)域包括視頻監(jiān)控、機器人技術(shù)、人機交互等。隨著跟蹤領(lǐng)域的巨大進(jìn)步，人們提出了許多算法。在這一過程中，跟蹤基準(zhǔn)對客觀評估起到了至關(guān)重要的作用。LaSOT 的推出，也是希望為行業(yè)提供一個大規(guī)模的、專門的、高質(zhì)量的基準(zhǔn)，用于深度跟蹤訓(xùn)練和跟蹤算法的真實評估。

圖 1：常用跟蹤數(shù)據(jù)集統(tǒng)計示意圖。包括 OTB-2013、OTB-2015、TC-128、NUS-PRO、UAV123、UAV20L、VOT-2014、VOT-2017 和 LaSOT。圓直徑與數(shù)據(jù)集的總幀數(shù)數(shù)成比例。所提出的 LaSOT 比所有其他基準(zhǔn)都要大，并且專注于長期跟蹤。

觀察和比較不同的跟蹤算法發(fā)現(xiàn)，其進(jìn)一步發(fā)展和評估受到現(xiàn)有評測集的限制，存在的問題主要包括：

1. 規(guī)模小。現(xiàn)有數(shù)據(jù)集很少有超過 400 個序列，由于缺乏大規(guī)模的跟蹤數(shù)據(jù)集，很難使用跟蹤特定視頻訓(xùn)練深度跟蹤器。

2. 短時跟蹤。理想的跟蹤器能夠在相對較長的時間內(nèi)定位目標(biāo)，目標(biāo)可能消失并重新進(jìn)入視圖。然而，大多數(shù)現(xiàn)有的基準(zhǔn)都集中在短期跟蹤上，其中平均序列長度小于 600 幀（即 20 秒左右），而且目標(biāo)幾乎總是出現(xiàn)在視頻幀中。

3. 類別偏見。一個穩(wěn)健的跟蹤系統(tǒng)應(yīng)該表現(xiàn)出對目標(biāo)所屬類別的不敏感性，這意味著在訓(xùn)練和評估跟蹤算法時都應(yīng)該抑制類別偏差（或類別不平衡）。然而，現(xiàn)有的基準(zhǔn)通常只包含幾個類別，視頻數(shù)量不平衡。

許多數(shù)據(jù)集被提議處理上述問題，然而，并沒有解決所有的問題。

基于上述動機，亮風(fēng)臺為社區(qū)提供了一個新的大型單目標(biāo)跟蹤（LaSOT）基準(zhǔn)，并提供了多方面的貢獻(xiàn)：

1. LaSOT 包含 1400 個視頻，每個序列平均 2512 幀。每一幀都經(jīng)過仔細(xì)檢查和手動標(biāo)記，并在需要時對結(jié)果進(jìn)行目視檢查和糾正。這樣，可以生成大約 352 萬個高質(zhì)量的邊界框標(biāo)注。

此外，LaSOT 包含 70 個類別，每個類別包含 20 個序列。據(jù)了解，LaSOT 是迄今為止最大的具有高質(zhì)量手動密集注釋的對象跟蹤數(shù)據(jù)集。

2. 與之前的數(shù)據(jù)集不同，LaSOT 提供了可視化邊界框注釋和豐富的自然語言規(guī)范，這些規(guī)范最近被證明對各種視覺任務(wù)都是有益的，包括視覺跟蹤。這樣做的目標(biāo)是鼓勵和促進(jìn)探索集成視覺和語言功能，以實現(xiàn)強大的跟蹤性能。

3. 為了評估現(xiàn)有的跟蹤器，并為將來在 LaSOT 上的比較提供廣泛的基準(zhǔn)，團(tuán)隊在不同的協(xié)議下評估了 35 個具有代表性的跟蹤器，并使用不同的指標(biāo)分析其性能。

LaSOT 大規(guī)模多樣化的數(shù)據(jù)采集

LaSOT 數(shù)據(jù)集的構(gòu)建遵循大規(guī)模、高質(zhì)量的密集注釋、長期跟蹤、類別平衡和綜合標(biāo)記五個原則。

LaSOT 基準(zhǔn)數(shù)據(jù)采集涵蓋了各種不同背景下的各種對象類別，包含 70 個對象類別。大多數(shù)類別是從 ImageNet 的 1000 個類別中選擇的，但少數(shù)例外（如無人機）是為流行的跟蹤應(yīng)用程序精心選擇的。以往的數(shù)據(jù)集通常含有的類別少于 30 個，并且一般分布不均勻。相比之下，LaSOT 為每個類別提供相同數(shù)量的序列，以減輕潛在的類別偏差。

在確定了 LaSOT 中的 70 個對象類別之后，研究人員從 YouTube 中搜索了每個類的視頻。最初，收集了 5000 多個視頻?？紤]到追蹤視頻的質(zhì)量和 LaSOT 的設(shè)計原則，挑選了 1400 個視頻。但是，由于大量無關(guān)內(nèi)容，這 1400 個序列不能立即用于跟蹤任務(wù)。例如，對于個人類別的視頻（例如，運動員），它通常在開始時包含每個運動員的一些介紹內(nèi)容，這不適合跟蹤。因此，研究人員仔細(xì)過濾掉每個視頻中不相關(guān)的內(nèi)容，并保留一個可用于跟蹤的剪輯。此外，LaSOT 的每一個分類都包含 20 個目標(biāo)，反映了自然場景中的分類平衡和多樣性。

最終，研究人員通過收集 1400 個序列和 352 萬幀的 YouTube 視頻，在 Creative Commons 許可下，編譯了一個大規(guī)模的數(shù)據(jù)集。LaSOT 的平均視頻長度為 2512 幀（即 30 幀每秒 84 秒）。最短的視頻包含 1000 幀（即 33 秒），最長的視頻包含 11397 幀（即 378 秒）。

LaSOT 提供可視化邊界框標(biāo)注

為了提供一致的邊界框標(biāo)注，團(tuán)隊還定義了一個確定性標(biāo)注策略。對于具有特定跟蹤目標(biāo)的視頻，對于每個幀，如果目標(biāo)對象出現(xiàn)在幀中，則標(biāo)注者會手動繪制/編輯其邊界框，使其成為最緊的右邊界框，以適合目標(biāo)的任何可見部分；否則，標(biāo)注者會向幀提供一個「目標(biāo)不存在」的標(biāo)簽，無論是不可見還是完全遮擋。請注意，如任何其他數(shù)據(jù)集中所觀察到的那樣，這種策略不能保證最小化框中的背景區(qū)域。然而，該策略確實提供了一個一致的標(biāo)注，這對于學(xué)習(xí)物體的運動是相對穩(wěn)定的。

雖然上述策略在大多數(shù)情況下都很有效，但也存在例外情況。有些物體，例如老鼠，可能有細(xì)長和高度變形的部分，例如尾巴，這不僅會在物體的外觀和形狀上產(chǎn)生嚴(yán)重的噪聲，而且對目標(biāo)物體的定位提供很少的信息。在 LaSOT 中仔細(xì)識別這些對象和相關(guān)的視頻，并為它們的注釋設(shè)計特定的規(guī)則（例如，在繪制它們時不包括老鼠的尾部）。

圖 2：LaSOT 示例序列和標(biāo)注

序列的自然語言規(guī)范由描述目標(biāo)的顏色、行為和環(huán)境的句子表示。對于 LaSOT，為所有視頻提供 1400 個描述語句。請注意，語言描述旨在為跟蹤提供輔助幫助。例如，如果追蹤器生成進(jìn)一步處理的建議，那么語言規(guī)范可以作為全局語義指導(dǎo)，幫助減少它們之間的模糊性。

構(gòu)建高質(zhì)量密集跟蹤數(shù)據(jù)集的最大努力顯然是手動標(biāo)記、雙重檢查和糾錯。為了完成這項任務(wù)，亮風(fēng)臺組建了一個注釋小組，包括幾個在相關(guān)領(lǐng)域工作的博士生和大約 10 名志愿者。

35 個代表性跟蹤器的評估

沒有對如何使用 LaSOT 進(jìn)行限制，提出了兩種協(xié)議來評估跟蹤算法，并進(jìn)行相應(yīng)的評估。

方案一：使用 1400 個序列來評估跟蹤性能。研究人員可以使用除了 LaSOT 中的序列以外的任何序列來開發(fā)跟蹤算法。方案一旨在對跟蹤器進(jìn)行大規(guī)模評估。

方案二：將 LaSOT 劃分為訓(xùn)練和測試子集。根據(jù) 80/20 原則（即帕累托原則），從每類 20 個視頻中選出 16 個進(jìn)行培訓(xùn)，其余的進(jìn)行測試。具體來說，訓(xùn)練子集包含 1120 個視頻，2.83m 幀，測試子集包含 280 個序列，690k 幀。跟蹤程序的評估在測試子集上執(zhí)行。方案二的目標(biāo)是同時提供一大套視頻用于訓(xùn)練和評估跟蹤器。

根據(jù)流行的協(xié)議（如 OTB-2015[53]），使用 OPE 作為量化評估標(biāo)準(zhǔn)，并測量兩個協(xié)議下不同跟蹤算法的精度、標(biāo)準(zhǔn)化精度和成功率。評估了 LaSOT 上的 35 種算法，以提供廣泛客觀的基準(zhǔn)，Tab. 3 按時間順序總結(jié)這些跟蹤器及其表示方案和搜索策略。

表 3：已評估跟蹤程序的摘要

方案一評估結(jié)果

方案一旨在對 LaSot 的 1400 個視頻進(jìn)行大規(guī)模評估。每個跟蹤器都按原樣用于評估，沒有任何修改。使用精度、標(biāo)準(zhǔn)化精度和成功率在 OPE 中報告評估結(jié)果。

圖 3：利用精度、歸一化精度和成功率對一號方案下的算法量化評估。

圖 4：在協(xié)議 I 下，追蹤器在三個最具挑戰(zhàn)性的屬性上的代表性結(jié)果。

圖 5：六大典型挑戰(zhàn)序列上的的定性評價結(jié)果。

方案二評估結(jié)果

圖 6：使用精度、標(biāo)準(zhǔn)化精度和成功率對方案 II 下的跟蹤算法評估。

根據(jù)方案二，將 LaSOT 分為訓(xùn)練集和測試集。研究人員可以利用訓(xùn)練集中的序列來開發(fā)他們的跟蹤器，并評估他們在測試集中的表現(xiàn)。為了提供測試集的基線和比較，評估了 35 種跟蹤算法。每個跟蹤器都被用于評估，沒有任何修改或再培訓(xùn)。使用精度、歸一化精度和成功率的評價結(jié)果如圖 6 所示。

除了對每一種跟蹤算法進(jìn)行評估外，還對兩種具有代表性的深跟蹤算法 MDNET[42] 和 SIAMFC 進(jìn)行了重新培訓(xùn)，并對其進(jìn)行了評估。評估結(jié)果表明，這些跟蹤器在沒有重訓(xùn)練的情況下具有相似的性能。一個潛在的原因是重新培訓(xùn)可能和原作者使用配置不同。

文中又對 SiamFC 的 LaSOT 訓(xùn)練集進(jìn)行了再培訓(xùn)，以證明使用更多的數(shù)據(jù)如何改進(jìn)基于深度學(xué)習(xí)的跟蹤器。Tab. 4 報告了 OTB-2013 和 OTB-2015 的結(jié)果，并與在 ImageNet 視頻上培訓(xùn)的原始 SIAMFC 的性能進(jìn)行了比較。請注意，論文中使用彩色圖像進(jìn)行訓(xùn)練，并應(yīng)用 3 個比例的金字塔進(jìn)行跟蹤，即 SIAMFC-3S（彩色）。所有訓(xùn)練參數(shù)和跟蹤在這兩個實驗中保持不變。最后在兩個評測集上觀察到了一致的性能提升，顯示了針對深度追蹤器的特定大規(guī)模訓(xùn)練集的重要性。

表 4：在 LaSOT 上對 SiamFC 進(jìn)行再訓(xùn)練

LaSOT 主頁：https://cis.temple.edu/lasot/

數(shù)據(jù)集下載：https://cis.temple.edu/lasot/download.html

算法測評和工具包：https://cis.temple.edu/lasot/results.html

論文：https://arxiv.org/abs/1809.07845

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。