0
雷鋒網(wǎng) AI 科技評論按：本文為 2018 年 5 月 11 日在微軟亞洲研究院進(jìn)行的 CVPR 2018 中國論文宣講研討會中第三個 Session——「Person Re-Identification and Tracking」環(huán)節(jié)的四場論文報告。
圖森未來王乃巖博士做了第一個報告。在行人重識別中，不同的圖片對行人的識別率不同，那么到底需要幾幀圖片才能夠準(zhǔn)確地判別一個人的身份呢？王乃巖博士針對這個問題，提出了一種自適應(yīng)強化學(xué)習(xí)模型，也即自動學(xué)出做出準(zhǔn)確判斷所需要的幀，其結(jié)果顯示只需要視頻流的 3%-6% 即可獲得最好的結(jié)果。而事實上這可以作為一種通用的方法用在別的研究任務(wù)中。
第二個報告由來自北京大學(xué)特聘研究員張史梁介紹他們在行人重識別研究中對「數(shù)據(jù)對性能的影響」的思考。他們發(fā)現(xiàn)，盡管在特定數(shù)據(jù)集中許多方法能夠達(dá)到超越人類的水平，但是在實際應(yīng)用中卻表現(xiàn)極差。原因是，目前公開的數(shù)據(jù)集在數(shù)量、場景、時間段、光照等維度都過于單一；且由于不同數(shù)據(jù)集收集時的標(biāo)準(zhǔn)不同，很難實現(xiàn)跨數(shù)據(jù)集的研究和應(yīng)用。基于這樣的思考，他們花費很大精力構(gòu)建了目前看來最大的多場景、多時間段、多光照強度的數(shù)據(jù)集 MSMT17；此外，他們還涉及了 PTGAN 網(wǎng)絡(luò)，用于將不同數(shù)據(jù)集的風(fēng)格進(jìn)行融合，以達(dá)到相互利用的目的。
隨后是由港中文-商湯聯(lián)合實驗室的李鴻升教授介紹了他們在行人重識別研究中的新視角。李鴻升教授在今年的 CVPR 中共有 7 篇入選論文，這里他只介紹了其中兩篇。第一篇為 oral 論文，他們考慮到圖片之間具有組相似性，而現(xiàn)有的方法大多忽視了這種相似性；基于這種思考，他們提出了用組相似性的約束的全局 loss 函數(shù)，取代了之前只是基于局部的 loss 函數(shù)。第二篇論文中他們發(fā)現(xiàn)圖片背景對模型重識別行人有很大的影響。
最后由來自商湯科技的武偉博士介紹了他們在目標(biāo)追蹤方面的工作?；趯嶋H安防監(jiān)控工作的需要，他們設(shè)計了一個利用孿生（Siamese）網(wǎng)絡(luò)和區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network）構(gòu)建的高速且高性能的單目標(biāo)跟蹤算法。該算法在 VOT 2016 和 VOT 2017 數(shù)據(jù)集上都取得了 state-of-art 的結(jié)果。
雷鋒網(wǎng)注：
[1] CVPR 2018 中國論文宣講研討會由微軟亞洲研究院、清華大學(xué)媒體與網(wǎng)絡(luò)技術(shù)教育部-微軟重點實驗室、商湯科技、中國計算機學(xué)會計算機視覺專委會、中國圖象圖形學(xué)會視覺大數(shù)據(jù)專委會合作舉辦，數(shù)十位 CVPR 2018 收錄論文的作者在此論壇中分享其最新研究和技術(shù)觀點。研討會共包含了 6 個 session（共 22 個報告），1 個論壇，以及 20 多個 posters，雷鋒網(wǎng) AI 科技評論將為您詳細(xì)報道。
[2] CVPR 2018 將于 6 月 18 - 22 日在美國鹽湖城召開。據(jù) CVPR 官網(wǎng)顯示，今年大會有超過 3300 篇論文投稿，其中錄取 979 篇；相比去年 783 篇論文，今年增長了近 25%。
更多報道請參看：
Session 3: Person Re-Identification and Tracking
Session 4: Vision and Language
論文：Multi-shot pedestrian re-identification via sequential decision making
報告人：王乃巖，圖森未來，首席科學(xué)家
所謂行人重識別任務(wù)，即將來自多個攝像頭的不同軌跡中的行人（例如多張圖片或者視頻圖片）進(jìn)行身份識別。這在安全領(lǐng)域中的視頻分析、視頻監(jiān)控具有廣泛的應(yīng)用基礎(chǔ)。在實際中多張圖片能夠提供豐富的信息，但是同時也帶來了大量的冗余，甚至潛在的噪聲。解決這一問題的關(guān)鍵在于如何將多張圖片中的特性進(jìn)行聚合。
目前實現(xiàn)特性聚合的方法主要有兩類。一類是 feature pooling，也即將每一幀圖片的特性提取出來后，在對所有幀的特性進(jìn)行 pooling，從而提取出 frame level 的特性。另一類方法是時序模型，也即假設(shè)圖片之間存在時序，然后使用光流/LSTM 的方法對 frame level 特性進(jìn)行融合。
王乃巖在這篇被 CVPR 2018 接收的文章中考慮到，行人重識別應(yīng)當(dāng)對不好的檢測（例如重影）或遮擋具有更高的魯棒性，同時對不同圖片中行人的識別有一定的彈性。
如上圖所示，左側(cè)兩張圖片可以很容易檢測出是否是同一個人，因此期望設(shè)計出的模型只是用一對圖片做判別即可；而另一方面，右側(cè)的圖片，由于遮擋、模糊的原因，一對圖片很難判斷是否是同一個人，因此希望模型能夠自動地選擇適量的圖片對進(jìn)行行人身份判斷。
基于上面的考慮，王乃巖團隊提出了一種稱為「自適應(yīng)強化學(xué)習(xí)」（Adaptive Reinforcement Learning）的模型，如下圖所示：
這里有幾個關(guān)鍵點需要特別指出：
（1）Actions。圖片對生成的 feature 送入 agent 后，agent 將作出三種判斷：same，different 和 unsure。當(dāng)判斷結(jié)果為 unsure 時，就會返回到開頭重新進(jìn)行判斷。
（2）Reward。如果目標(biāo)圖片與 ground truth 圖片匹配，那么獎勵為+1；如果不匹配，或者盡管還不確定但所有的圖片都已經(jīng)對比完了，那么獎勵為-1；否則，當(dāng)圖片對還沒有對比完且也沒有確定是否匹配，那么獎勵為 r_p。顯然這里 r_p 大小的設(shè)定影響著獎勵的結(jié)果，如果設(shè)置為負(fù)值，那么它會因為請求更多圖像對而受到懲罰；而當(dāng)設(shè)置為正值，它就會被鼓勵收集更多的圖像對，直至對比完所有的圖像，此時 r_p 會被強行設(shè)置為-1。
（3）輸入 agent 的 feature，除了學(xué)習(xí)到的當(dāng)前圖片的 image features 外，還利用了歷史 feature（也即前面的判斷結(jié)果，進(jìn)行加權(quán)平均）和手工設(shè)計的距離 3D feature。
（4）學(xué)習(xí)算法為比較經(jīng)典的 DQN，學(xué)習(xí)得到 Q-Value 以判斷兩張圖片中的人是否是同一個人。
這張對比結(jié)果是，當(dāng)設(shè)置每個 episode 中圖片對的最大數(shù)量（例如 4 對）時，ARL 方法相比 baseline 的結(jié)果?？梢钥闯黾词故褂蒙倭康膱D片對也能在 CMC Rank 中取得極好的分?jǐn)?shù)。
這張圖片可以從定量的角度來看該模型的優(yōu)點。當(dāng)設(shè)置視頻流包含 200 張圖片時，ARL 方法只用 3 - 6 張圖片即可達(dá)到近似于使用全部圖片的效果。
最后展示一下，訓(xùn)練過程中 same、different、unsure 三個 state 分?jǐn)?shù)的變化。左側(cè)的圖顯示了對不同的圖片判斷結(jié)果所需要的圖片對數(shù)量也不同，模型能夠自適應(yīng)選擇。右側(cè)是相應(yīng)的分?jǐn)?shù)變化。
這篇文章算是首次嘗試將增強學(xué)習(xí)方法引入到 multi-shot 重識別問題當(dāng)中，其結(jié)果顯示可能只需要所有圖片（例如視頻流）中的 3%-6% 的圖片即可獲得最好的結(jié)果?？赡苓@里更為關(guān)鍵的是它可以使用到 single-shot 重識別問題中。據(jù)王乃巖表示，這種方法除了能夠用于行人的重識別外，或許也可以作為不確定估計的一種通用方法。期待他們接下來的研究成果。
論文：Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
報告人：張史梁，北京大學(xué)
這篇文章可能提供了最大的多場景、多時間段的行人數(shù)據(jù)集了。
從 2005 年行人重識別任務(wù)首次提出后，經(jīng)過 2014 年深度學(xué)習(xí)被引入該領(lǐng)域，行人重識別的研究得到大量的研究（例如 CVPR 上行人重識別的文章從 2014 年的 3 篇劇增到今年的 32 篇），在這些研究中各種模型所表現(xiàn)出的性能也逐步提升，在今年的一些數(shù)據(jù)集（例如 CUHK03、Market501）上一些方法的表現(xiàn)甚至超越了人類。
一個讓人不禁產(chǎn)生的問題是：我們真的已經(jīng)解決行人重識別的問題了嗎？
事實可能是并沒有。對比大多數(shù)實驗中所使用的數(shù)據(jù)集和真實世界的數(shù)據(jù)集，就可以發(fā)現(xiàn)仍然存在著很大的差別。例如下表中的五個已有的公開數(shù)據(jù)集 Duke、Market、CUHK03、CUHK01、VIPeR 與真實世界數(shù)據(jù)集的對比：
可以看出這些公開數(shù)據(jù)集有以下幾個問題：數(shù)據(jù)量小、場景單一（indoor 或者 outdoor）、相機數(shù)量少、時間短、光線條件單一等。
此外，在實驗中大多數(shù)情況下，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的數(shù)量都接近于 1 : 1。但是在現(xiàn)實世界的數(shù)據(jù)中，訓(xùn)練數(shù)據(jù)往往只占全部數(shù)據(jù)中很小的一部分，因此在實驗中表現(xiàn)良好的模型放到真實世界中可能并不能獲得很好的效果。
有了以上的考慮，怎么才能夠進(jìn)一步促進(jìn)行人重識別的研究，以便能夠在現(xiàn)實生活中加以應(yīng)用呢？
第一個想法就是：我們需要有更加真實的數(shù)據(jù)集。這個數(shù)據(jù)集的采集應(yīng)該更加接近真實世界，也即有更多的行人、更多的相機、更多的 bboxes，同時也應(yīng)當(dāng)有復(fù)雜的場景（既有室內(nèi)也有室外場景），更加重要的是要還要有不同時段和不同光照下的數(shù)據(jù)。
解決訓(xùn)練集和測試集嚴(yán)重不均衡的問題，張史梁等人認(rèn)為一個可行的思路就是重用已有的標(biāo)注數(shù)據(jù)。例如在 PRID 中訓(xùn)練集較少，那么可以利用 CUHK03 的數(shù)據(jù)集進(jìn)行訓(xùn)練，然后在 PRID 中進(jìn)行測試。但是這種方法并不像想象的這么容易，例如上面的例子，Rank-1 精度只有 2%。思考其背后的原因，可能是因為在這兩個數(shù)據(jù)集中有不同的光照、背景、相機參數(shù)等。
基于這兩點考慮，張史梁等人做了兩項工作，首先是構(gòu)建了一個大型的多場景多時段的數(shù)據(jù)集 MSMT17；其次構(gòu)建了一個 Person Transfer GAN，用于將不同的數(shù)據(jù)集進(jìn)行融合，以便在同一個任務(wù)中使用。
從上圖中可以看出 MSMT17 的相比于其他數(shù)據(jù)集的一些優(yōu)勢。構(gòu)建這個數(shù)據(jù)集共使用了 15 個相機，其中 12 個為 outdoor，3 個為 indoor；總共收集了 180 個小時的數(shù)據(jù)，每個月選擇天氣環(huán)境不同的 4 天，每天早、中、晚分別 3 個小時。他們選擇 Faster RCNN 對這些行人進(jìn)行 bounding box detection，這個標(biāo)注過程花了兩個月的時間，一共有 126441 個 body boxes。為了模擬真實世界中的環(huán)境，他們選擇了 4101 個對象，其中 1041 個人用作訓(xùn)練，3060 個人用作測試。該數(shù)據(jù)集目前已經(jīng)公開，可以說是該研究領(lǐng)域最大的數(shù)據(jù)集。
感受一下 MSMT17 數(shù)據(jù)集中的一些案例：
這里有光照的變化、場景和背景的變化、多樣的姿態(tài)以及遮擋物等多種復(fù)雜條件。
這個 GAN 網(wǎng)絡(luò)的目標(biāo)就是將一個數(shù)據(jù)集 A 上的風(fēng)格（包括背景、光照、照相機參數(shù)等）轉(zhuǎn)化為另一個數(shù)據(jù)集 B 的風(fēng)格，轉(zhuǎn)換完之后則可以使用數(shù)據(jù)集 A' 作為數(shù)據(jù)集 B 的訓(xùn)練集。這里要保證兩個方面：第一，變換后的風(fēng)格符合數(shù)據(jù)集 B 的風(fēng)格；第二，要保證變換前后人的身份信息不變。
張史梁等人提出的 person transfor GAN（PTGAN）如下圖所示：
PTGAN 的訓(xùn)練過程主要由兩個 Loss 來約束。
第一個是 Style transfer，即 A 經(jīng)過 transfer 后風(fēng)格盡可能和 B 相似，這是一個 unpaired image-to-image translation 任務(wù)，因此它就直接采用了 Cycle-GAN 的 loss 函數(shù)。另外一個就是 ID loss，保持身份盡可能地不發(fā)生變化，這里采用了 PSPNet 的 loss 函數(shù)。下圖是三種 GAN 模型作用在輸入圖片上的結(jié)果對比：
下面變換前后的對比圖之一，從 CUHK03 到 PRID-cam2 的變換：
用變換后的數(shù)據(jù)訓(xùn)練訓(xùn)練 GoogLeNet，然后在 PRID 數(shù)據(jù)集上進(jìn)行測試，結(jié)果如下表：
可以看到經(jīng)過變換后的表現(xiàn)得到了大幅度的提升，例如 CUHK03 - PRID cam1 實驗中，Rank-1 分?jǐn)?shù)從原來的 2.0% 一下子提升到了 37.5%。
能夠適用于真實環(huán)境中的行人重識別模型才是真正的好模型，為了實現(xiàn)這點，張史梁等人提出了兩種方法。一方面他們構(gòu)建了一個目前來講最大的近似真實世界的數(shù)據(jù)集 MSMT17；另一方面他們希望能夠通過數(shù)據(jù)風(fēng)格遷移在不同的數(shù)據(jù)集之間搭建一個橋梁，提出了 PTGAN 模型。
相關(guān)代碼和數(shù)據(jù)：https://github.com/JoinWei-PKU
報告題目：Towards More Robust Person Re-identification with Group Consistency and Background-bias Elimination
報告人：李鴻升，港中文-商湯聯(lián)合實驗室
論文：
1. Group Consistent Similarity Learning via Deep CRFs for Person Re-Identification (oral)
2. Eliminating Background-bias for Robust Person Re-identification (Poster)
李鴻升教授所在團隊在今年的 CVPR 上共有 7 篇行人重識別的論文被錄用，其中 1 篇 oral，6 篇 poster。在這次分享會上他著重介紹了上述兩篇內(nèi)容。
所謂行人重識別，按照李鴻升教授的說法，即給定一個檢測圖片，依據(jù)相似性對圖片集中的所有行人圖片進(jìn)行排序。這其中的關(guān)鍵問題是，如何學(xué)習(xí)行人圖片之間的視覺相似性。
現(xiàn)有方法在通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視覺相似性時，一個局限性問題是在其 loss 函數(shù)中只用了局部約束。例如下圖所示的 pairwise loss、triplet loss 或者 quardruplet loss：
這種局部約束的 loss 函數(shù)不能描述圖像之間的相似性?；谶@樣的思考，李鴻升等人認(rèn)為應(yīng)當(dāng)構(gòu)建一種基于組別相似性的新的 loss 函數(shù)，這種函數(shù)不僅能夠描述局部相似性，還能夠描述圖片之間的相似性。
如上圖所示，局部相似性僅僅考慮兩幅圖之間的相似性，而全局相似性則考慮 gallery images 中群組之間的相似性（probe image 也可以視為一個 group）。其方法的框架如下圖所示：
共分為三步：先進(jìn)性深度多尺度 feature embedding（使用了 ResNet-50 作為主體網(wǎng)絡(luò)），然后對圖片進(jìn)行一個局部的相似性估計（得到兩張圖片 I_m,I_n 的局部預(yù)估計相似性為 t_mn），最后一步為組相似性增強。
他們假設(shè)：給定一個圖片 I_p，如果它與圖片集 I_i 相似，而圖片集 I_i 與圖片集 I_j 相似，那么 I_p 也與 I_j 相似；否則如果 I_p 與圖片集 I_i 不相似，而圖片集 I_i 與圖片集 I_j 相似，那么 I_p 與 I_j 不相似。而組相似性取決于整個圖片組。
如果記 I_p 和 I_i 之間的組相似性為 y_pi。那么基于組相似性的 CRF 模型即為：
這里組相似性應(yīng)當(dāng)盡可能地接近于通過 CNN 網(wǎng)絡(luò)估計出的局部相似性，因此有：
（unary term）
（pairwise term）
他們的實驗結(jié)果如下：
可以看出基于組相似性的重識別效果相比之前的 state-of-art 工作有顯著地提升。
已有行人重識別方法中，大家都是用整張圖片作為一個獨立的數(shù)據(jù)樣本去訓(xùn)練和檢測，但是他們忽略了一個問題，即：行人和背景是不同的對象，在識別行人中，圖片背景會帶來偏差。如下圖所示：
與 query 圖片有相似背景但不同行人的圖片排在 rank 6，而同一行人不同背景的圖片卻排在 rank 25。那么在行人重識別中，背景到底會帶來多大的偏差呢？李鴻升等人通過在 CUHK03 和 Market-1501 數(shù)據(jù)集上使用 human parsing mask 的方法獲得了 3 類數(shù)據(jù)集：mean background、random background 和 background only，如下圖所示：
他們用原始數(shù)據(jù)集進(jìn)行訓(xùn)練后，在 mean background、random background 進(jìn)行測試：
發(fā)現(xiàn)去除背景或者（尤其是）隨機換背景后，性能出現(xiàn)大幅度的下降。而另一方面他們嘗試只用背景圖去訓(xùn)練，然后用原圖和背景圖做測試：
發(fā)現(xiàn)前者的表現(xiàn)并不差。這說明在之前深度學(xué)習(xí)模型中背景起到了相當(dāng)大的影響，也同時給行人重識別帶來了偏差。
基于這種發(fā)現(xiàn)，他們構(gòu)建了一個 Person-region Guided Pooling Network。
首先他們通過 huaman parsing 方法獲得 4 類人體 parsing map（整體、頭、軀干、腿），然后用這些 parsing map 從不同的人體區(qū)域做特征池化。他們分別對有無背景以及不同比例、on-off line 做了實驗對比：
他們發(fā)現(xiàn)通過 online 且隨機替換掉 50% 的原圖的背景能夠得到最好（限于對比實驗）的結(jié)果。
同時他們也將這種方法與其他 state-of-art 方法進(jìn)行對比：
發(fā)現(xiàn)在不同數(shù)據(jù)集上這種方法的表現(xiàn)有顯著的提升。
論文：High Performance Object Tracking with Siamese-network
報告人：武偉，商湯科技
論文下載地址：暫無
目標(biāo)追蹤不同于目標(biāo)檢測，首先對于追蹤的目標(biāo)沒有一個預(yù)定義的分類；其次在整個視頻幀當(dāng)中只有第一幀帶有標(biāo)注；此外，也沒有可用于訓(xùn)練的數(shù)據(jù)存在。
據(jù)武偉介紹，他在商湯主要負(fù)責(zé)安防監(jiān)控方面的研發(fā)工作，之所以考慮做目標(biāo)追蹤，是因為業(yè)務(wù)需要?，F(xiàn)有的單目標(biāo)跟蹤算法很難兼顧到性能和速度，只能再某一個指標(biāo)上占優(yōu)。但是在實際應(yīng)用中則不得不考慮，在不影響性能的同時如何進(jìn)一步提高速度。
基于這種業(yè)務(wù)需求，武偉等人提出了一種端到端的深度學(xué)習(xí)框架，具體來說就是利用孿生（Siamese）網(wǎng)絡(luò)和區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network），構(gòu)建了一種高速且高性能的單目標(biāo)跟蹤算法。如下圖所示：
整體上，算法分為 Siamese 特征提取網(wǎng)絡(luò)和 Region Proposal Network 子網(wǎng)絡(luò)兩個部分。二者通過卷積操作升維，統(tǒng)一在一個端到端的框架里面。
訓(xùn)練過程中，算法可以利用密集標(biāo)注（VID）和稀疏標(biāo)注（YoutubeBB）的數(shù)據(jù)集對進(jìn)行訓(xùn)練。相比于現(xiàn)有方法，稀疏標(biāo)注的數(shù)據(jù)集大大增加了訓(xùn)練數(shù)據(jù)來源，從而可以對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行更充分的訓(xùn)練；Region Proposal Network 中的坐標(biāo)回歸可以讓跟蹤框更加準(zhǔn)確，并且省去多尺度測試耗費的時間。
實驗方面，本跟蹤算法能在保持高速的情況下（160fps），在 VOT2016 和 VOT2017 數(shù)據(jù)集上取得 state-of-the-art 的結(jié)果。
(Performance on VOT 2016)
(Performance on VOT 2017)
再來看一張追蹤效果：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
