清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

本文作者：楊文

2018-01-01 01:36

導(dǎo)語：關(guān)于行人再識別研究，你知道多少？

雷鋒網(wǎng)AI科技評論按：提到計(jì)算機(jī)視覺領(lǐng)域的研究，大家可能最先想到的是人臉識別，其實(shí)還有一個(gè)更為實(shí)用的研究應(yīng)用——行人再識別。行人再識別是利用計(jì)算機(jī)視覺技術(shù)在圖像或視頻中檢索特定行人的任務(wù)，面臨著視角變化大、行人關(guān)節(jié)運(yùn)動復(fù)雜等諸多困難，是一個(gè)極富挑戰(zhàn)的課題。本文就來為大家重點(diǎn)介紹一下行人再識別的一些基礎(chǔ)知識及最新研究進(jìn)展。

2017年，行人再識別研究飛速進(jìn)展。例如，在公開數(shù)據(jù)集Market-1501上，一選正確率從2016年ECCV中較高的65.9%提高到2017年ICCV中的80+%，arXiv近期一些paper更是將該指標(biāo)刷新到95%左右。來自清華大學(xué)信息認(rèn)知與智能系統(tǒng)研究所的孫奕帆同學(xué)在ICCV 2017中一篇spotlight論文《SVDNet forPedestrian Retrieval》。這篇論文將全連接層權(quán)矩陣解讀為特征空間中的一組投影基或是一組模板，聯(lián)合奇異值分解（SVD）優(yōu)化深度特征學(xué)習(xí)過程，取得了顯著的性能提升，并揭示了非常有趣的機(jī)理現(xiàn)象。以下內(nèi)容根據(jù)孫奕帆同學(xué)在雷鋒網(wǎng)GAIR大講堂上的直播分享整理而成。視頻回放地址：http://www.mooc.ai/open/course/381

孫奕帆，清華大學(xué)電子系博士在讀，主要研究方向?yàn)橛?jì)算機(jī)視覺、行人再識別及深度學(xué)習(xí)應(yīng)用。

分享主題：行人再識別論文介紹及最新進(jìn)展

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

分享內(nèi)容

大家好，我是來自清華大學(xué)信息認(rèn)知與智能系統(tǒng)研究所的孫奕帆。這次分享主要是以下三方面：

行人再識別任務(wù)簡介；
SVDNet for Pedestrian Retrieval論文講解；
行人再識別最近進(jìn)展介紹及下一步熱點(diǎn)預(yù)測（結(jié)合最新論文）；

提到CV，大家首先想到的是人臉識別，其實(shí)行人再識別作為新興研究方向在最近幾年受到的關(guān)注程度是非常高的。為什么要進(jìn)行行人再識別呢？

從學(xué)術(shù)研究來看，2008年以來，在三大頂會上收錄的有關(guān)行人再識別的論文數(shù)量是逐年遞增的。

從產(chǎn)業(yè)界來看，不管是老牌的計(jì)算機(jī)視覺公司如海康威視，還是新晉獨(dú)角獸face++，商湯科技，還有一些像BAT，華為等科技巨頭們對行人再識別都非常關(guān)注，他們在技術(shù)，算法，數(shù)據(jù)，人才上都有一定的積累。

從政策上來，行人再識別也受到一定的牽引。公安部推出平安城市概念，并且發(fā)布了較多的預(yù)研課題，相關(guān)行業(yè)標(biāo)準(zhǔn)也在緊鑼密鼓制定當(dāng)中。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

2017年是行人再識別取得最大突破的一年。ICCV 2017中有16篇被接受的paper都是關(guān)于行人再識別。其中有兩篇亮點(diǎn)paper，今天著重介紹其中一篇。

我先簡單介紹一下行人再識別這個(gè)任務(wù)本身，希望從事計(jì)算機(jī)視覺的其他研究領(lǐng)域的人也能參與到行人再識別的研究當(dāng)中。

行人再識別首先是計(jì)算機(jī)視覺任務(wù)，它的特點(diǎn)是給定一個(gè)感興趣的人，行人再識別Re-ID需要在其他時(shí)間，其他地點(diǎn)，其他相機(jī)再次將人物指定出來。對于訓(xùn)練集，測試集來講，它很大的一個(gè)特點(diǎn)是沒有ID上的重疊。這和圖像分類有很大不同，圖像分類所有的類在訓(xùn)練階段都是可以見到并且學(xué)習(xí)的。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

人臉識別和行人再檢測最大的區(qū)別是行人再識別是工作在非合作狀態(tài)下，也就是說所采集的行人不需要配合你做一些動作。而人臉識別最早是工作在合作狀態(tài)下，雖然現(xiàn)在隨著技術(shù)的發(fā)展，人臉驗(yàn)證可以做到半合作狀態(tài)，但是大部分情況下都不是完全非合作。由于行人圖像相對難標(biāo)注，獲得的訓(xùn)練數(shù)據(jù)也是相對較少，以及一些別的原因，目前人臉識別的準(zhǔn)確率要高一點(diǎn)。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

行人再識別的應(yīng)用領(lǐng)域

比如可以通過行人再識別做跨視角的嫌疑犯追蹤。同樣也可以和人臉識別聯(lián)合起來獲得一個(gè)在監(jiān)視場景下的身份鑒定效果。在商業(yè)上，比如可以在實(shí)體零售里，判斷同一個(gè)客戶對商品的感興趣度。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

行人再識別的標(biāo)準(zhǔn)流程

首先給定一個(gè)初始視頻之后，開始進(jìn)行行人的檢測，把檢測到的所有行人形成一個(gè)候選庫，叫做gallery。然后把gallery里面所有的圖像提取特征，在給定一個(gè)需要查詢的行人之后，叫做query，用同樣的方法提取特征，并比較與侯選庫里的特征之間的距離，最后返回檢索結(jié)果。行人檢測是相對一個(gè)獨(dú)立的環(huán)節(jié)，通常關(guān)注于后面的特征對比。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

論文中關(guān)于SVDnet的工作

首先我做了很多工作去試圖理解CNN到底學(xué)到了什么？我用傳統(tǒng)數(shù)據(jù)工具奇異值分解來優(yōu)化深度學(xué)習(xí)的過程，這一點(diǎn)也是很有特色的。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

關(guān)于這篇paper的動機(jī)。

行人再識別常用的深度學(xué)習(xí)方法通常有三個(gè)步驟。首先在訓(xùn)練集上訓(xùn)練一個(gè)分類網(wǎng)絡(luò)，然后，在網(wǎng)絡(luò)收斂之后，用它的全連接層的輸出作為他的特征表達(dá)。最后，對所有的圖像特征，計(jì)算他的歐氏距離，判斷他們的相似性。

我們在這篇paper中提出了SVDNet，目標(biāo)就是在這個(gè)特征表達(dá)層學(xué)到一個(gè)正交權(quán)矩陣。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

SVDNet結(jié)構(gòu)如圖

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

它也是建立在通用圖像分類的深度學(xué)習(xí)網(wǎng)絡(luò)基礎(chǔ)上的，和這些通用網(wǎng)絡(luò)幾乎沒有什么差別，差別在于特征表達(dá)層會用一個(gè)具有正交權(quán)矩陣的Eigenlaye來代替?zhèn)鹘y(tǒng)的全連接。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

用SVD去相關(guān)過程

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

有了SVD去相關(guān)過程后，額外設(shè)計(jì)了一個(gè)訓(xùn)練步驟，叫做張弛迭代法。在緊張訓(xùn)練時(shí)，性能表現(xiàn)提升，在松弛訓(xùn)練階段下性能不變，甚至略微降低。但總體的趨勢是上升。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

緊張訓(xùn)練階段和松弛訓(xùn)練階段特點(diǎn)

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

SVDNet的性能表現(xiàn)

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

我們這個(gè)工作現(xiàn)在已經(jīng)把它擴(kuò)展到圖像分類任務(wù)上。

關(guān)于SVDNet，我也準(zhǔn)備了比較細(xì)節(jié)的討論，大家可以去的我github看源代碼，在替換W的時(shí)候，不是簡單的替換，而是有一個(gè)重新排序的過程，這其實(shí)是跟奇異值分解數(shù)值解法的一些特點(diǎn)是有關(guān)系的，我在github上有解釋。

還有很多人問，如果用一個(gè)軟的正則項(xiàng)能不能得到類似結(jié)果，這個(gè)實(shí)驗(yàn)我們也做了，性能提升比較小。不光是正交本身，如何獲得正交效果對于SVDNet也是同樣重要的。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

另外我覺的比較有啟發(fā)意義的是，SVD是對權(quán)矩陣進(jìn)行正交化，它對特征表達(dá)本身進(jìn)行去相關(guān)有什么聯(lián)系也是值得思考的。這里就有兩篇論文是這么做的，推薦大家看看。（論文題目在上圖中）

arXiv 上的最新進(jìn)展

arXiv上有一些最新研究是如何提高當(dāng)前已經(jīng)非常高（甚至可以說是超越了人類水準(zhǔn)）的一個(gè)水平的，例如在market-1501上到一選準(zhǔn)確率達(dá)到了90%~95%的區(qū)間。這里介紹三篇paper，他們有一些共同點(diǎn)，他們都使用了part model來提取部件級別的特征，但他們在如何產(chǎn)生part這個(gè)核心問題上所采用的策略又是完全不一樣的。感興趣的同學(xué)可以找來看一看。

清華博士生孫奕帆：行人再識別論文介紹及最新進(jìn)展

未來的目標(biāo)和挑戰(zhàn)

當(dāng)我們在強(qiáng)監(jiān)督場景下的Re-ID已經(jīng)取得這樣高的水平之后，實(shí)際上Re-ID距離實(shí)際應(yīng)用仍然有很多問題尚待解決。

我們都會發(fā)現(xiàn)實(shí)驗(yàn)?zāi)Ｐ驮谟械臄?shù)據(jù)集上性能表現(xiàn)很好，但換到另一個(gè)難度更大數(shù)據(jù)集上，性能就會大幅下降。在面對真實(shí)復(fù)雜的外界環(huán)境，運(yùn)用起來往往效果會更差。

另外就是當(dāng)模型在一個(gè)數(shù)據(jù)集訓(xùn)練完之后，去另一個(gè)數(shù)據(jù)集測試，性能會出現(xiàn)非常明顯的下降，這個(gè)下降是不允許的。在實(shí)際運(yùn)用中，我們不可能對每一個(gè)相機(jī)采集到的數(shù)據(jù)都進(jìn)行一定程度的標(biāo)定，我希望在十多個(gè)相機(jī)的訓(xùn)練結(jié)果后可以泛化到很多沒有標(biāo)定數(shù)據(jù)的相機(jī)下，這樣我們才能部署一個(gè)非常實(shí)用的系統(tǒng)。

最后提出兩個(gè)開放性問題和大家一塊思考：