使用 AlignedReID 來實現(xiàn)行人重識別的具體應用指南

本文作者： AI研習社-譯站

2018-08-15 10:46

導語：我們不光是要通過面部特征來從匹配一個人，也需要識別他/她的整個身體（比如衣服，身高等）。

雷鋒網(wǎng)按：本文為 AI 研習社編譯的技術博客，原標題為 A Practical Guide to Person Re-Identification Using AlignedReID，作者 Niruhan Viswarupan。

翻譯 | 張哥華校對 | 余杭整理 | 余杭

目前世界各地都充斥著閉路電視，而數(shù)字監(jiān)控產(chǎn)生的大量數(shù)據(jù)對人工操作來說難以利用。機器視覺算法的興起（同時也因為硬件提升讓我們能使用并行處理）給我們提供了其他的解決方案，算法可以讀取監(jiān)控數(shù)據(jù)并返回有意義的描述。類似于面部檢測和面部識別的圖像技術已經(jīng)被應用于攝像頭和社交網(wǎng)絡。

使用 AlignedReID 來實現(xiàn)行人重識別的具體應用指南

圖 2：https://sociable.co/social-media/how-to-disable-facebook-facial-recognition/

Facebook 可以自動識別包含了你的圖像，即使在圖片上沒有任何人把你標注出來。他們的算法會從人為標注了你的圖片上學習到你臉部的特征，并在新的圖片上尋找這些特征是否存在。建立這套能適用于上億人群的系統(tǒng)需要嚴謹?shù)墓こ碳夹g。

這個和我們將要介紹的行人重識別技術稍微有些不同。我們不光是要通過面部特征來從匹配一個人，也需要識別他/她的整個身體（比如衣服，身高等）。面部識別的局限是它只在人臉靠近攝像頭的時候才適用，而監(jiān)控錄像往往不具備這樣的條件，人也可以用物體擋住自己的臉部。
在介紹行人重識別的代碼之前，我們先來整理下我們要討論的內容：

我把這篇博客分為 5 部分：

1. 行人重識別 — 定義我們遇到的問題

2. 行人重識別的挑戰(zhàn) — 解決問題中存在的挑戰(zhàn)

3. 行人重識別問題的變種 — 我們面臨的問題會隨著輸入內容的不同而有小幅改變。關于變化的討論

4. 不同的行人重識別方法 — 建立行人重識別的方法論

5. AlignedReID：超過人類表現(xiàn)的行人重識別技術 — 如何使用第三方庫 AlignedReID 對實例進行測試

1. 行人重識別

給出一個攝像頭拍攝的行人的照片或視頻，重識別技術就是在另一個的攝像頭中再次辨認出是同一個人的過程，并且兩個攝像頭不能有重疊的視角。重識別對于在多個攝像頭中建立連續(xù)標注或是在單個攝像頭中重建掉線的或遺失的追蹤是必不可少的。[2]

行人重識別就是把不同攝像頭拍攝的同一個人，或是同一個攝像頭在不同場景下拍攝的同一個人聯(lián)系起來。換句話說就是，在多攝像設置下對同一個人分配同一個ID。通常情況下，攝像頭的重識別被限制在一個很短的時間段和很小的區(qū)域內。對人類而言，通過對他人面部、身高、身材、衣服、發(fā)型、走路姿勢等等來辨認一個人是容易的，然而這對機器來說卻是極其艱難的。

使用 AlignedReID 來實現(xiàn)行人重識別的具體應用指南

圖 3: 重識別系統(tǒng)流程圖

2. 行人重識別的挑戰(zhàn)

我們最主要的挑戰(zhàn)來自于人內部的變化，即是說，在不同攝像頭下，同一個人展現(xiàn)出來的不同姿態(tài)。我們將在下面討論主要的一些挑戰(zhàn)。

使用 AlignedReID 來實現(xiàn)行人重識別的具體應用指南

圖 4: 印度總理莫迪在練習瑜伽

1. 在重識別之前系統(tǒng)必須要在圖片上檢測到行人并決定行人的邊框大小。正如我們在圖4看到的，人體姿態(tài)可以是非常動態(tài)可變的。捕捉這類可變的對象本身就是一個挑戰(zhàn)。

2. 一個重識別系統(tǒng)既可以輸入圖片（single-shot）也可以輸入視頻（multi-shot）。在視頻輸入時需要在檢測目標和幀畫面之間同步。這個過程被稱作追蹤。多人追蹤也是一個挑戰(zhàn)。

3. 光照變化。日光強度，陰影，彩色表面的反光，室內光線，都會導致同一個目標在攝像頭中展現(xiàn)出不同的光影和顏色。

4. 低像素。許多老式監(jiān)控系統(tǒng)的攝像頭都是低像素，這會導致輸入信息量不足，從而讓行人重識別變得困難。

使用 AlignedReID 來實現(xiàn)行人重識別的具體應用指南

圖 5: 行人遮蔽

5. 遮蔽。在擁擠的環(huán)境中，人與人之間部分甚至是完全的遮蔽對提取行人特征也是挑戰(zhàn)。

6. 統(tǒng)一著裝。在學校與一些工作場所，統(tǒng)一著裝會擾亂重識別提取衣服/外貌信息。

7. 可擴展性。公共區(qū)域往往有成百上千的攝像頭，但現(xiàn)有技術才剛開始解決多攝像監(jiān)控問題。

3. 行人重識別：問題變種

正如我們之前提到的，系統(tǒng)的輸入可以是圖片也可以是視頻。當輸入的是視頻是我們可以考慮用步態(tài)分析等方法來建立重識別。

開放集重識別 vs 封閉集重識別。開放集的重識別是指，我們的數(shù)據(jù)集圖庫并不一定包含我們要檢索的ID，也即是說，在開放式環(huán)境下攝像頭檢測到新的行人，會提取新人特征并加入到我們圖庫中。而封閉集重識別的數(shù)據(jù)集會受限。當一個可能的檢索 ID 被包含在我們圖庫 ID 中時，我們就會把檢索圖片與圖庫 ID 匹配，并輸出與檢索信息最相似的行人 ID 。

4. 不同的行人重識別方法

使用 AlignedReID 來實現(xiàn)行人重識別的具體應用指南

圖 6: 基于重識別處理分類的方法論 [2]

場景法是我們需要利用外部信息，比如攝像頭位置，角度等等，去輔助重識別。利用攝像頭位置和抓取圖像的時間等信息，我們可以減少一次檢索所需的圖庫大小。不僅如此，知道一個人進入/離開的位置，行走速度，經(jīng)過的時間，我們就可以持續(xù)追蹤該人。如果多個攝像頭之間存在交疊的區(qū)域，并且沒有盲點，我們就可以在不同攝像頭中追蹤該人且不需要進行過多的重識別。

非場景法可被分為兩種 — 被動和主動。被動法不使用任何機器學習的算法來執(zhí)行描述提取與匹配，主動法則與此相反。主動法又被繼續(xù)分為如下三個部分，

1. 顏色校準：對2個攝像頭之間的對象外觀變化進行建模，使用光照變化函數(shù)（brightness transfer function，BTF）。重識別被部署在外觀變化模型里。

2. 特征描述學習：在這個模型里我們試圖讓重識別對最顯著的特征進行學習，或是學習一系列特征中最顯著的加權權重。

3. 度量學習：在此方法中，算法專注于學習到能最大化匹配正確率的距離度量，而不是考慮外觀表達的選擇。

5. AlignedReID：超過人類表現(xiàn)的行人重識別技術

AlignedReID 是最近的一篇論文，聲稱算法第一次在行人重識別上超過了人類[4]。AlignedReID 提取整體的特征，而整體特征又被局部特征共同學習到。我們將使用一個第三方工具來實現(xiàn) AlignedReID，github是 https://github.com/huanghoujing/AlignedReID-Re-Production-Pytorch，并基于Market 1501 數(shù)據(jù)集進行測試。關于代碼的詳細解釋、如何自定義輸入和 API 將在另一篇博客中討論。

第一步下載代碼

下載 https://github.com/huanghoujing/AlignedReID-Re-Production-Pytorch 為 zip 文件，本地解壓。

第二步安裝所需包文件

我推薦使用 Anaconda package manager 和 Ubuntu 環(huán)境來測試實例。推薦用 Anaconda Python 2.7 的環(huán)境來安裝包。