雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術(shù)博客，原標(biāo)題 Detecting People in Real-time Using Deep Learning，作者為 Schuman Zhang。

翻譯 | 京鵬  王飛    整理 |   余杭  凡江

實時對象檢測是一個非常有趣的話題。 我們應(yīng)如何可靠地檢測視頻輸入中的人和其他現(xiàn)實生活中的物體？ 最近我設(shè)法構(gòu)建了一個非常簡單的應(yīng)用程序，只需連接到用戶的電腦網(wǎng)絡(luò)攝像頭就可自動檢測對象。 我想與大家分享一下我是如何構(gòu)建這個應(yīng)用程序以及我在此過程中遇到的一些有趣的問題和挑戰(zhàn)。

項目的源代碼可以在這里找到（https://github.com/schumanzhang/object_detection_real_time ）。

對象檢測是計算機視覺領(lǐng)域非?；钴S的研究課題。 在圖像中檢測和定位對象（可理解為在對象周圍放置邊界框）最有效的方法是使用深度學(xué)習(xí)技術(shù)。有幾種特意為此目的設(shè)計的神經(jīng)網(wǎng)絡(luò)架構(gòu)，例如  R-CNN， 快速 R-CNN，單次檢測（SSD）和 YOLO（You Only Look Once）。

Tensorflow 對象檢測模型

你可以在 tensorflow 庫中輕松找到上述神經(jīng)網(wǎng)絡(luò)架構(gòu)的預(yù)訓(xùn)練模型。它們統(tǒng)稱為 tensorflow 檢測模型集合。這些預(yù)訓(xùn)練模型在 COCO 數(shù)據(jù)集上進行訓(xùn)練（https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md），包含總共90類標(biāo)簽（現(xiàn)實世界的對象，如人，貓和狗等）。在這個簡單的應(yīng)用程序中，我們將使用被稱為  mobilenet 的單次檢測方法。這種架構(gòu)更緊湊并可以獲得額外的速度提升，這對分析每秒30-50幀圖像來說很重要。

我不會詳細(xì)介紹這些神經(jīng)網(wǎng)絡(luò)如何工作（這是另一個獨立而有趣的話題）。 在我們的應(yīng)用程序中，我們的重點是檢測人員，我們正試圖回答房間里是否有人的問題，如果是，有多少人？ 但它也應(yīng)該能檢測多達(dá)90個現(xiàn)實世界的對象類別，包括手機，書籍，筆記本電腦等普通物體。理論上，我們可以使用遷移學(xué)習(xí)方法來重新訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)架構(gòu)的最后幾層，以便檢測更多種類的物體，但是這需要額外的訓(xùn)練數(shù)據(jù)，以及大量的計算能力和時間。

簡單來說，我們的視頻流分析將使用 tensorflow，open-cv 和 Python 檢測房間中的人員。

構(gòu)建對象檢測應(yīng)用程序

該應(yīng)用程序的整體流程如下：

• 我們將使用 open-cv Python 庫從筆記本電腦的網(wǎng)絡(luò)攝像頭中讀取幀數(shù)據(jù)。這將通過 open-cv 中的 VideoCapture 函數(shù)完成。

• 然后我們將這些幀傳遞到 mobilenet ssd 模型中以檢測對象。置信水平高于0.5的任何檢測都將被返回并繪制到幀圖像中。
  

• 任何檢測到的對象都將通過可視化模塊，在圖像中檢測到的對象周圍放置彩色邊界框。
  

• 我們還添加了一個跟蹤模塊，用于顯示房間是否為空以及房間內(nèi)的人數(shù)。這些數(shù)據(jù)將被存儲在單獨的.csv 文件中。

處理后的幀數(shù)據(jù)回傳后，我們可以使用 open-cv 中的 imshow 函數(shù)向用戶顯示帶邊界框的幀圖像。

最后，視頻流的輸出將以每秒20幀的速率寫入單獨的.mp4 文件中，以便后期可以欣賞我們的工作 :)

在上面的代碼中，'while' 循環(huán)用于從網(wǎng)絡(luò)攝像頭讀取幀數(shù)據(jù)，之后將未處理的幀數(shù)據(jù)放入輸入隊列以傳遞給我們的深度學(xué)習(xí)模型。 一旦我們得到 tensorflow 的預(yù)測結(jié)果，這些預(yù)測/檢測值將被插入到輸出隊列中，然后通過 object_tracker 類的可視化模塊，最后我們將處理后的幀寫入單獨的文件并將結(jié)果顯示給用戶。  

我們將利用 Python 中的多線程來提高處理視頻幀的速度。 下面的 worker 函數(shù)將從輸入隊列中獲取幀數(shù)據(jù)，加載 tensorflow 模型并將任何檢測結(jié)果傳回輸出隊列。 這是與主線程分開運行的。

當(dāng)然，為了可視化檢測，我們需要傳遞檢測到的類標(biāo)簽，它們各自的置信度，邊界框顏色和坐標(biāo)，并將它們繪制到幀圖像上。

測試及評估應(yīng)用程序

接下來的問題是這個簡單的應(yīng)用程序表現(xiàn)如何？ 在我的筆記本電腦上運行應(yīng)用程序我覺得檢測人員功能表現(xiàn)還不錯。 我沒有將這些應(yīng)用程序置于嚴(yán)格的測試環(huán)境中。 但是，我也看到了很多表現(xiàn)相當(dāng)脆弱的情況。 首先，當(dāng)我把史蒂夫·喬布斯的傳記放在鏡頭前時，它會檢測成另一個人，而不是一本書（因此無法區(qū)分真人或某人的圖像）。 其次，我覺得在檢測人員表現(xiàn)良好的同時，檢測其他類別的表現(xiàn)并不是特別好，比如經(jīng)常會將我的手機誤認(rèn)為是電視或筆記本電腦。 在檢測現(xiàn)實世界的其他物體時還有很大的改進空間。

潛在的現(xiàn)實應(yīng)用案例？

我們可以很容易地想到許多有趣的現(xiàn)實應(yīng)用案例，用于分析和檢測實時視頻流中的人員或其他物體。 我們可以在監(jiān)控攝像頭中檢測到人員的存在，畢竟我們有大量的被忽視的安防攝像頭。我們可以讓攝像機跟蹤人員，計算人流量，甚至可以實時識別特定的行為。 自動運輸也即將出現(xiàn)，這種技術(shù)對于幫助我們的車輛看到道路和探測行人至關(guān)重要。

原文鏈接：https://medium.com/@schuman.zhang/detecting-people-in-real-time-using-deep-learning-84859c9682d2

號外號外~

一個專注于

AI技術(shù)發(fā)展和AI工程師成長的求知求職社區(qū)

誕生啦！

歡迎大家訪問以下鏈接或者掃碼體驗

https://club.leiphone.com/page/home

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。