雷鋒網(wǎng)了解到，近兩個(gè)月，國(guó)內(nèi)團(tuán)隊(duì)先后在全球權(quán)威的人臉檢測(cè)評(píng)測(cè)平臺(tái) FDDB 和全球自動(dòng)駕駛算法公開(kāi)排行榜 KITTI 以及 Cityscapes 上取得非常好的成績(jī)，這在一定程度上證明了國(guó)內(nèi)計(jì)算機(jī)視覺(jué)相關(guān)算法已達(dá)到國(guó)際頂尖水平。

今年 ILSVRC 2016（全稱是ImageNet Large Scale Visual Recognition Challenge）分為五大部分，包括：目標(biāo)檢測(cè)、目標(biāo)定位、視頻中目標(biāo)物體檢測(cè)、場(chǎng)景分類、場(chǎng)景分析。在昨天，全球最為權(quán)威的計(jì)算機(jī)視覺(jué)大賽 ILSVRC2016（大規(guī)模圖像識(shí)別競(jìng)賽）公布了算法排名結(jié)果，Hikvision（?？低暎Z得場(chǎng)景分類第一名。

那么，今年的ImageNet的比賽為什么由這5部分組成？Hikvision（海康威視）是如何在場(chǎng)景識(shí)別一項(xiàng)中奪得冠軍的？今天雷鋒網(wǎng)請(qǐng)到了?？低暿紫茖W(xué)家、?？低曆芯吭撼?wù)副院長(zhǎng)浦世亮先生為我們講解ILSVRC2016相關(guān)的詳細(xì)細(xì)節(jié)。雷鋒網(wǎng)對(duì)采訪過(guò)程整理如下。

浦世亮，法國(guó)國(guó)家科學(xué)研究院（CNRS）博士、浙江大學(xué)博士，現(xiàn)任?？低暎ê贾莺？低晹?shù)字技術(shù)股份有限公司002415）首席科學(xué)家、研究院常務(wù)副院長(zhǎng)、?？低暡┦亢罂蒲泄ぷ髡矩?fù)責(zé)人、博士后導(dǎo)師，帶領(lǐng)?？低曆芯吭旱难邪l(fā)團(tuán)隊(duì)負(fù)責(zé)?？低曉谝曨l應(yīng)用領(lǐng)域的前瞻性、戰(zhàn)略性基礎(chǔ)技術(shù)研究。其個(gè)人曾獲第十九屆求是杰出青年獎(jiǎng)、浙江省有突出貢獻(xiàn)中青年專家、浙江省科學(xué)技術(shù)進(jìn)步一等獎(jiǎng)、杭州市131中青年人才等多項(xiàng)榮譽(yù)；已申請(qǐng)發(fā)明專利90多件，獲得授權(quán)發(fā)明專利11件，并在知名期刊、國(guó)際知名會(huì)議ICDAR、ICPR等發(fā)表多篇論文。

▎今年 ILSVRC 比賽為什么是這5部分，跟往年有何變化？

今年 ILSVRC分為

• 任務(wù)目標(biāo)檢測(cè)（object detection）

• 目標(biāo)分類與定位(object localization)

• 視頻中的目標(biāo)檢測(cè)和跟蹤(object detection / tracking from video)

• 場(chǎng)景分類(scene classification)

• 場(chǎng)景分割(scene parsing)

與去年相比今年增加了一項(xiàng)場(chǎng)景分割任務(wù)。這五類任務(wù)都是計(jì)算機(jī)視覺(jué)領(lǐng)域基礎(chǔ)的人工智能任務(wù)，有廣闊的工業(yè)應(yīng)用前景。與去年相比，今年增加了一項(xiàng)場(chǎng)景分割任務(wù)。

▎簡(jiǎn)單介紹一下 ILSVRC 2016五大部分的參賽規(guī)則？

鑒于這個(gè)參賽規(guī)則相對(duì)復(fù)雜，請(qǐng)參考ImageNet官網(wǎng)權(quán)威說(shuō)明。http://image-net.org/challenges/LSVRC/2016，這是訪問(wèn)地址。 

大致來(lái)說(shuō)，五項(xiàng)任務(wù)提供了基礎(chǔ)的訓(xùn)練集和測(cè)試集，各參賽隊(duì)伍在訓(xùn)練集上訓(xùn)練，在測(cè)試集上完成測(cè)試，提交測(cè)試結(jié)果，然后，由組委會(huì)統(tǒng)一評(píng)估性能，并給出排名。

▎請(qǐng)仔細(xì)回顧一下，你們?cè)趫?chǎng)景識(shí)別比賽中最終獲得表現(xiàn)最佳經(jīng)歷了什么？

先說(shuō)一下，場(chǎng)景識(shí)別比賽的主要的難點(diǎn)是訓(xùn)練數(shù)據(jù)的極度不均衡，而且數(shù)據(jù)標(biāo)簽具有二義性。在訓(xùn)練過(guò)程中，我們做了以下工作。

• 借助于我們組建的M40 GPU大規(guī)模訓(xùn)練集群，我們?cè)谶^(guò)去兩個(gè)月內(nèi)訓(xùn)練了20多種不同結(jié)構(gòu)的模型，包括常見(jiàn)的VGG，Inception，ResNet及其變化形式。

• 同時(shí)通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)，在非常深的ResNet（101/152/200層）上對(duì)場(chǎng)景數(shù)據(jù)進(jìn)行精調(diào)，無(wú)論是訓(xùn)練還是預(yù)測(cè)，都非常耗費(fèi)時(shí)間，而且性能上還略差于更快的Inception結(jié)構(gòu)的模型?；谶@個(gè)觀察，在模型結(jié)構(gòu)上，我們主要采用了比較深的Inception模型和相對(duì)較淺的ResNet。

• 此外，我們還在訓(xùn)練和預(yù)測(cè)環(huán)節(jié)進(jìn)行了多項(xiàng)改進(jìn)，比如說(shuō)，我們提出了一種的數(shù)據(jù)增強(qiáng)方法，可以更好的利用圖像中的目標(biāo)物信息。

• 我們還采用了標(biāo)簽洗牌（label shuffling）和標(biāo)簽平滑(label smoothing)技術(shù)，以更好地應(yīng)對(duì)數(shù)據(jù)不均衡問(wèn)題。

• 最后，我們的模型在28支隊(duì)伍的92次結(jié)果提交中，脫穎而出，獲得了第一名，top5 的分類準(zhǔn)確率達(dá)到了91%。

▎你們?nèi)绾稳〉眠@個(gè)比賽冠軍的。表現(xiàn)出色的核心是什么？

?？低曆芯吭核诘暮？低?，本身就是以視頻為核心的物聯(lián)網(wǎng)解決方案和數(shù)據(jù)運(yùn)營(yíng)服務(wù)提供商。連續(xù)五年蟬聯(lián)IHS全球視頻監(jiān)控企業(yè)第一位。

我們?cè)谟?jì)算機(jī)視覺(jué)領(lǐng)域已經(jīng)投入了十幾年時(shí)間，深度學(xué)習(xí)技術(shù)的研究也開(kāi)展了相當(dāng)長(zhǎng)時(shí)間了。在長(zhǎng)時(shí)間的研究工作中，我們打造了一支經(jīng)驗(yàn)豐富的人工智能算法團(tuán)隊(duì)，對(duì)于計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)技術(shù)有比較深刻的理解。

其次，我們認(rèn)為深度學(xué)習(xí)是一項(xiàng)復(fù)雜的系統(tǒng)性工程。系統(tǒng)性工程需要集團(tuán)作戰(zhàn)，數(shù)據(jù)的清洗標(biāo)定、大規(guī)模訓(xùn)練集群的搭建、各種神經(jīng)網(wǎng)絡(luò)框架的測(cè)試、神經(jīng)網(wǎng)絡(luò)的優(yōu)化都需要比較專業(yè)的團(tuán)隊(duì)分工才能達(dá)到最優(yōu)效果。

最后，理論的探索和創(chuàng)新需要一個(gè)良好的環(huán)境。

一方面，我們投入大量資源構(gòu)建我們的數(shù)據(jù)和訓(xùn)練平臺(tái)，讓我們的研究人員可以在海量的訓(xùn)練數(shù)據(jù)上迅速的做大量的試驗(yàn)。另一方面，我們營(yíng)造了一個(gè)寬松的研究環(huán)境，可以讓大家在支持公司業(yè)務(wù)發(fā)展的同時(shí)有大量時(shí)間可以進(jìn)行技術(shù)的探索。

▎之前為這個(gè)比賽準(zhǔn)備了多久？ 有一個(gè)怎樣的團(tuán)隊(duì)在備戰(zhàn)？

我們準(zhǔn)備了半年多，主體參賽團(tuán)隊(duì)總共7人，四位博士、兩位碩士外加一位實(shí)習(xí)生。另外，還有很多該領(lǐng)域工作的同事也陪伴我們完成這個(gè)過(guò)程，比如，有高性能計(jì)算團(tuán)隊(duì)團(tuán)隊(duì)搭建并行訓(xùn)練集群，團(tuán)隊(duì)成員大都畢業(yè)于國(guó)內(nèi)的頂級(jí)高校。

▎從產(chǎn)業(yè)界的角度講， 贏得這個(gè)比賽（場(chǎng)景分類）的意義主要是哪里。   除了場(chǎng)景分類外，贏得另外4個(gè)版塊的意義在哪里？

場(chǎng)景分類技術(shù)，對(duì)于視頻產(chǎn)業(yè)及其應(yīng)用領(lǐng)域有比較重要的應(yīng)用價(jià)值，基于對(duì)場(chǎng)景的理解可以有助于我們的系統(tǒng)對(duì)于視頻中的信息理解和應(yīng)用。

一方面，可以讓系統(tǒng)根據(jù)場(chǎng)景適配算法，另一方面，也可以讓系統(tǒng)更好的理解視頻中所產(chǎn)生的信息。例如，當(dāng)系統(tǒng)檢測(cè)到視頻中有人在奔跑，系統(tǒng)理解到這個(gè)奔跑事件所發(fā)生的環(huán)境，是在步行街或者是在學(xué)校，那么，它就可以采用不同的應(yīng)對(duì)策略。

而目標(biāo)檢測(cè)、分類、跟蹤及定位技術(shù)是計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)算法，可以應(yīng)用于許多領(lǐng)域。

例如，自動(dòng)駕駛、機(jī)器人、智能攝像機(jī)、智能手機(jī)等，只要系統(tǒng)中有視覺(jué)傳感器，需要視覺(jué)傳感器從視頻圖像中提取信息，這些技術(shù)都是必不可少的。Imagenet競(jìng)爭(zhēng)的成績(jī)逐年提升，顯示人工智能技術(shù)在工業(yè)界的應(yīng)用會(huì)逐漸成熟，其應(yīng)用領(lǐng)域也會(huì)獲得極大的拓展。

▎具體的，在detection task中，您們?cè)诮鉀Qimbalance的問(wèn)題上具體的sampling策略是怎樣的？您們是怎樣確定某一個(gè)class中的正負(fù)樣本的比例的？

很多數(shù)據(jù)集存在樣本不均衡的問(wèn)題，有些類別樣本特別多，有些類別樣本特別少。訓(xùn)練模型時(shí)，如果從一個(gè)圖像列表中依次讀取樣本訓(xùn)練的話，小類樣本參與訓(xùn)練的機(jī)會(huì)就比大類少。

訓(xùn)練出來(lái)的模型會(huì)偏向于大類，即大類性能好，小類性能差。我們的平衡采樣策略就是把樣本按類別分組，每個(gè)類別生成一個(gè)樣本列表。

訓(xùn)練過(guò)程中先隨機(jī)選擇1個(gè)或幾個(gè)類別，然后從各個(gè)類別所對(duì)應(yīng)的樣本列表中隨機(jī)選擇樣本。這樣可以保證每個(gè)類別參與訓(xùn)練的機(jī)會(huì)比較均衡。

▎想問(wèn)下在之前訓(xùn)練預(yù)測(cè)環(huán)節(jié)中提到的數(shù)據(jù)增強(qiáng)方法，如何實(shí)現(xiàn)的可以詳細(xì)談一下嗎？

我們實(shí)現(xiàn)了一種有監(jiān)督的數(shù)據(jù)增強(qiáng)方法，可以在裁剪數(shù)據(jù)的時(shí)候更好的利用目標(biāo)物信息。后面馬上會(huì)在Eccv會(huì)議上作report，因此建議關(guān)心的朋友直接看report。

▎介紹下?？低曆芯吭汉退闹饕ぷ鳎?  

?？低曆芯吭褐攸c(diǎn)開(kāi)展視頻領(lǐng)域共性技術(shù)、關(guān)鍵技術(shù)和前瞻技術(shù)的創(chuàng)新研究，持續(xù)增強(qiáng)公司技術(shù)實(shí)力，為公司核心產(chǎn)品及新興業(yè)務(wù)拓展提供有力支撐，成為公司主營(yíng)業(yè)務(wù)及創(chuàng)新業(yè)務(wù)發(fā)展的重要驅(qū)動(dòng)力。研究院在KITTI、MOT、Pascal VOC等世界級(jí)人工智能競(jìng)賽中曾獲得多個(gè)第一的好成績(jī)。

除研究院之外，?？低曔€在全球設(shè)有五大研發(fā)中心，年輕的研發(fā)團(tuán)隊(duì)在視音頻編解碼、視頻圖像處理、視頻智能分析、云計(jì)算、大數(shù)據(jù)、云存儲(chǔ)、人工智能等方面有深厚的技術(shù)積累，成功助力?？低暡粩嘁I(lǐng)整個(gè)行業(yè)的發(fā)展。他們?cè)趫D像處理、識(shí)別算法、視頻核心算法技術(shù)領(lǐng)域的前瞻性研究，應(yīng)用于?？低暤母黝愔鳡I(yíng)業(yè)務(wù)產(chǎn)品和解決方案中。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。