0
| 本文作者： 思佳 | 2017-08-06 17:14 |
雷鋒網(wǎng)·新智駕按：2003年，清華大學(xué)電子工程系豎起了一個(gè)小小的牌子，上書“3D Image Lab”，這也開啟了馬惠敏和團(tuán)隊(duì)一行對三維圖像認(rèn)知技術(shù)的深耕。馬惠敏，是清華大學(xué)電子工程系副教授，博士生導(dǎo)師，也是3D Image Lab負(fù)責(zé)人。多年以來，她帶領(lǐng)團(tuán)隊(duì)在三維圖像認(rèn)知和視覺導(dǎo)航領(lǐng)域開展研究，如今已實(shí)現(xiàn)了從基礎(chǔ)理論建設(shè)、核心技術(shù)到產(chǎn)業(yè)化的產(chǎn)學(xué)研結(jié)合。剛剛過去的CVPR國際計(jì)算機(jī)視覺與模式識別年度盛會上，馬惠敏團(tuán)隊(duì)在5000人的大會上做了Spotlight論文報(bào)告。
正是基于在視覺感知算法和智能無人系統(tǒng)領(lǐng)域的多年積累，近期，馬惠敏受邀在中國圖像圖形學(xué)會主辦的“智能駕駛與機(jī)器視覺”講習(xí)班進(jìn)行報(bào)告分享。在以《三維圖像認(rèn)知與多模態(tài)學(xué)習(xí)》為主題的深度報(bào)告中，馬惠敏系統(tǒng)講解了團(tuán)隊(duì)在三維圖像認(rèn)知領(lǐng)域的解決方案探索，以及這些研究成果在自動駕駛領(lǐng)域的應(yīng)用。
以下為馬惠敏分享的精華內(nèi)容，雷鋒網(wǎng)·新智駕進(jìn)行了不改變原意的整理編輯。
從技術(shù)層面解剖智能駕駛，邏輯框架可劃分為：傳感器—環(huán)境模型—駕駛策略—車輛控制&人機(jī)交互。
在傳感器層面，現(xiàn)在主流的是多傳感器融合方案，攝像頭、激光雷達(dá)一般是標(biāo)配。曾經(jīng)有個(gè)人問我，攝像頭和激光雷達(dá)哪個(gè)更重要？我這樣回答：其他都可以沒有，但攝像頭不能。視覺感知是核心。
其實(shí)，自動駕駛已經(jīng)來到了我們身邊，以奧迪A7的自主泊車功能為例，從檢測車位，到規(guī)劃路線到駕駛控制，在整個(gè)過程中，其前視、后視攝像頭一直在進(jìn)行觀測，實(shí)現(xiàn)這套系統(tǒng)需要一個(gè)多模態(tài)方案。
什么是多模態(tài)？
多模態(tài)指的是一套傳感器的組合，如攝像頭、激光雷達(dá)、超聲波雷達(dá)、毫米波雷達(dá)、GPS等。可以看到，目前在整車上使用的傳感器并沒有一個(gè)標(biāo)準(zhǔn)方案。以上圖為例，第一層是最遠(yuǎn)視距250米的前視攝像頭，第二層是最遠(yuǎn)探測距離160米的毫米波雷達(dá)，以及最遠(yuǎn)視距150米的攝像頭（視場角更寬），第三層是最遠(yuǎn)視距80米的側(cè)向攝像頭，以及最遠(yuǎn)視距60米的廣角攝像頭，非常近的范圍內(nèi)還有探測距離8米的超聲波雷達(dá)，等等。
所以，當(dāng)一輛自動駕駛車行駛在路面上，它早已覆蓋了比本身體積大得多的“場”。但其中的攝像頭怎樣最好地發(fā)揮作用，與激光雷達(dá)間又是怎樣的關(guān)系，是我們這次要探討的問題。
自動駕駛的從感知到認(rèn)知，要解決的三個(gè)核心問題：車在哪兒？車在路上看到了什么？車要去哪兒？
車在哪兒，車要去哪兒，這是大尺度下的絕對坐標(biāo)（信標(biāo)GNSS）解決的問題。今天要討論的是第二個(gè)問題：車在路上看到了什么？這就是感知。
今天的自動駕駛環(huán)境感知方案中，小目標(biāo)、強(qiáng)遮擋和高動態(tài)是必須要解決的問題。
小目標(biāo)：道路遠(yuǎn)端有一個(gè)人，單從圖像來說他太小了，并不具備人的典型特征，但我們一眼得知這是個(gè)人，這是如何做到的呢？這就是一個(gè)小目標(biāo)問題。
強(qiáng)遮擋：如上圖中的紅車，人和柱子都對它有遮擋，對于計(jì)算機(jī)而言如何識別？這就是強(qiáng)遮擋問題。
高動態(tài)：例如車輛在行駛，前方突然橫穿一輛電動車，這種突發(fā)情況就屬于高動態(tài)。
目前，KITTI是國際最權(quán)威的面向自動駕駛的視覺算法評測數(shù)據(jù)集，我們于2015年獲得了這個(gè)評測的冠軍，當(dāng)時(shí)在國際上首次將車輛檢測率從80%提升到90%，行人檢測率達(dá)到75%，這個(gè)成果就是靠三維檢測達(dá)成的，但它離無人駕駛還很遠(yuǎn)很遠(yuǎn)。
所以如何突破？實(shí)現(xiàn)駕駛?cè)蝿?wù)中所需的復(fù)雜場景中的準(zhǔn)確物體檢測和識別，世界都在關(guān)注這三大難題：小目標(biāo)、強(qiáng)遮擋、高動態(tài)。解決這個(gè)難題的關(guān)鍵，就是今天的話題：三維場景圖像認(rèn)知與多模態(tài)學(xué)習(xí)。
首先談?wù)J知，認(rèn)知就是在有意識參與的情況下達(dá)到的認(rèn)識。我們做的方案就是，帶著認(rèn)知任務(wù)完成一個(gè)高準(zhǔn)確度的物體檢測和識別。
所以，我們的實(shí)驗(yàn)室最大的特點(diǎn)就是將心理、認(rèn)知、識別和決策融合在一起。目前，心理學(xué)已經(jīng)開始受到自動駕駛領(lǐng)域的關(guān)注，我們團(tuán)隊(duì)從2007年就已經(jīng)與心理系有合作研究了。
諸如剛才的遮擋情況，為什么人類能輕易認(rèn)出這是一輛車？這是因?yàn)?，在心理學(xué)中有一個(gè)“格式塔理論”，又稱為完形理論，即人類的認(rèn)知會對事物有一個(gè)完整的感覺，所以能在強(qiáng)遮擋情況下認(rèn)出一輛汽車。那么，如何在物體檢測算法與人類的完形心理學(xué)之間建立聯(lián)系？這就是我們實(shí)驗(yàn)室突破的地方，即讓機(jī)器學(xué)習(xí)人的思考模式，我們的研究工作主要分為以下四個(gè)層次：
圖像認(rèn)知心理學(xué)：語義圖像生成及心理特征提取，要解決的是圖像識別的認(rèn)知基礎(chǔ)問題。
顯著性物體檢測：語義注意認(rèn)知模型，要解決注意的問題，即讓機(jī)器像人類司機(jī)一樣，注意司機(jī)該注意的事情。
部件與結(jié)構(gòu)認(rèn)知模型：抵抗遮擋能力，解決上面所說的強(qiáng)遮擋問題。
3D場景物體識別：適應(yīng)復(fù)雜環(huán)境，解決的是三維場景識別問題。
上面四個(gè)層次串起了視覺算法在解決自動駕駛問題中面臨的一些核心問題。
所以，從一個(gè)人類司機(jī)入手，建立關(guān)聯(lián)的實(shí)驗(yàn)范式。對于一個(gè)人類司機(jī)，關(guān)注的任務(wù)是汽車檢測、行人檢測等，對周邊建筑并不刻意地關(guān)注，所以我們就建立人類關(guān)注的這種關(guān)聯(lián)模型，挖掘任務(wù)關(guān)聯(lián)的圖像檢測識別規(guī)律，建立圖像認(rèn)知的網(wǎng)絡(luò)模型，實(shí)現(xiàn)高準(zhǔn)確度的物體檢測和識別。
1、圖像認(rèn)知心理學(xué)
看圖釋義是當(dāng)前的研究熱點(diǎn)，是以圖像生成圖像，但我們在國際首次開啟了文字語義生成圖像的模式，提出的基于圖像認(rèn)知的心理測試方法如上圖，在屏幕上播放生成的圖像，通過捕捉人眼球的運(yùn)動，記錄他的反應(yīng)，輸出心理狀態(tài)的測評結(jié)果，既可篩選高焦慮和抑郁人群，又可獲取人的視覺注意機(jī)理，2016年獲吳文俊人工智能科學(xué)技術(shù)創(chuàng)新一等獎(jiǎng)，目前已由北京清視野科技公司實(shí)現(xiàn)了產(chǎn)品化。
實(shí)際上，通過這種模型，我們也在關(guān)注人在注意什么。
2、顯著性物體檢測
顯著性物體檢測的難點(diǎn)在哪兒？以上圖為例，每輛車的車窗、輪轂區(qū)域和車身都不同，如何將整個(gè)車完整地標(biāo)出來呢？我們的辦法是，引入“測地距離（GWB）”，將車當(dāng)作一個(gè)整體，因?yàn)槿祟愒谧R別一輛車的時(shí)候，不會把車窗這種特征顯著的東西摳出來作為另外一種事物。
通過這個(gè)思路，我們在模型中加入測地距離貝葉斯優(yōu)化框架，對汽車的顯著性檢測有了三分之一以上的提升。
上圖是我們與國際最佳算法的比對結(jié)果，非常直觀對顯著性區(qū)域的檢測有了明顯提升。
3、部件與結(jié)構(gòu)認(rèn)知模型
如上圖，如果只看左一，沒人知道是什么，所以在識別一個(gè)物體時(shí)，需要找到其關(guān)鍵部件。所以在2006年，我們提出了一個(gè)模型，如下圖所示，以自行車為例，只要有兩個(gè)圈和一個(gè)車座，不管什么角度，都識別為自行車，這是早期的模型。
2017年，我們在Pattern Recognition上發(fā)表了新的“通用對稱對模型”識別方法，這是一種非常新的思路。假設(shè)人的動作主要由手和腳完成，它們是周期的或?qū)ΨQ的；同時(shí)假設(shè)對于識別動作有助的區(qū)域在這些對稱部件的“周圍”，就得出了一個(gè)新的模型。
這個(gè)模型關(guān)注的是手和腳的動作，并不關(guān)心多變的手和腳的輪廓檢測，這就將一些約束松弛了，解決了檢測手勢的難題。
4、3D場景物體識別
說了這么多，如果顯著性檢測帶來的提升不足以支撐自動駕駛?cè)蝿?wù)在復(fù)雜場景中的應(yīng)用，如果部件和結(jié)構(gòu)檢測也不足以在復(fù)雜遮擋條件下完成識別，那么就有一件事必須要做，也是我的研究方向，3D場景圖像認(rèn)知與多模態(tài)學(xué)習(xí)。
“我站在這里一動不動，為什么你就能認(rèn)為我是一個(gè)人，而不是一個(gè)雕塑？”在這個(gè)過程中，對事物的整體三維還原很重要。現(xiàn)在，我們要將這個(gè)3D認(rèn)知模型引入到駕駛?cè)蝿?wù)中。分為幾部分：輸入（單目、雙目、激光雷達(dá)等）→ 似物性檢測（Object Proposal，識別人/車的位置、大小和姿態(tài)等）→ 三維語義預(yù)測→ 輸出（類別、位置、大小、姿態(tài)）。
國際權(quán)威的圖像集KITTI中包含三類物體：汽車、行人和騎自行車的人，不僅有單目圖像還有雙目圖像，還有二維、三維boxes的標(biāo)注。KITTI中的任務(wù)包括物體檢測以及姿態(tài)估計(jì)等，我們參加了六項(xiàng)評測，其中四項(xiàng)獲得了第一。
在二維場景的圖像檢測中，重要的是更精確的似物性區(qū)域獲取，但在二維圖像下，要想更精準(zhǔn)的檢測，就需要將三維引入進(jìn)來，這就是提升似物性預(yù)測（Object Proposal）的訣竅——Thinking in 3D，用三維來思考，下面將具體展開。
1、單目視覺（Mono3D）
在單目視覺下如何解決三維檢測問題？假設(shè)一幅二維圖像，將大地作為參考系，只要通過語義分割將道路檢測出來，同時(shí)已知汽車前視攝像頭的視場、焦距以及安裝的高低位置，就可以粗略地計(jì)算一個(gè)三維空間，并將這幅圖像的點(diǎn)還原到三維世界中。主要分為下圖中所示的幾個(gè)步驟。
針對基于語義特征的似物性預(yù)測（單目）會遇到的三個(gè)問題，我們分別給出了解決方案：
缺乏語義信息，對于路面分割、物體分割的語義信息基本沒有
解決方法：基于高層語義特征的能量最小化模型
缺乏三維信息
解決方法：基于道路幾何先驗(yàn)的3D場景建模
搜索復(fù)雜度高，二維boxes無法準(zhǔn)確標(biāo)注
解決方法：3D區(qū)域采樣
這樣，就將整個(gè)檢測過程分為三部分：
首先，對原始圖像進(jìn)行3D似物性區(qū)域提取，使用神經(jīng)網(wǎng)絡(luò)得到物體語義（數(shù)據(jù)驅(qū)動）。
第二，通過相機(jī)與汽車相對位置以及大地參考系，基于場景幾何形成場景結(jié)構(gòu)（先驗(yàn)知識驅(qū)動）。
第三，結(jié)合兩者構(gòu)建能量模型，來做3D物體的推理。
2、立體視覺（3DOP）
在雙目圖像中，我們可以直接計(jì)算得到三維點(diǎn)云，有物體的高度信息，所以我們將道路上所有的車的高度、人的高度都規(guī)定一個(gè)檢測區(qū)間，并利用成像中的自由空間構(gòu)建高精度的物體檢測認(rèn)知模型。
上圖所示，為三維場景中對車的3D似物性檢測需要滿足的條件，首先它應(yīng)當(dāng)有較高的點(diǎn)云占有率；其二，其中應(yīng)該包含較低的自由體素；其三，符合最初對物體的高度先驗(yàn)；其四，要滿足與鄰近區(qū)域的高對比度，即車是跑在路上的，不在路上對我們沒有影響。
將這些因素結(jié)合在一起，如上圖，綠色是自由體空間中的路面先驗(yàn)，從藍(lán)到紅代表高度先驗(yàn)的增加，通過這些要素建立Object Proposal似物性區(qū)域的立體框，x、y、z是3D box中心，θ是方位角，即車和車之間的關(guān)系和方位角，物體C是類別，t是形狀模板，即框的頂點(diǎn)和尺寸?；谶@些參數(shù)，即可計(jì)算基于能量最小化的似物性區(qū)域。
上圖是我們的單目、雙目、雙目+激光雷達(dá)混合方案在3D似物性區(qū)域召回率的表現(xiàn)?？梢钥吹剑谄嚈z測上區(qū)別不大，在行人檢測上開始有所差別，到了自行車檢測區(qū)別就很明顯了，可以看出雙目點(diǎn)云的方法在小目標(biāo)檢測性能上有顯著提升。而加上激光雷達(dá)（LiDAR）后，性能提升就更高了。此外，在自行車檢測上，可以看到目前的性能還有很大提升空間，證明自動駕駛的環(huán)境感知，還有很長的路要走。
應(yīng)用層面，我們提出了復(fù)雜交通場景下的三維物體檢測結(jié)構(gòu)，并將其應(yīng)用在了真實(shí)的自動駕駛?cè)蝿?wù)中，該應(yīng)用在2017年1月的北美CES展上進(jìn)行了成果展示。
3、激光雷達(dá)（MV3D）
激光雷達(dá)的優(yōu)勢在于，能夠提升小目標(biāo)的檢測率。MV3D指的是多模態(tài)三維物體檢測結(jié)構(gòu)，在這種情況下，將攝像頭和激光雷達(dá)都引入進(jìn)來，還可以引入其他傳感器。
首先明確，圖像數(shù)據(jù)的優(yōu)點(diǎn)在于含有豐富的細(xì)節(jié)和語義信息，缺點(diǎn)在于深度估計(jì)的精度低；激光點(diǎn)云的優(yōu)點(diǎn)在于含有精確的三維位置信息，缺點(diǎn)在于細(xì)節(jié)分辨率低。
基于以上事實(shí)，多模態(tài)融合的難點(diǎn)在于以下幾點(diǎn)：
如何表示三維點(diǎn)云？
圖像和激光雷達(dá)點(diǎn)云具有不同分辨率，如何對齊不同模態(tài)數(shù)據(jù)？
前融合、后融合還是其他方式？（此處我們需要多種融合方式，即深度多級融合）
我們的解決方案是，使用多視角表示三維點(diǎn)云，結(jié)合激光雷達(dá)的俯視圖、激光雷達(dá)的前視圖以及RGB圖像進(jìn)行計(jì)算。激光雷達(dá)掃描的數(shù)據(jù)是包含有x、y、z坐標(biāo)的，這種情況可以將其還原成俯視圖，因?yàn)楦┮暤那闆r下背景（地面）簡單，方便在其上做三維box的檢測。
所以，最終我們得出了一個(gè)俯視視角，兩個(gè)前視視角（分別來自激光雷達(dá)和攝像頭兩個(gè)模態(tài)），這時(shí)候需要對其進(jìn)行多視角表示。還是沿用之前劃分高度區(qū)間的思路，將俯視圖從地面起到車的最高高度區(qū)間，進(jìn)行切片，對這些圖像進(jìn)行點(diǎn)云密度和強(qiáng)度的檢測，而前視圖中得到的高度、距離和強(qiáng)度等可以作為我們的先驗(yàn)知識和信息。
這樣做的好處是，不涉及姿態(tài)問題，在俯視情況下只存在尺寸變化，同時(shí)數(shù)值指標(biāo)變化小，沒有樹木等遮擋問題。
用這種方案我們得出的檢測網(wǎng)絡(luò)（MV3D）如下圖所示，首先通過俯視圖做卷積，得到三維似物性區(qū)域。然后通過將其投影在不同模態(tài)上，進(jìn)行圖像融合。在投影到俯視圖、激光雷達(dá)前視圖以及RGB圖像時(shí)，做一個(gè)ROI Pooling處理，然后將三個(gè)分支做平均融合，最后通過Softmax和3Dbox回歸學(xué)習(xí)。
下圖是方案的成果對比，可以看到多模態(tài)融合的方案在提升似物性預(yù)測上性能的大幅提升，本論文是CVPR2017 Spotlight Paper。
下圖是我們的MV3D在KITTI數(shù)據(jù)集上的可視化結(jié)果，將3D物體檢測與激光雷達(dá)融合，認(rèn)知的難度大大下降了。
去年夏天，我們與百度合作對北京亦莊的公路做了路試，達(dá)到下面這樣的成果。
而后，我們與上?？v目、美國高通合作，將算法寫入了高通驍龍820A芯片里，并在CES展上進(jìn)行了展示。以上是我們的一些成果產(chǎn)業(yè)化落地情況。
今天的報(bào)告中，講解了三維場景下，以數(shù)據(jù)和認(rèn)知雙向驅(qū)動的三維場景圖像認(rèn)知與多模態(tài)學(xué)習(xí)，同時(shí)，我們還在做駕駛策略的增強(qiáng)學(xué)習(xí)，我們在復(fù)雜環(huán)境仿真上有20多年的積累，為識別、決策提供所需的訓(xùn)練及測試樣本，后期還會將超聲波雷達(dá)、毫米波雷達(dá)、GPS等進(jìn)行融合，提供一個(gè)系統(tǒng)級解決方案。相關(guān)論文、PPT、代碼等請?jiān)L問實(shí)驗(yàn)室網(wǎng)站下載。
雷鋒網(wǎng)推薦閱讀：師從李德毅、李克強(qiáng)，清華無人車領(lǐng)隊(duì)張新鈺詳解智能駕駛進(jìn)程、關(guān)鍵技術(shù)及產(chǎn)業(yè)化發(fā)展
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
