作者 | 潔萍

編輯 | 青暮

自動(dòng)駕駛汽車如何像人那樣感知環(huán)境并做出決策？

像人一樣感知環(huán)境并做出決策，這是人們對(duì)自動(dòng)駕駛汽車的最終想象。經(jīng)過多年的研究，當(dāng)前自動(dòng)駕駛汽車主要存在三大類感知決策控制方法，分別為sequential planning、behavior-aware planning以及end-to-end planning。

sequential planning屬于最傳統(tǒng)的方法，感知、決策與控制三個(gè)部分層次較為清晰；behavior-aware planning的亮點(diǎn)在于引入了人機(jī)共駕、車路協(xié)同以及車輛對(duì)外部動(dòng)態(tài)環(huán)境的風(fēng)險(xiǎn)預(yù)估；而時(shí)下最熱門的方法之一，則是end-to-end planning，這種方法基于DL、DRL技術(shù)，可以借助大量的數(shù)據(jù)做訓(xùn)練，獲得從圖像等感知信息到方向盤轉(zhuǎn)角等車輛控制輸入的關(guān)系。

牛津布魯斯大學(xué)計(jì)算機(jī)視覺實(shí)驗(yàn)室的研究團(tuán)隊(duì)，就基于端到端的方法，發(fā)表了第一類面向自動(dòng)駕駛車輛的道路事件感知數(shù)據(jù)集（ROAD）。

論文鏈接：https://arxiv.org/pdf/2102.11585.pdf

ROAD由一個(gè)移動(dòng)智能體（即自動(dòng)駕駛車輛）、它所執(zhí)行的動(dòng)作和相應(yīng)的場(chǎng)景位置三者組成，可以測(cè)試自動(dòng)駕駛車輛感知并預(yù)測(cè)道路事件的能力。

作者表示，利用ROAD，通過一種模仿學(xué)習(xí)設(shè)置，人類駕駛者應(yīng)對(duì)道路情況的駕駛行為，可以被用來訓(xùn)練自動(dòng)駕駛汽車以更深入、更人性化的方式，理解道路環(huán)境以及道路其他使用者隨時(shí)間而變化的行為。

不用關(guān)注駕駛員的身體動(dòng)作了？

為了了解道路上發(fā)生的情況，如今的自動(dòng)駕駛車輛通常配備了一系列不同的傳感器（如激光測(cè)距儀、雷達(dá)、攝像頭、GPS ）來收集數(shù)據(jù)，不過ROAD主要考慮的是基于視覺的自動(dòng)駕駛車輛的行駛環(huán)境。

安裝在牛津機(jī)器人小車上的攝像機(jī)，以一種流式、在線的方式拍下了大量視頻，研究團(tuán)隊(duì)從中精心挑選了22段持續(xù)時(shí)間相對(duì)較長(zhǎng)（每段約8分鐘）的視頻，這些視頻由多個(gè)道路事件（REs）組成。

根據(jù)定義，REs由移動(dòng)智能體Ag、它執(zhí)行的動(dòng)作Ac和發(fā)生該動(dòng)作的位置Loc所組成，即E=（Ag、Ac、Loc）。

經(jīng)過對(duì)這22個(gè)視頻的內(nèi)容進(jìn)行編譯，Ag、Ac、Loc構(gòu)成了編譯后有限列表里的所有分類，道路事件則可喻為“管道”，即逐幀邊界框檢測(cè)（frame-wise bounding box detections）的時(shí)間序列。

ROAD是一個(gè)具有相當(dāng)規(guī)模的數(shù)據(jù)集，因?yàn)?22K的視頻鏡頭被標(biāo)記成了總共560K的檢測(cè)邊界框，依次與1.7M的唯一單獨(dú)標(biāo)簽相關(guān)聯(lián)，這些標(biāo)簽分別有560K智能體標(biāo)簽、640K動(dòng)作標(biāo)簽和499K位置標(biāo)簽。

此數(shù)據(jù)集按照以下原則設(shè)計(jì)：

• 多標(biāo)簽基準(zhǔn)：每個(gè)道路事件由負(fù)責(zé)的（移動(dòng)）智能體標(biāo)簽、執(zhí)行的動(dòng)作類型標(biāo)簽和描述了動(dòng)作所在位置的標(biāo)簽組成。

• 每一個(gè)事件都可以在相關(guān)時(shí)間下被分配到同種標(biāo)簽類型的多個(gè)實(shí)例（例如，一個(gè)RE可以是既移動(dòng)又左轉(zhuǎn)的實(shí)例）。

• 標(biāo)注都是從自動(dòng)駕駛車輛的角度完成的，最終目標(biāo)是為了讓自動(dòng)駕駛車輛利用此信息做出適當(dāng)?shù)臎Q策。

• 元數(shù)據(jù)旨在包含所有需要全面描述了道路場(chǎng)景的信息，下圖給出了該概念的說明。這意味著，即使不看視頻，我們也可以根據(jù)與這些視頻關(guān)聯(lián)的一組標(biāo)簽，還原當(dāng)時(shí)的道路情況（或者可以讓自動(dòng)駕駛汽車根據(jù)這些標(biāo)簽，做出一樣的決定）

在ROAD中使用標(biāo)簽來描述典型的道路場(chǎng)景

（a）如箭頭所示，在換道時(shí)，一輛綠色汽車在自動(dòng)駕駛車輛前面。然后，關(guān)聯(lián)事件將攜帶以下標(biāo)簽：在車輛車道（位置）、向左移動(dòng)（動(dòng)作）。一旦事件完成，位置標(biāo)簽將改為：位于駛出車道。

（b）從6號(hào)車道向左轉(zhuǎn)進(jìn)入4號(hào)車道的自動(dòng)駕駛車輛：因?yàn)檐嚵髋c自動(dòng)駕駛車輛方向相同，4號(hào)車道將成為駛出車道。但是，如果自動(dòng)駕駛車輛從6號(hào)車道右轉(zhuǎn)到4號(hào)車道（一個(gè)錯(cuò)誤的轉(zhuǎn)彎），那么4號(hào)車道將隨著車輛的進(jìn)入而成為駛?cè)胲嚨馈?/span>

簡(jiǎn)而言之，ROAD的總體思想，是希望通過使用多種標(biāo)簽類型的適當(dāng)組合，來充分描述道路狀況，并允許機(jī)器學(xué)習(xí)算法從這些信息中學(xué)習(xí)。

局限：沒有關(guān)注到行人的動(dòng)作

而為了讓科學(xué)家能夠評(píng)估他們?cè)诘缆肥录z測(cè)方面所選擇的方法的性能，該研究團(tuán)隊(duì)還提出了一種強(qiáng)大的基線，該基線將先進(jìn)的單級(jí)目標(biāo)檢測(cè)技術(shù)與在線管道構(gòu)建方法相結(jié)合，目的是隨著時(shí)間推移持續(xù)探測(cè)道路環(huán)境，以創(chuàng)建事件管道（event tubes）。

“這種方法的一個(gè)優(yōu)點(diǎn)在于，當(dāng)自動(dòng)駕駛車輛學(xué)習(xí)如何做出決策時(shí)，它允許車輛關(guān)注更少的相關(guān)信息，做到更接近人類的決策方式。”研究團(tuán)隊(duì)在論文中表示。

除此之外，該團(tuán)隊(duì)還提供了一種新的基于沿時(shí)間膨脹RetinaNet的在線道路事件感知增量算法，在50%重疊度下，幀級(jí)和視頻級(jí)事件檢測(cè)的平均準(zhǔn)確率分別為16.8 %和6.1 %。

但一個(gè)問題在于，ROAD關(guān)注到了各類車輛中駕駛員所執(zhí)行的行動(dòng)，卻沒有考慮到行人、自行車等道路上的其他參與者動(dòng)作，而對(duì)于業(yè)界的企業(yè)玩家來說，對(duì)道路上各種Corner Case的攻克才是更急迫和突顯競(jìng)爭(zhēng)力的。

另外，ROAD數(shù)據(jù)集僅基于22個(gè)視頻標(biāo)注而成，對(duì)于自動(dòng)駕駛的感知算法來說，ROAD的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)不夠，且還需要覆蓋更多更復(fù)雜場(chǎng)景。

雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。