丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
智能駕駛 正文
發(fā)私信給新智駕
發(fā)送

0

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

本文作者: 新智駕 2017-12-10 11:34
導(dǎo)語:本文是西安交通大學(xué)人工智能與機(jī)器人研究所、視覺信息處理與應(yīng)用國(guó)家工程實(shí)驗(yàn)室鄭南寧教授今年11月23日在國(guó)家智能車論壇(常熟)上發(fā)表的演講整理而成。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

雷鋒網(wǎng)新智駕按:本文由公眾號(hào)“中國(guó)自動(dòng)化學(xué)會(huì)”整理自西安交通大學(xué)人工智能與機(jī)器人研究所、視覺信息處理與應(yīng)用國(guó)家工程實(shí)驗(yàn)室鄭南寧教授今年11月23日在國(guó)家智能車論壇(常熟)上的報(bào)告。雷鋒網(wǎng)新智駕經(jīng)授權(quán)發(fā)布,轉(zhuǎn)載請(qǐng)聯(lián)系出處。

以下為鄭南寧教授演講內(nèi)容:

從人的認(rèn)知角度重新定義自主駕駛

我們?nèi)嗽陂_車的時(shí)候,實(shí)際上是有一個(gè)選擇性注意的,也就是說,無論車外的場(chǎng)景怎么千變?nèi)f化,但是我們?nèi)耸紫仁且夷男┑胤娇梢孕旭?,哪些地方不可以行駛?/p>

也就是說,車外狀態(tài)是無限狀態(tài)空間,但我們要把車外的無限狀態(tài)空間抽象成可描述的“0、1”的狀態(tài)。要實(shí)現(xiàn)這一基本目的,就要從人的認(rèn)知角度重新定義自主駕駛。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

這是2002年,我們研發(fā)的思源1號(hào)無人駕駛智能車。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

到2005年,當(dāng)時(shí)我們雄心勃勃,認(rèn)為在校園里面可以跑了,它就可以上路了。實(shí)際上駛出校門,情況就完全不一樣了。我們當(dāng)時(shí)制定了一個(gè)“新絲綢之路挑戰(zhàn)”的計(jì)劃。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

這是當(dāng)年在學(xué)校的四大發(fā)明廣場(chǎng)出征的照片(如上圖)。選擇從西安行駛到敦煌,其目的一是在實(shí)際的交通場(chǎng)景中驗(yàn)證我們的系統(tǒng),二是為研究工作采集更多的真實(shí)交通環(huán)境的數(shù)據(jù),總距離1700多公里。

但是出了校門以后,大多數(shù)時(shí)間需要人工干預(yù),是人在開,只是在沙漠的道路上,幾乎沒有來往的車輛和行人,交通場(chǎng)景相當(dāng)簡(jiǎn)單,這個(gè)無人車才能平穩(wěn)緩慢地行駛(這是當(dāng)時(shí)在路上的一段視頻)。

上述介紹的是12年前的研究工作。 從2000年初以來,我們始終堅(jiān)持在這個(gè)方向,從基礎(chǔ)研究到關(guān)鍵技術(shù)不斷地向前發(fā)展。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

這是2016年在一個(gè)比較復(fù)雜的環(huán)境中進(jìn)一步驗(yàn)證我們研究的基本模型,這是在非結(jié)構(gòu)化的道路來驗(yàn)證無人車的控制系統(tǒng)。當(dāng)時(shí)后面還有一個(gè)裁判車,裁判車遇到這種路面情況要不斷地?fù)Q檔,適應(yīng)路況,有時(shí)候就陷在泥路上,但是這輛無人車可以平穩(wěn)的行駛,也就是說,它的感知和控制是適應(yīng)這樣環(huán)境的。

我們?cè)賮砜匆幌驴涓柑?hào)無人車在城市交通環(huán)境中的表現(xiàn)。當(dāng)然這個(gè)交通場(chǎng)景也并不復(fù)雜,它還可以超車,可以實(shí)現(xiàn)一個(gè)非常平穩(wěn)的拐彎。我們?cè)賮砜匆幌略贕PS信號(hào)缺失的情況下,無人車如何找出地下車庫(kù)的出口。

從2016年進(jìn)展來看,2005年我們的無人車就是一只“丑小鴨”,許多科學(xué)研究工作就是這樣,總是從一步一步的走向更加完善的階段。

盡管我們看到夸父號(hào)可以在城市道路上行駛,也可以從車庫(kù)里出來,但是面對(duì)更為復(fù)雜交通環(huán)境的情況,它沒有辦法作出可靠的響應(yīng)和判斷。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

這里給出的是城市中復(fù)雜交通場(chǎng)景的情況,我們可以看到在這些無交通指示路口、環(huán)島路口,還有交通指示復(fù)雜的狀況,各種車輛的行駛的不同狀態(tài),無人車無法在這些環(huán)境做到準(zhǔn)確的判斷。那么人是怎么判斷的呢?

這個(gè)場(chǎng)景有行人,有非機(jī)動(dòng)車,也有機(jī)動(dòng)車,我們看一看它的狀態(tài)是怎么形成的。十字路口的交通場(chǎng)景是不可預(yù)測(cè)的,但是每個(gè)OBJECT相互關(guān)聯(lián)形成一個(gè)穩(wěn)定的系統(tǒng),這里就反映出,人在這些場(chǎng)景中能夠迅速的理解和判斷各個(gè)對(duì)象之間的關(guān)聯(lián)性,而無人車也必須要能夠抽象和表述這種關(guān)聯(lián)性才能做出準(zhǔn)確的判斷。

自主駕駛技術(shù)的五大挑戰(zhàn)

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

我們來看看無人駕駛要適應(yīng)這些復(fù)雜的交通環(huán)境所面臨的五大挑戰(zhàn)。

第一,復(fù)雜交通場(chǎng)景的周密感知。自主駕駛要在所有條件下都要能作出安全的判斷,無論是天氣變化,路況的復(fù)雜,它要非常周密的感知周圍的場(chǎng)景。

第二,意外的遭遇的理解和判斷。自主駕駛必須能夠抽象,所謂抽象就是能夠根據(jù)環(huán)境或其他語境的線索來理解交通情境。

目前自主駕駛很難解釋異?,F(xiàn)象,比如說城市經(jīng)常交通管制,交通管制有時(shí)并不提前通知;比如無人車來到這個(gè)十字路口,遇上交通管制,交警用手勢(shì)指揮車輛的停止和行駛。

另外由計(jì)算機(jī)來判斷路邊的行人或非機(jī)動(dòng)車是不是很快要闖入到自己前進(jìn)的方向?這些現(xiàn)象說明僅僅基于簡(jiǎn)單規(guī)則的自主駕駛是不可能為每個(gè)場(chǎng)景進(jìn)行編碼。

第三,預(yù)行為理解。什么叫預(yù)行為呢?人類駕駛員是根據(jù)預(yù)行為來傳達(dá)我們行駛的意圖。

比如,我們開車在路上走,前方的車,我們能判斷出前方開車的是一個(gè)老司機(jī)還是一個(gè)新手,如果是新手,有時(shí)候要離它遠(yuǎn)一點(diǎn)。但是目前在自主駕駛技術(shù)很難解釋或理解這些細(xì)微的預(yù)行為。

第四,網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)。這里給大家展現(xiàn)的這個(gè)現(xiàn)象在未來一定會(huì)出現(xiàn)。當(dāng)你早上起來到車庫(kù),讓無人車開出車庫(kù),這個(gè)時(shí)候你手機(jī)上就接到一個(gè)短信,要你在今天幾點(diǎn)以前支付比特幣才能讓你的車門打開。

雖然黑客的這種行為不會(huì)影響你的生命安全,但是你沒有辦法使用自己的車。因此,通過云端的獲取和更新地圖的自主駕駛將面臨更大的風(fēng)險(xiǎn)。這種風(fēng)險(xiǎn)的存在使得我們?cè)谘芯孔灾黢{駛無人車的時(shí),必須要考慮:怎么樣提供更加可靠,更加安全的自主駕駛。

第五,人-車的自然交互。自主駕駛必須以自然的方式與人類交流,要實(shí)現(xiàn)車輛與乘客之間的無障礙交流。

比如,乘客上了無人車,自主駕駛系統(tǒng)知曉乘客要去的目的地,理解并回答乘客提出的問題,比如我還有多少時(shí)間能到達(dá)目的地?請(qǐng)播放一首歌等等。

也就是說,自然的人-車交互的可以為乘客提供更加舒適、愉快、直觀的、人性化的體驗(yàn),而不是一個(gè)簡(jiǎn)單的點(diǎn)到點(diǎn)的行駛。

交通高精計(jì)算的復(fù)雜性

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

從我前面所談的這些問題可以清楚地看到,自主駕駛面臨的許多問題是具有不確定性、脆弱性和開放性。而帶來的不確定性、脆弱性和開放性是存在著兩個(gè)問題,即,對(duì)于駕駛行為來講存在:

1、條件問題。因?yàn)槲覀儾豢赡苊杜e出規(guī)劃一個(gè)行為的所有先決條件。

2、分支問題,我們不可能枚舉出產(chǎn)生一個(gè)行為的所有分支。因此我們需要將車外復(fù)雜未知的現(xiàn)實(shí)世界的描述轉(zhuǎn)變成有限的語義“推理”,這是一個(gè)直觀的理解。人開車在很多場(chǎng)合下是一種直覺的判斷。直覺判斷就是要使得機(jī)器也要有對(duì)環(huán)境有直觀的理解。

這里展現(xiàn)的圖是目前絕大多數(shù)自主駕駛采用的基本技術(shù)框架。首先是場(chǎng)景感知,然后是定位,隨著給出駕駛決策、規(guī)劃和行為的控制。但是我們?nèi)嗽陂_車的時(shí)候并不是按照這樣一個(gè)簡(jiǎn)單的串型的方式進(jìn)行的。

人類駕駛員開車是一個(gè)對(duì)交通情境認(rèn)知理解的連續(xù)過程。因此我們需要探討類人自主駕駛的一種新的方法,也就是說,自主駕駛不是簡(jiǎn)單的AI的形式,不是簡(jiǎn)單的一種形式化問題的求解。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

既然不是一個(gè)簡(jiǎn)單的形式化問題的求解,那么,怎樣定義自主駕駛這個(gè)問題?

這里我們把場(chǎng)景感知和情境認(rèn)知區(qū)別開來,所謂“場(chǎng)景”是指某個(gè)交通場(chǎng)合在一個(gè)特定的時(shí)間和特定的空間中的具體情形或景象。它可以定義為一組實(shí)體,當(dāng)然這種實(shí)體的描述是通過傳感器的數(shù)據(jù)來獲得的。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

“情境”,它是指某一段時(shí)間和空間許多具體情形的概括?!扒榫场钡摹熬场笔侵笜?gòu)成和蘊(yùn)含在場(chǎng)景中的那些相互交織的因素及其相互之間的關(guān)系。所以情境計(jì)算是對(duì)場(chǎng)景各個(gè)對(duì)象相互關(guān)系的解釋。交通環(huán)境中各種物體(或?qū)ο螅╆P(guān)系的描述在自主駕駛中就顯得非常重要。

前面我們分別談到了場(chǎng)景感知和情境計(jì)算。那么我們?cè)趺从脵C(jī)器來實(shí)現(xiàn)它?我們還要定義機(jī)器實(shí)現(xiàn)的基本科學(xué)問題。

這里我們從情境認(rèn)知的角度來重新定義自主駕駛:如何使自主駕駛汽車像人一樣理解和記憶交通情境,使其具有記憶、推理和經(jīng)驗(yàn)更新的機(jī)制,能夠應(yīng)對(duì)高動(dòng)態(tài)和強(qiáng)隨機(jī)性的交通場(chǎng)景變化?這里談到了記憶和理解。

那么,怎樣實(shí)現(xiàn)理解和記憶的目的是什么?也就是說,我們要發(fā)展一種進(jìn)化的、發(fā)展的自主駕駛學(xué)習(xí)系統(tǒng),使自主駕駛系統(tǒng)像人類駕駛員一樣熟能生巧。

為什么談到“進(jìn)化”,因?yàn)?,如果設(shè)計(jì)一個(gè)深度學(xué)習(xí)系統(tǒng)來構(gòu)建一個(gè)自主駕駛,你設(shè)計(jì)成什么樣的算法,你的車就具有什么樣的能力和屬性。但是我們?nèi)瞬皇沁@樣,我們?cè)隈{校學(xué)習(xí)駕駛,然后取得駕駛執(zhí)照,隨著開車的時(shí)間增長(zhǎng),駕駛技術(shù)會(huì)越來越嫻熟。所以這里如何把熟能生巧和系統(tǒng)實(shí)現(xiàn)結(jié)合,這就是我們現(xiàn)在正在做的工作。

在我們思考這個(gè)問題的時(shí)候,需要從認(rèn)知的角度去了解人類駕駛員是如何注意并獲取交通環(huán)境信息的?而交通環(huán)境的信息是如何在大腦中儲(chǔ)存和加工的?特別是在產(chǎn)生駕駛行為的背后存在怎樣的內(nèi)部表征?

人對(duì)環(huán)境信息的注意是具有高度選擇性,它只注意自己感興趣的,只注意自己在下一步采取行為的時(shí)候,周圍的場(chǎng)景因素會(huì)對(duì)自己的行為產(chǎn)生什么樣的影響。

從這個(gè)角度來看,我們要將許多無意義的線段及場(chǎng)景特征組織和建立一個(gè)有意義的模型。我們從視覺獲得場(chǎng)景的圖像,實(shí)際上傳感器得到的都是若干個(gè)雜亂的無意義的點(diǎn)、線段,那怎么把無意義的點(diǎn)、線段描述成有意義的實(shí)景,這就需要知識(shí)。

從認(rèn)知的層面,將孤立、分別的感知事件轉(zhuǎn)換成有意義的模型表征。每一個(gè)傳感器是從這個(gè)感知通道得到孤立的事件,那怎么能夠把各類傳感器所獲得的信息在事件驅(qū)動(dòng)的情況下來構(gòu)成有意義的模式表征?按照這樣一個(gè)思路,我們逐步來實(shí)現(xiàn)怎么在機(jī)器上通過算法和模型表征它。

這里給出場(chǎng)景感知與情境記憶的基本模塊。這是環(huán)境信息輸入,我們可以把視覺傳感器所獲得的信息看成是傳感器對(duì)外界場(chǎng)景的快速掃描,快速的掃描是一種預(yù)編碼,在這面我們引入一些選擇性記憶,把這樣一個(gè)預(yù)編碼的信息再送到短期的記憶,后面是長(zhǎng)期記憶,長(zhǎng)期記憶是把前面短期記憶抽象出來的知識(shí)和我們的交通規(guī)則整體形成一個(gè)長(zhǎng)期記憶的知識(shí)庫(kù)。

人類對(duì)視覺空間關(guān)注的基本機(jī)制

在信息處理模型中有四個(gè)認(rèn)知過程,正如我前面所談到的對(duì)場(chǎng)景的快速掃描,是一種選擇性注意。對(duì)感覺記憶的一些特定信息的注意,然后進(jìn)入到“學(xué)習(xí)”,而這個(gè)學(xué)習(xí)是在短期記憶中建立聯(lián)系,我們又稱之為“組織”。

從圖像處理來看,提取了各個(gè)邊緣, 把這些邊緣組織形成有意義的面,這些有意義的面進(jìn)而構(gòu)成對(duì)一個(gè)三維物體的描述,也就是說,從線到面再到三維實(shí)體描述,實(shí)際上就是一個(gè)組織的過程。對(duì)這些組織的過程,我們還需要進(jìn)行整合,這個(gè)整合實(shí)際上是把長(zhǎng)期記憶與現(xiàn)場(chǎng),還有與交通規(guī)則形成關(guān)聯(lián)描述。

這些長(zhǎng)期記憶還要反饋到短期記憶中,然后在短期記憶中再進(jìn)行整合,這個(gè)整合過程是一個(gè)再學(xué)習(xí)的過程。也就是說在已有知識(shí)情況下擴(kuò)充一種新的知識(shí)的描述。

得到這樣一個(gè)結(jié)果以后,我們就可以實(shí)現(xiàn)把一個(gè)短期記憶轉(zhuǎn)換成長(zhǎng)期的記憶,就可以實(shí)現(xiàn)一種編碼。在這個(gè)過程中既有前饋又有反饋,而當(dāng)前主要的自主駕駛汽車框架是串型結(jié)構(gòu)。

另外,人對(duì)場(chǎng)景的變化非常敏感,比如人開車看到右前方有一個(gè)騎自行車的,這個(gè)時(shí)候駕駛員的注意力就轉(zhuǎn)移到具體的位置和視角。從人的駕駛來看,注意力在自主駕駛中是不可或缺的。

從前面討論我們?cè)賮砜纯凑J(rèn)知構(gòu)建的自主駕駛,我們把它稱之為直覺性AI。當(dāng)前深度學(xué)習(xí)的“端到端”的自主駕駛方法在結(jié)構(gòu)化或半結(jié)構(gòu)化的交通場(chǎng)景取得了很大的成功,但是在復(fù)雜的城區(qū)道路或惡劣環(huán)境中依然面臨巨大的困難。

帶來這些困難的一個(gè)直接原因是,許多交通場(chǎng)景的復(fù)雜性和動(dòng)態(tài)性并不都是可觀測(cè)和可控的。特別是行駛過程中對(duì)異常情況的處理能力是無法通過事先的大量樣本訓(xùn)練得到,而且也無法獲得大量的負(fù)樣本。

但是交通場(chǎng)景沒有辦法在現(xiàn)場(chǎng)采集更多的負(fù)樣本,所以怎么用對(duì)抗網(wǎng)絡(luò)來實(shí)現(xiàn)大量交通場(chǎng)景的負(fù)樣本訓(xùn)練汽車,下午會(huì)有其專家做更深入的探討。

“場(chǎng)景感知”與“情境認(rèn)知”的融合

對(duì)于“場(chǎng)景感知”與“情境認(rèn)知”的融合,我們進(jìn)一步給出其定義。

情境是對(duì)場(chǎng)景動(dòng)態(tài)變化的解釋,還涉及到自主駕駛的行為模型、行動(dòng)結(jié)果和內(nèi)部狀態(tài),包括轉(zhuǎn)向、速度、意圖或目標(biāo)。

雖然場(chǎng)景是對(duì)外部環(huán)境中感知可信實(shí)體的完整描述,但是情境僅包括必須認(rèn)識(shí)到情況和/或啟動(dòng)適當(dāng)行為的相關(guān)實(shí)體。這里的描述實(shí)際上談到就是選擇性,因?yàn)閭鞲衅魇菍?duì)周圍場(chǎng)景所有數(shù)據(jù)的采集,但是對(duì)于情境認(rèn)知而言,我們并不需要對(duì)所有場(chǎng)景進(jìn)行計(jì)算。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

那機(jī)器怎么實(shí)現(xiàn)?我們需要要建立世界模型,即情境認(rèn)知地圖的構(gòu)建。這里要給出各個(gè)場(chǎng)景的影響關(guān)系、因果關(guān)系和控制關(guān)系。融合先驗(yàn)信息的概率模型,這里就是記憶與學(xué)習(xí)。這里我們提到了成本函數(shù)和預(yù)測(cè)與優(yōu)化。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

什么叫認(rèn)知地圖?這里舉一個(gè)簡(jiǎn)單的例子,人類理解或描述物理世界時(shí),大腦總會(huì)形成一種對(duì)時(shí)間的“可視化”圖像。我們把這種可視化圖像稱之為認(rèn)知地圖。

左邊這幅圖,大家看到就很快會(huì)記住,而右邊這個(gè)圖你就很難記住,因?yàn)橛疫呥@個(gè)圖,我們無法按照常識(shí)去解釋他們相互之間的關(guān)系。也就是說,在物理世界中,各個(gè)物體依存的關(guān)系是記憶的基礎(chǔ),這里又進(jìn)一步強(qiáng)調(diào)了對(duì)場(chǎng)景中各個(gè)實(shí)體相互關(guān)聯(lián)的描述是自主駕駛中內(nèi)部表征一個(gè)極其重要的因素。

構(gòu)建起無人駕駛的認(rèn)知地圖,包括車輛、交通標(biāo)識(shí)、障礙物行人等構(gòu)成的可行駛區(qū)域的基本屬性。同時(shí)也包括遞歸網(wǎng)絡(luò)所學(xué)習(xí)得到的關(guān)于預(yù)注意機(jī)制、駕駛意圖等高級(jí)認(rèn)知屬性。我們把車輛當(dāng)前狀態(tài)與交通知識(shí)也作為認(rèn)知地圖的一部分。也就是說,在這樣一個(gè)場(chǎng)景中,根據(jù)場(chǎng)景動(dòng)態(tài)的變化來形成時(shí)間上的認(rèn)知地圖的一種序列。

上面討論了在認(rèn)知地圖基礎(chǔ)上構(gòu)成的基于認(rèn)知構(gòu)建的自主駕駛基本框架。這個(gè)基本框架有深度卷積神經(jīng)網(wǎng)絡(luò)、LSTM單元等,利用這樣一個(gè)框架把場(chǎng)景感知與情境計(jì)算融合在一起 。

如何檢測(cè)可行駛區(qū)域:“共點(diǎn)映射”模型

如何檢測(cè)可行駛區(qū)域?這里展現(xiàn)的方法是我們提出的智能計(jì)算前移技術(shù)的實(shí)現(xiàn),即:使不同傳感器在數(shù)據(jù)端進(jìn)行融合處理。

這里我們提出一個(gè)模型叫“共點(diǎn)映射”,就是把激光雷達(dá)數(shù)據(jù)和圖象數(shù)據(jù)進(jìn)行融合,因?yàn)檫@里面有一個(gè)假設(shè),也就是說,深度的不連續(xù)往往發(fā)生在圖像分割的邊緣上,所謂深度不連續(xù)區(qū)域,就是我們看到物體的正面和側(cè)面顯然不是在一個(gè)深度上。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

依據(jù)“共點(diǎn)映射”, 把激光雷達(dá)的數(shù)據(jù)經(jīng)處理投影到二維圖像的數(shù)據(jù)中,這樣可以把物體,即前面我們談到的場(chǎng)景中每一個(gè)實(shí)體準(zhǔn)確的分割出來。我們就可以可靠地找到車的前方哪些是可行駛的區(qū)域,哪些是周圍的路沿、建筑物、樹木等等。

共點(diǎn)映射的計(jì)算有三個(gè)層次:

第一,數(shù)據(jù)層面上進(jìn)行融合;

第二,特征提??;

第三,特征融合。

基礎(chǔ)性研究:交通情境記憶與認(rèn)知中的選擇性注意

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

這里再簡(jiǎn)單介紹一下我們?cè)谧灾黢{駛領(lǐng)域開展的一些基礎(chǔ)理論研究。這是我們用眼動(dòng)儀檢測(cè)人類駕駛員的注意力是怎么轉(zhuǎn)移的,他怎么關(guān)注周圍場(chǎng)景的,也就是說,要尋找注意力與視覺線索的關(guān)系。

這是眼動(dòng)儀給出的駕駛員在駕駛過程中不斷關(guān)注的點(diǎn)。做了這樣一個(gè)實(shí)驗(yàn),我們可以看到有一個(gè)基本的規(guī)律,也就是說在多數(shù)情況下特征基本上與目標(biāo)大小無關(guān),而且注意過程中,它有一個(gè)預(yù)備性搜索的作用與序列搜索之間的關(guān)系,而這種關(guān)系是需要一個(gè)連續(xù)綁定的步驟。

這里談的綁定是什么意思?實(shí)際上我們從認(rèn)知角度來看,人在判斷前方目標(biāo)時(shí),它判斷這個(gè)區(qū)域大小和目標(biāo)的形狀,和看見這個(gè)目標(biāo)的顏色分類,實(shí)際上在腦部不同區(qū)域?qū)崿F(xiàn)的。

從這個(gè)意義上來講,我們?cè)跇?gòu)建這樣一個(gè)認(rèn)知過程時(shí),就需要多個(gè)模型對(duì)場(chǎng)景特征并行進(jìn)行描述。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

下面再來看一看自主駕駛混合學(xué)習(xí)網(wǎng)絡(luò)。

先是用人在這個(gè)環(huán)境中開一遍,訓(xùn)練自主駕駛系統(tǒng),然后再讓這個(gè)自主駕駛系統(tǒng)再在這個(gè)環(huán)境中行駛一遍。這些點(diǎn)是場(chǎng)景中的顯著性注視點(diǎn),左邊給出的是它行駛的路徑。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

我們用人開車的情況來訓(xùn)練這個(gè)網(wǎng)絡(luò),讓這個(gè)網(wǎng)絡(luò)能夠逐步形成一個(gè)擬人駕駛的狀態(tài)。除了人來訓(xùn)練自主駕駛汽車,我們?cè)賮砜纯从糜螒騺碛?xùn)練無人駕駛學(xué)習(xí)網(wǎng)絡(luò)的情況。

這是學(xué)習(xí)兩個(gè)小時(shí)后,這個(gè)車基本上就沒有正常行駛過,不斷地出交通事故,學(xué)習(xí)四個(gè)小時(shí)以后比剛才要好一些了。這是學(xué)習(xí)六個(gè)小時(shí)以后。這是學(xué)習(xí)十個(gè)小時(shí)以后,這個(gè)網(wǎng)絡(luò)慢慢能夠?qū)W會(huì)駕駛了。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

上圖看到的視頻片段是無人機(jī)與無人車的協(xié)同作業(yè)。

中國(guó)智能車未來挑戰(zhàn)賽歷史回顧

中國(guó)智能車未來挑戰(zhàn)賽是2009年開始的。在2008年國(guó)家自然科學(xué)基金委設(shè)立了一個(gè)重大研發(fā)研究計(jì)劃,計(jì)劃的名稱是“視聽覺信息的認(rèn)知計(jì)算”,在這個(gè)計(jì)劃中我們把無人駕駛平臺(tái)作為這個(gè)重大計(jì)劃的驗(yàn)證平臺(tái)。它的目的是把視聽覺認(rèn)知計(jì)算的一些模型、一些理論和一些新的方法能夠在這個(gè)平臺(tái)上進(jìn)行驗(yàn)證。也就是說,讓實(shí)驗(yàn)室一些研究成果走向真實(shí)的物理世界。

鄭南寧教授:實(shí)現(xiàn)完全自主無人駕駛?cè)悦媾R艱難挑戰(zhàn)——談?wù)務(wù)J知構(gòu)建的類人自主駕駛

2009年是在西安,當(dāng)時(shí)在一個(gè)酒店的小區(qū)。2010年依然是在西安,在長(zhǎng)安大學(xué)的試車場(chǎng)。

第一屆和第二屆比賽的內(nèi)容和水平是非常簡(jiǎn)單的。因?yàn)槟莻€(gè)時(shí)候的傳感器沒有像今天這樣豐富,當(dāng)時(shí)的計(jì)算機(jī)的計(jì)算能力還非常低下。第三屆我們移師到鄂爾多斯,在鄂爾多斯的挑戰(zhàn)賽有城區(qū)道路,也有鄉(xiāng)村道路。第四屆就到了赤峰。在鄂爾多斯和赤峰都是在真實(shí)道路上來進(jìn)行比賽。

第五屆開始就到了常熟,常熟已經(jīng)連續(xù)舉辦了四屆,這個(gè)周末在常熟舉辦今年的比賽,賽事安排有高架道路和城鄉(xiāng)道路上。這一屆挑戰(zhàn)賽增加了無人車在高架道路上要匯入眾多的有人駕駛車輛的交通流中、躲避障礙、通過收費(fèi)站等,在城鄉(xiāng)道路又通過含有障礙的隧道、路遇行人讓行、自主泊車等15項(xiàng)考核。

實(shí)現(xiàn)完全自主的無人駕駛是一個(gè)令人興奮卻又望而生畏的艱難挑戰(zhàn)。

當(dāng)然,目前自主駕駛的一些技術(shù)已經(jīng)可以為有人駕駛的車提供先進(jìn)的輔助安全駕駛系統(tǒng),無人駕駛汽車也可以在一些特定的區(qū)域、小區(qū)、城市指定的專用道路或者高速公路正常交通車流的情況下實(shí)現(xiàn)自主的駕駛。但是我們要讓無人車能夠進(jìn)入尋常百姓家,能夠非常自如的進(jìn)入地下車庫(kù),也能夠停到小街小巷,能夠進(jìn)入非常復(fù)雜的十字路口,我們還面臨著很艱難的挑戰(zhàn)。

當(dāng)前,一些公司和車企都在進(jìn)行無人駕駛的路試,一些商業(yè)行為表現(xiàn)出的前景很誘人,誘人的前景使人容易忽視發(fā)展自主駕駛所面臨的挑戰(zhàn),也使得社會(huì)公眾認(rèn)為具有高智能的無人駕駛很快就能進(jìn)入尋常百姓家庭。

以目前的交通狀況和技術(shù)水平來看,無人駕駛技術(shù)要得到大規(guī)模的普及,一方面有待于低成本、高性能的傳感技術(shù)方面取得突破;另一方面還需要大幅提升無人駕駛的計(jì)算能力。因此,我們可能需要十幾年甚至更長(zhǎng)的時(shí)間完善無人駕駛在復(fù)雜的城市道路交通環(huán)境中的安全性能。

在這些挑戰(zhàn)的背后,我們需要用什么樣的方法、什么樣的新模型,的確需要我們加強(qiáng)基礎(chǔ)研究。還有,無人車的發(fā)展離不開企業(yè),特別是整車制造企業(yè)一定要成為自主駕駛技術(shù)成果轉(zhuǎn)化落地和創(chuàng)新發(fā)展的主體。

近年來,我們與廣汽研究院在無人駕駛技術(shù)領(lǐng)域開始了合作,他們?cè)谥悄苘嚨母难b和平臺(tái)控制方面走在國(guó)內(nèi)車企的前面。

高校、研究院所和企業(yè)一定要緊密的合作,畢竟無人車的研發(fā)不同于一般的科研協(xié)同,不是簡(jiǎn)單的在實(shí)驗(yàn)室或有限的、簡(jiǎn)單的環(huán)境中實(shí)現(xiàn)就行了,它必須要到一個(gè)真實(shí)、復(fù)雜、開放、動(dòng)態(tài),在不可預(yù)測(cè)的環(huán)境中去實(shí)現(xiàn)它。

總結(jié)

在會(huì)后的討論中,鄭南寧教授進(jìn)一步談到:

真實(shí)的交通環(huán)境復(fù)雜多變,很難預(yù)測(cè)車輛在行駛過程中會(huì)遇到什么樣的問題。因此無人車想要投入實(shí)際應(yīng)用,必須在真實(shí)的環(huán)境下不斷測(cè)試。我們面臨的另一個(gè)無法回避的問題是,目前有關(guān)交通的法律法規(guī)不允許沒有牌照的無人車上路測(cè)試,我們只能在特定的試驗(yàn)場(chǎng)測(cè)試?,F(xiàn)行《中華人民共和國(guó)公路法》第五十一條規(guī)定,機(jī)動(dòng)車制造廠和其他單位不得將公路作為檢驗(yàn)機(jī)動(dòng)車制動(dòng)性能的試車場(chǎng)地。

所以,當(dāng)前在國(guó)內(nèi)公共道路上進(jìn)行無人駕駛車的測(cè)試還是違法的。實(shí)驗(yàn)?zāi)M路況和真實(shí)路況有很大差距,在對(duì)無人駕駛智能車的創(chuàng)新研發(fā)上,需要政府和主管部門給予更多政策法規(guī)上的支持和提供更加開放的研發(fā)環(huán)境。比如:能否開放一個(gè)指定的區(qū)域,給無人駕駛智能車提供臨時(shí)牌照允許其上路測(cè)試?

從創(chuàng)新驅(qū)動(dòng)發(fā)展的意義上來說,在體制上為新技術(shù)的發(fā)展提供空間和政策支持,與提供充足的科研經(jīng)費(fèi)同等重要。

PS:自動(dòng)駕駛汽車是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域研究者們數(shù)十年科研的成果匯聚,鄭南寧教授的分享報(bào)告便是其中的縮影。尤其是以智能未來車挑戰(zhàn)賽為代表的這些參與者、親歷者們,他們這段漫長(zhǎng)而豐富的研究過程,值得我們一起重新領(lǐng)略。

2018年1月16日,在中國(guó)的另一端,雷鋒網(wǎng)新智駕將在美國(guó)硅谷舉辦GAIR硅谷智能駕駛峰會(huì),我們也邀請(qǐng)了重磅嘉賓、2005 年 DAPRA 挑戰(zhàn)賽冠軍斯坦福車隊(duì)成員,無人駕駛行業(yè)萌芽的親歷者 Adrian Kaehler 進(jìn)行主題演講。詳情請(qǐng)點(diǎn)擊 https://gair.leiphone.com/gair/gairsv2018

這些探索者們、先鋒們?cè)谧詣?dòng)駕駛探索過程中的精彩點(diǎn)滴無疑值得我們細(xì)細(xì)回味。

雷鋒網(wǎng)推薦閱讀:

獨(dú)家 | 重訪 2005 DARPA 挑戰(zhàn)賽斯坦福車隊(duì)成員:Stanley 奪冠背后那些不為人知的細(xì)節(jié)

雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說