3
| 本文作者： 李星宇 | 2016-06-25 08:56 |
雷鋒網(wǎng)按：本文整理自地李星宇在《人工智能和自動駕駛技術(shù)論壇》上的演講。李星宇，現(xiàn)地平線機器人汽車業(yè)務(wù)總監(jiān)，前飛思卡爾應(yīng)用處理器汽車業(yè)務(wù)市場經(jīng)理，原士蘭微電子安全技術(shù)專家。
via：wrox.cn
以下是演講內(nèi)容的整理：
我是來自于底線線機器人汽車業(yè)務(wù)的負責人李星宇，地平線機器人成立有一年的時間，創(chuàng)始人余凱是百度深度學(xué)習(xí)研究院的院長，也算是國內(nèi)第一個深度學(xué)習(xí)的研究院是他建立的。他成立了地平線這家公司，專注于深度學(xué)習(xí)技術(shù)的開發(fā)，所以在今天我想跟大家分享的主題就是：《如何將深度學(xué)習(xí)和自動駕駛結(jié)合在一起？》。
應(yīng)該說在今年的AlphaGo和李世石的對決當中，大家對于機器人的關(guān)注已經(jīng)到了一個非常高的水準，其實自動學(xué)習(xí)已經(jīng)有不少的時間。今年豐田有做過一個Demo的系統(tǒng)，他做了是8輛車并沒有被教任何的駕駛規(guī)則，就是隨意往前開，這8輛車會置于一個訓(xùn)練系統(tǒng)之下，經(jīng)過八個小時的訓(xùn)練之后，八個小時下來沒有碰撞，這真是了不起的事情。
通過資本界我們來看，這些10億美元的投入都能真金白銀地證明整個業(yè)界對于深度學(xué)習(xí)和增強學(xué)習(xí)技術(shù)的看好。
為什么我們需要把這樣一個技術(shù)運用在自動駕駛領(lǐng)域？千言萬語可以歸結(jié)為一句話就是復(fù)雜性。我們看到很多人在很多時候會質(zhì)疑自動駕駛這件事情，其實他的質(zhì)疑覺得就是復(fù)雜，你可以看到在十字路口，非常復(fù)雜的路況。包括中國進入汽車社會不久，駕駛技術(shù)有待提高的特殊的國情，變道非常頻繁，拐彎很多時候也很暴力。這樣一個場景其實對于傳統(tǒng)的ADAS有很大的挑戰(zhàn)性，而這種復(fù)雜性恰恰是深度學(xué)習(xí)的一個優(yōu)勢。
當然很多人也會問，在自動駕駛領(lǐng)域是不是人就沒有作用了？我們很長一段時間在自動駕駛領(lǐng)域，人和車的關(guān)系其實并不是一個簡單的服務(wù)與被服務(wù)的關(guān)系，而是人和馬之間的關(guān)系。意味著是什么？其實馬并不知道在一個大的方向該怎么走，是快一點還是慢一點，這個是需要人來控制和調(diào)節(jié)。而馬能做的就是，無論你告訴還是不告訴，前面是懸崖就會停下來，意味著自動駕駛可以在微觀的一個層面，能夠把風(fēng)險降到極低的水平。而在高層次的體驗層面，更多的是以跟人配合的關(guān)系，它會去理解你。所以在自動駕駛領(lǐng)域很重要的一個話題就是對于駕駛習(xí)慣的學(xué)習(xí)。自動駕駛習(xí)慣的學(xué)習(xí)不僅僅是一個標準的駕駛，還有包括特殊駕駛風(fēng)格的學(xué)習(xí)。
這是一個非常標準的美國高速公路管理局的對于自動駕駛的分析。應(yīng)該說，從我們跟車廠的溝通里面可以看到，現(xiàn)在研發(fā)的重點還是基于Level3，就是高度的無人駕駛。它的主要不同跟Level4的不同在于，一個就是保證在任何情況下都可以做緊急碰撞的防止，第二個就是在條件良好的道路上部分實現(xiàn)自動駕駛。
從現(xiàn)在實踐的情況來看，高速公路上應(yīng)該不是有太大的問題?，F(xiàn)在主要解決的是高速公路上的一些特殊的案例和條件比較好的城區(qū)主干上的案例，比如上海的中環(huán)、內(nèi)環(huán)、外環(huán)的情況下，尤其紅綠燈情況下需要一些特殊案例的深度學(xué)習(xí)。
我們介紹了一個背景之后，稍微回來談一下深度學(xué)習(xí)為什么會受到重視。大家現(xiàn)在都覺得“深度學(xué)習(xí)”這個詞特別火熱。
第一個為什么它會受到重視？
應(yīng)該說深度學(xué)習(xí)出現(xiàn)的歷史其實非常久，最久的歷史可以追溯到50年代末，在漫長的發(fā)展時期里面是幾經(jīng)起伏，有它的高潮的時候也有低谷的時代。從現(xiàn)在的情況來看深度學(xué)習(xí)最具吸引力的一點就是端到端的學(xué)習(xí)。
舉例，以自動學(xué)習(xí)的系統(tǒng)去識別一個圖片，比如這個圖片上是一個人，它會把圖片作為輸入一個名字，你可以看到人臉的信息量通常是幾兆，幾百萬個字節(jié)，最終輸出的就是幾個字節(jié)，就是端到端，可以把非常復(fù)雜的非結(jié)構(gòu)化的數(shù)字轉(zhuǎn)化為精簡數(shù)字化的表達，包括語音、語言、圖像、視頻都是非結(jié)構(gòu)化的，包括金融的交易產(chǎn)生的數(shù)據(jù)都是非結(jié)構(gòu)化的。
從目前的情況來看，第一個它非常適合大數(shù)據(jù)時代。在過去的年代，其實大家也是在研究深度學(xué)習(xí)的算法，那個時候還不叫深度學(xué)習(xí)，叫深度神經(jīng)網(wǎng)絡(luò)。但是發(fā)現(xiàn)很難把它調(diào)校得好，因為那個時候?qū)W的都是一個小量的，幾千個樣本，想把它調(diào)到一個非常好的水準，其實是不可能的。后來大數(shù)據(jù)出來以后，這個性能就飆升，最終的一個例子就是2012年的時候愛萊克斯和他的老師參加了圖片分類識別的比賽，一下子從過去的74%提高到了85%，非常大的一個進步。也就是說現(xiàn)在機器對于圖片的識別其實是優(yōu)于人眼，所以實踐效果很好。比較通俗的說法，對于這種行為的一種模擬，這種說法可能不是特別的準確，事實上跟它相關(guān)聯(lián)的網(wǎng)絡(luò)，按它的類似性來說是非常復(fù)雜的，而且現(xiàn)在沒有搞得特別復(fù)雜。
機器學(xué)習(xí)技術(shù)前沿，注意力模型。圖片上是對于人臉識別過程的一個描述，如果你拋開技術(shù)不看，你直接看，你會看到圖象識別的時候，每過一個識別階段，由很多個識別階段組成。它的圖像的信息會減少一些，最開始會把圖像的彩色性去掉，只留下一個歸錄信息。
第二步會把規(guī)錄中間的去掉，只留下邊緣線條的信息，然后線條會變成點，這是從低位空間向高位空間不斷的扭曲的過程，到最后它的圖片信息就會精簡到一個字母，所以這就叫多層的卷積神經(jīng)網(wǎng)絡(luò)。大家都知道這樣一個復(fù)雜的關(guān)系勢必會帶來數(shù)據(jù)極大的產(chǎn)生，因為肯定需要非常大的參數(shù)。
自動學(xué)習(xí)技術(shù)也在不斷地往前推進，我們現(xiàn)在看到各個領(lǐng)域都全面推進。
比如注意力模型，什么叫注意力模型呢？舉例，在雞尾酒酒會上看到很多的人，但是你只跟其中一個或者幾個人談，這個時候你的聽覺系統(tǒng)只會注意到你想關(guān)注到的那個人的話，而把其他人的給屏蔽掉。解決了在復(fù)雜的語義環(huán)境下，會對特別的語音進行聚焦。當我們對這個婦女說，我要求你把飛盤作為聚焦目標的時候，機器系統(tǒng)可以把飛盤反射出來，也就證明它準確能夠聚焦到你想要它聚焦的部分，這個是非常關(guān)鍵的，因為這個系統(tǒng)是非常復(fù)雜的，而你只需要自動駕駛的系統(tǒng)關(guān)注車輛、車道線、人這些關(guān)鍵的信息，這樣一個技術(shù)可以使得它很有效的處理。
除了注意力模型以外還有其他的進展，包括長時短時的記憶力模型，這個是做什么用？它會使深度學(xué)習(xí)，不僅僅是在空間，二維平面上有足夠的學(xué)習(xí)，它能記住過去發(fā)生的事情。剛才豐田的小車的Demo里面可以看到，它對瞬間場景的處理做得很好，但是有沒有想過如果場景的處理手法依賴于過去的歷史怎么辦？比如我們玩《魔獸》和《星際爭霸》，下一步的動作取決于你的歷史狀態(tài)，這個時候要求你的深度神經(jīng)網(wǎng)絡(luò)需要足夠的記憶力，能夠記住過去的狀態(tài)，這個記憶力模型就是解決這個問題包括序列化等等。
增強學(xué)習(xí)
什么是增強學(xué)習(xí)？
打一個比較形象的比方，如果過去的系統(tǒng)我們當做是計劃經(jīng)濟的話，那么增強學(xué)習(xí)就是市場經(jīng)濟，可以理解它是一種結(jié)果導(dǎo)向的技術(shù)。準確描述這是一個智能主體跟環(huán)境不斷博弈而來優(yōu)化的一個過程。比如剛才的豐田的小車是一個增強學(xué)習(xí)的典型的案例，如果它碰撞了給它懲罰，如果沒有碰撞給它獎勵，多輪的循環(huán)會加強這些行為，達到一個期待值。深度學(xué)習(xí)可以用來做環(huán)境的感知，而增強學(xué)習(xí)可以用來做控制的東西，這樣就可以構(gòu)成一個完整的自動駕駛系統(tǒng)。
這是一個非常典型的汽車的自動駕駛系統(tǒng)的框架圖，在圖像的左側(cè)有各種各樣的傳感輸入，這個數(shù)據(jù)來源于三個，汽車外圍的環(huán)境數(shù)據(jù)，汽車本身的狀態(tài)數(shù)據(jù)，比如車速、轉(zhuǎn)向，還有車內(nèi)人的數(shù)據(jù)，是不是疲勞駕駛，是不是要轉(zhuǎn)彎。一個是感知的融合，一個是決策。
深度學(xué)習(xí)在中間的感知和決策都是有非常大的優(yōu)勢，可以進一步把這個事情分解一下。
我們跟過內(nèi)的主機廠接觸，由于現(xiàn)在國內(nèi)有一些主機廠已經(jīng)開始比較深的自動駕駛的研發(fā)，去討論大量的細節(jié)。我們可以簡單把它劃分成這樣的一個板塊，就是態(tài)勢感知和決策控制。
態(tài)勢感知和決策控制
態(tài)勢感知一部分就是對外的態(tài)勢，就是你要對整個的環(huán)境要有感知，對內(nèi)就是對駕駛員的意要圖要有感制，包括意圖的判斷。包括對外部物理的辨識，哪些是固定障礙物，哪些是欄桿，哪些是可行駛區(qū)域。對于駕駛，包括狀態(tài)的識別其實非常重要。這也是整個自動駕駛業(yè)界流派之爭的一個焦點。
以谷歌為代表的，他們想做的是全自動駕駛，但是我們還是要一步一步來，這面臨有一個半自動駕駛的過程，谷歌覺得很難做到很好的人工和自動駕駛的切換，沒有辦法把這件事情做得特別的可靠。
其實這個我認為要這樣來看，首先主機廠其實是一定會按照循序漸進的過程來走，因為他們是造車的。第二個在這件事情上深度學(xué)習(xí)可以很好地幫助緩解這個問題。我們不能說一定能全部解決，至少能夠極大地緩解這件事情。因為深度學(xué)習(xí)對于駕駛員狀態(tài)的綜合理解比其他的手段要來得更好，因為它是基于大量對于駕駛員技術(shù)分析的基礎(chǔ)上建立對它的一個綜合理解，包括他的駕駛習(xí)慣、意圖等。
決策控制包括幾個部分。就是對于車輛來講有一個局部的運動路徑的規(guī)劃，另外規(guī)劃里面還有一個駕駛風(fēng)格的情況，比如需要運動感強一點的，都不一樣。最后一個是執(zhí)行器控制，狀態(tài)之間形成一個閉環(huán)去調(diào)校。
應(yīng)該說在現(xiàn)在有很多初創(chuàng)的公司，包括像英偉達這樣的公司做大量的嘗試，如何把整個的系統(tǒng)用深度學(xué)習(xí)的方法進行優(yōu)化。英偉達做得比較暴力，直接忽略了中間的決策這一部分，是直接把傳感器的輸入和車的狀態(tài)的輸入直接關(guān)聯(lián)，做這樣一個預(yù)測。也就是說Y就是執(zhí)行器剎車、油門、轉(zhuǎn)向，輸入就是車的信息、環(huán)境的信息，非常暴力，不做任何中間人工智能的分析。
自動駕駛還有一個非常重要的點，就是如何進行測試。
整個自動駕駛來講主要的投入還是在測試這塊，并不是做一套軟件系統(tǒng)就可以了。特斯拉做得很討巧，直接在量產(chǎn)上進行測試，所以短時間內(nèi)積累了超過1.76億英里的速度。但是還是需要一個模擬系統(tǒng)去做這件事情，有一個模擬系統(tǒng)，如何在模擬系統(tǒng)各個主體能夠真實的模擬，這其實也是一個增強學(xué)習(xí)可以幫助你的。
當你創(chuàng)造了一個虛擬環(huán)境的時候，你希望用多臺的計算設(shè)備去模擬一個目標，模擬幾十個人，模擬路牌等等，每一個都是動態(tài)的過程，它們不地變。比如紅綠燈會不斷地變，車輛動態(tài)的變化，這樣一個復(fù)雜的結(jié)構(gòu)，其實很適合于深度學(xué)習(xí)和增強學(xué)習(xí)來做，包括結(jié)合模擬。
在這個方面德國的車廠寶馬和奧迪走得比較靠前，當然包括豐田其實也是一樣，做大量的工作，這個是奧迪的汽車大腦的構(gòu)架圖，AUDI的zFAS。zFAS系統(tǒng)模塊配備了Mobileye的EyeQ3移動處理器以及英偉達TegraK1芯片。奧迪的觀念非常清晰，自動駕駛的關(guān)鍵還在學(xué)習(xí)。
地平線在這塊領(lǐng)域也是進行了大量的工作，我們有一個品牌叫做雨果，這是汽車的一個開放平臺。
（播放視頻）這個是雨果做的整個道路的語義理解，它可以把道路各個不同種類的物體運用不同色彩標識出來，比如柵欄是紅色，道路是綠色，樹木是深綠，汽車是紫色，這樣一個道路綜合語義理解對于智能駕駛系統(tǒng)是很關(guān)鍵的。很多道路也不是結(jié)構(gòu)化的道路，比如鄉(xiāng)村的道路其實沒有車道線，柵欄也沒有，你沒有辦法通過車道線去自動駕駛，這個時候你要自己去決定該走哪一塊。
這是地平線做的識別，左上角是英偉達的，很遺憾不能秀一下動態(tài)的視頻。地平線是在北京做的測試，在這個路口的人其實非常的密集，地平線做了識別，并且對于出租車里面的、僅僅露一個腦袋的人也可以識別。
對于車輛檢測，地平線從去年8月開始，長期保持在KITTI排名第一的識別率。Densebox就是測試的名字。
地平線是一家專注于算法和芯片開發(fā)的公司，我們在最下端的解決方案，我們更多愿意跟業(yè)界合作伙伴，各類的公司和主機廠一起合作，一起做最后的產(chǎn)品出來。地平線的算法團隊其實蠻國際化的，助力的算法團隊來自于像Facebook、百度、中科院。我認為在深度學(xué)習(xí)領(lǐng)域，我們中國第一次有機會基本上跟國際的主流的開發(fā)的機構(gòu)處于差不多的一個水平線上，不能說是絕對的齊平，但是不會有太大的差別。
剛才趙總也分享了，為什么我們需要深度學(xué)習(xí)的芯片，提到很多國內(nèi)公司在宣稱自己在做這個，這是一件好事，因為大家都知道現(xiàn)在的計算結(jié)構(gòu)不合理。
比如說舉一個例子，深度學(xué)習(xí)的輸入是高度密集化的，這種密集化輸入不太適合DSP這種，是流水線的，GPU的一個問題在哪里？
在多輸入之后的下一步處理，在數(shù)據(jù)緩沖方面做得不好。很不幸的是深度學(xué)習(xí)網(wǎng)絡(luò)它的輸入是前后關(guān)聯(lián)的，在中間隱藏層的時候，這個卷積盒是要跟前置進行卷積計算的，這就意味著首先要取參數(shù)、計算，這就會導(dǎo)致在正常的一般結(jié)構(gòu)下會大量的有外出效應(yīng)。
第二個因為帶寬永遠是有限的。
第三個是功耗問題，這些都是非常實際的問題。
還有一點就是，深度神經(jīng)網(wǎng)絡(luò)的參數(shù)非常多.
整個業(yè)界都意識到，如果要在深度學(xué)習(xí)領(lǐng)域能夠做的話，像地平線得自己做芯片有點類似于手機業(yè)界，在大約十年前的時候，手機業(yè)界還沒有一個想法說一定要做自己的芯片，但是今天大家已經(jīng)看得非常清楚，如果要想做起來必須做自己的芯片，蘋果、三星、華為都是自己的，如果你不這么做只是使用高通的平臺，你還是可以做，但是很不幸你是第二梯隊。所以在深度學(xué)習(xí)也是一樣，你還可以用英偉達、高通的芯片，可是這不是第二名和第一名的差距，這是第二梯隊和第一梯隊的差距。因為算法在演進，你如果用別人的話肯定是慢一拍的，這是一個問題。
國內(nèi)有不少公司在做，包括有一家公司叫做（深鑒科技），最近他們發(fā)表了成績，就是DPU，深度學(xué)習(xí)的處理器，他們在單位功耗下的性能表現(xiàn)是英特爾之前CPU的24000倍，是英偉達GPU的3000倍。而他們所做的優(yōu)化的工作，恰恰是剛才我提到的問題，對于壓縮，對于訪問的優(yōu)化，降低了功耗。
地平線也是一樣，我們非常清晰認識到這個問題，所以我們的做法也是這樣，我們地平線也是在做自己的芯片。我們希望在短時間內(nèi)能夠把整個的能耗比提升千倍。
地平線現(xiàn)在專注的深度學(xué)習(xí)的技術(shù)的應(yīng)用點有哪些？四個大塊，語音、語言、視覺、控制。應(yīng)該說，這四個緯度可以構(gòu)成大量的創(chuàng)新的應(yīng)用，不僅僅是自動駕駛，還包括家庭的服務(wù)器的監(jiān)控等等。我們的目標是，希望在未來可以用我們自己的算法芯片，跟廣大下游的伙伴進行合作，比如空調(diào)公司，比如掃地機器人公司等等，能夠覆蓋超過1000個品類的智能產(chǎn)品，我們的目標是為現(xiàn)代的智能硬件真正的賦予智能，所以我們的目標是定義物聯(lián)網(wǎng)時代的大腦。
我的分享就到這里，我們也非常歡迎大家來跟地平線合作，我們會提供平臺解決方案，而不是某個具體品類和最終的產(chǎn)品，謝謝大家。
以下附上部分PPT：
雷鋒網(wǎng)注：本文為雷鋒網(wǎng)整理文章，轉(zhuǎn)載請聯(lián)系授權(quán)并標注出處和作者，不得刪減內(nèi)容。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
