0
雷鋒網按：雷鋒網 · 新智駕（微信公眾號：AI-Drive）持續(xù)關注和報道智能駕駛領域的一線動態(tài)。從6月份開始，我們聯合雷鋒網 · AI慕課學院、網易云課堂企業(yè)版舉辦系列智能駕駛講座，邀請業(yè)界、學界頂尖專家共同打造屬于智能駕駛時代的技術盛宴。
今年4月，百度推出阿波羅計劃（Apollo），將逐步開放其自動駕駛技術；今年7月，百度在首屆開發(fā)者大會（Baidu Create）上公布了阿波羅計劃的第一批細節(jié)，包括百度自動駕駛技術的架構設計以及一個完整的基于林肯MKZ打造的封閉場地循跡自動駕駛參考設計——Apollo 1.0。
接下來，這個計劃將逐步開放更多細節(jié)，為眾多從事自動駕駛研究的企業(yè)賦能。當然，想深入了解這個計劃的人數不勝數。
8月30日晚8點，雷鋒網新智駕邀請到百度智能駕駛事業(yè)部資深架構師郁浩詳解阿波羅計劃，進行計劃公布后的首次線上直播。本次分享中，您可以重點關注的內容包括：
端到端（End-to-end）自動駕駛系統的發(fā)展歷史
與傳統的規(guī)則式（rule based）自動駕駛相比，端到端自動駕駛有哪些區(qū)別和優(yōu)劣勢？
百度的阿波羅計劃在這個方向有哪些實踐？
以下內容為郁浩分享完整版，由新智駕進行不改變原意的編輯和整理。
整個阿波羅項目其實是百度面向自動駕駛的一個很宏大的系統，而端到端（end-to-end）的方案是其中的一個子方向。今天主要進行這個子方向的實踐和經驗分享。
在介紹端到端自動駕駛之前，可以了解一下自動駕駛另一大主流的方案：基于規(guī)則（rule based solution）的方案。這類系統和端到端系統相比還是有很明顯的區(qū)別。
Rule based方案的主體需要人工去搭建，拆解開來一般是以下的流程：
從車輛開始是一個閉環(huán)：從車輛到車上的傳感器（radar、LiDAR以及camera等），綜合在一起獲取信息，這些信息經過感知層、經過特殊的處理（包括深度學習網絡），最終會提取出道路、行人和車輛等各種信息。在感知到的信息的基礎之上，再加入高精地圖等一些靜態(tài)信息，當動態(tài)和靜態(tài)信息結合在一起后，就會形成一個比較完備的世界模型（Wodel Model）——對外部環(huán)境的完備描述。
在此基礎之上，我們就進入到決策模塊，考慮到駕駛舒適性，這一步主要是演繹推理（reasoning）的一些過程，最終會產生一些決策，決策再往下就到了車廠比較擅長的領域——車輛控制，需要給車輛一些控制信號。
在這樣一個rule based的系統里面，其實有一個非常復雜的架構。
上圖是國際汽車工程師學會（SAE）推薦的一個系統架構圖。
我們可以看到這樣一個架構其實是一個閉環(huán)系統，這個閉環(huán)本身又分了好幾個層次。從最底層的控制循環(huán)（Control Layer）往上到安全性能的循環(huán)（Safety Layer）再到本地層的循環(huán)（Local Layer）再到全局的循環(huán)（Global Layer），這樣的層層閉環(huán)做到了對車輛的控制。
這樣一個復雜的系統其實還是提綱挈領的，再往下分又可以看到這樣一張架構圖：
這張架構圖比上一張顯然要詳細得多，但依然還是一種抽象的概括。這張架構圖其實也反映出了無人駕駛的幾大問題，需要從業(yè)者聯手去解決。
一個是系統復雜性。這樣一個系統，需要人工設計上千個模塊，從0到1是非常艱難的，其系統的復雜度不亞于一個操作系統
第二個是高精地圖的成本很高。在構建世界模型的時候，需要高精地圖的輔助，而高精地圖本身的廣鋪、更新都是極其大的成本。很多創(chuàng)業(yè)公司在往這個方向努力，會嘗試一些眾包的數據采集，這一塊也是個很誘人的方向。
還有一個問題是車載硬件計算能力要求非常高。在這樣一個系統里面，有不同的感知、決策模塊，每一個模塊都會使用深度學習的優(yōu)化手段。一個綜合的復雜系統里面，可能需要幾個甚至是十幾個深度學習的神經網絡，每一個的計算成本都極其巨大。
NVIDIA CEO 黃仁勛曾表示，目前的自動駕駛系統，使用2個 Drive PX2核心都不夠，已經遠超目前計算能力所能達到的上限，硬件本身就是很高的門檻。
所以，打造一個自動駕駛系統的難度之大，已經遠遠超出一家公司的能力范圍，需要一個協作的生態(tài)（聯盟）。
*百度與 NVIDIA 合作推出的自動駕駛系統
*百度阿波羅計劃所購建的生態(tài)
這個系統中，有很多公司體量很大，每個公司也只不過做了其中的一部分工作。
剛剛提到一點，人駕駛的時候并不需要這么復雜的拆解，不需要高精度定位、高精度地圖，只需要一些導航語音的提示。很多人還可以邊打電話邊開車，能一心二用。
與之對應的，目前比較熱的一個新興的自動駕駛解決方案就是端到端（end-to-end）的系統，它的特點是更接近于人的駕駛習慣。看到的是人看到的場景，經過神經網絡的處理之后，產生類似于人類的駕駛行為。
如圖所示，車輛可能看到的是一張圖片，經過加工處理，得到了橫向控制和縱向控制。
其實end-to-end系統并不是最近這一兩年才出現的技術，這和整個無人駕駛系統一樣，是一個很長遠的事情。
早在1988年的時候，一個名為“ALVINN”的系統就已經面世了，是卡耐基梅隆大學（CMU）的研究成果。當時還沒有CNN，用的是比較淺層的全連接網絡，用的是單目相機，只處理30*32的圖像，即便是這么簡單的一個場景，還是可以看到它做了很多傳統的圖像處理的手段（比如二值化）。這樣的一個網絡也能讓車輛在簡單的道路上行駛。
到了2005年的時候，Yann LeCun也參與了一個類似的項目，研發(fā)出了DAVE系統。這系統運用了卷積CNN網絡，使用的是雙目相機。
再到2015年的時候，普林斯頓大學也做了一些嘗試，用中間狀態(tài)——從原始圖像，不是端到端生成的一個指令，是從中提取一些關鍵的信息，在關鍵信息的基礎上，再做自動駕駛的決策和控制。
轉折點出現在2016年，NVIDIA在2005年DAVE的基礎之上，做出了DAVE2。這個系統用的是單目相機、卷積神經網絡，更關鍵的是能搭載上實車路測。NVIDIA還為此研究出了配套的評估體系。
在NVIDIA之后，我們可以看到眾多的創(chuàng)業(yè)公司如雨后春筍般冒出來。比如Comma.ai、Udacity、Drive.ai以及AutoX，當然，后兩家沒有明確提及end-to-end系統，比較愿意說他們的系統完全基于深度學習、可快速大量的擴展等。Udacity為此還專門組織了end-to-end steering的比賽，其中也包含了很多很出彩的成果。
其實end-to-end系統不只是針對于自動駕駛領域，其實對于機器人行業(yè)來講，都有比較大的影響，可以說是變革。
上圖是李飛飛實驗室做的室內機器人的行駛測試，完全基于深度神經網絡的端到端的系統，里面沒有事先預置好的地圖，也沒有自定位、SLAM功能，完全是機器人實現的自動行駛。
還有一些是機械臂的操控，自動化完成一些指定的任務。傳統的機械臂也需要封閉環(huán)境的準確信息，以及各個關節(jié)和組件也需要極高精度的定位。經過閉環(huán)的控制，按照預設的軌跡執(zhí)行特定的任務。而end-to-end系統就不需要這些，不再受限于簡單的封閉的環(huán)境，可以走向開放的環(huán)境里去。當然，也不再受限于高精地圖、高精的環(huán)境信息。
當然，目前也有一些人在用端到端的系統做一些更為主動的規(guī)劃，而不是一味的被動響應，這也是很有意思的方向。
那么end-to-end系統能干嘛？不能干嘛？主要的問題是什么？與rule based系統有什么區(qū)別和聯系？
接下來來拆解一下：
從功能層面看的話，我們把自動駕駛的行為或者功能按照兩個角度來分：一個是Reactive control；一個是Proactive planning。人可以邊打電話邊開車，其實就是Reactive control的一種，有時候是條件反射，甚至是一些簡單的駕駛經驗就可以判斷，不用你去做深入的思考。
而與之相對的就是Proactive planning，在一些陌生的環(huán)境、道路，聽導航的指示時，你要想一想該怎么走。比如并線的時候要看一看周圍的環(huán)境怎么樣、盲區(qū)有沒有車、其他車輛的車速如何……
所以從功能角度來看，目前的end-to-end系統實現的是Reactive control，或者說是類似于人潛意識的駕駛行為。而在Proactive planning這一塊，目前end-to-end系統還處在研究階段，這也是一個很誘人的方向。
在系統工程復雜度上，Rule based系統是極高的，而end-to-end系統則比較低。因為其中需要人工去構建的部分大多由神經網絡去擬合了。
當然，二者對于算法的要求都很高。
至于“可解釋性”，其實是非常多人在討論的事情，達成的共識是rule based系統可解釋性很高，而end-to-end系統可解釋性很低。
這里，要說明一下“可解釋性”與自動駕駛最終能落地的關系。其實，我們跳出來看，對于傳統的基于規(guī)則的無人駕駛系統，影響其最關鍵的點恰恰就在于規(guī)則式系統中存在著大量的不確定的邊界性問題，這些問題是“不可解釋的”。從這點看，rule based系統也沒有壓倒性的優(yōu)勢。
此外，可解釋性當然很重要，去年9月份，美國白宮發(fā)表的針對自動駕駛行業(yè)的指導意見便指出，涉及到行駛安全的部分一定要具備可解釋性。
再看系統廣鋪的成本，rule based系統成本非常高，因為其依賴于高精度地圖，普通地圖的維護更新都需要很巨大的成本，可想而知高精度地圖的維護和更新成本會有多大。End-to-end系統廣鋪成本則很低了，因為其不依賴地圖和定位。
傳感器成本方面，rule based系統的成本會很高，而end-to-end系統則相對較低。在歐洲的車廠中，自動駕駛系統傳感器非常之多，光攝像頭就有很多個，還有很多radar、LiDAR（4線）。但end-to-end系統本身不是可以去減少使用傳感器，而是在信息利用率上很高，主要是整合信息的能力很強。
另外一個是車載計算能力，無疑這方面rule based系統要求會很高，end-to-end系統這方面要求就要低一些。
最后一個是數據成本，包括獲取和標注數據，這是對于自動駕駛發(fā)展來說比較關鍵的一點。在rule based系統中，因為需要人工去設計各個模塊，所以需要人工去對數據進行標注，比如比較知名的KITTI數據集，會耗費人力對環(huán)境圖像、LiDAR數據進行標注。這樣一來，數據采集成本已經很高了，后期的標注成本可能會更高。
而end-to-end系統的數據成本則要低很多，一方面其數據是傳感器數據，部署成功后就可以自動化去獲?。涣硪环矫鏀祿侨说鸟{駛行為，也是可以自動化的去采集，這樣的話整個數據成本就把標注的成本剔除了。整體成本要減掉二分之一甚至更多，因為一旦一些車廠和ADAS公司采納這一系統，就可以批量、規(guī)?；厝ゲ杉？梢姡琫nd-to-end系統在這方面優(yōu)勢很大。
總結起來，核心問題在于：rule based系統的研發(fā)、廣鋪成本極高；end-to-end系統很缺數據，不過可以自動化、規(guī)?；@取。所以，二者是互補的關系，對于一些普通的駕駛行為，使用end-to-end系統就足夠了，而對于一些安全層面的駕駛行為，則愿意去采用rule based系統。
接下來談談阿波羅項目的一些實踐經驗。
上面的視頻是百度的地圖采集車正在采集數據供End-to-end系統進行訓練。紅線是原始的司機的行為，綠線是模型預測出的一些結果。
目前，這個系統還只能做到Reactive control，從視頻中的一個交叉路口車輛的反應來看，紅線要進行邊線，但是綠線的預測還依然默認車輛要保持車道行駛。當然，當車輛拐彎之后，預測模型就知道要怎么走。
而上面這個視頻是百度今年在CES Asia上提供給用戶試乘的自動駕駛實車。已經將訓練后的End-to-end系統搭載上去，經過了海量的數據的訓練。
為了進行功能展示，車輛只用了一個單目攝像頭，在這樣的場地中可以實現自動駕駛。這里比較關鍵的點在于，我們故意設計了兩個比較急的彎，在速度上也可以做到更為人性化，急彎處會減速。
視頻后半段，工作人員將轉向的交通標志推進了場內，車輛可以識別出這個交通標志，然后進行左拐。這個循跡系統其實有很大差別，因為該系統可以識別交通標志。
如上文所述，end-to-end系統的關鍵在于很缺數據，現在的研究數據來源主要有兩方面，一方面是真實數據（一些機構的開源），一方面是模擬器的數據（模擬器軟件）。
可以對比一下二者的一些特性：
在今年的CVPR上，蘋果的獲獎論文便提出了simGAN的概念，就是要將模擬器中的場景渲染得和真實場景極其接近，如果這些數據可以應用于自動駕駛實車上，將會是很大的突破。但是現階段仍然要打一個問號。
真實數據從哪里來？百度已經和長安、江淮等車廠合作，共同推出地圖采集車。
這些車輛不只是采集地圖信息，還會采集環(huán)境信息以及駕駛行為，這些數據會用于后臺做訓練。目前已經有數百輛這樣的車在全國各地行駛。
再來說一下具體的數據，目前，我們開源出來的數據的基本結構是這樣的：
上圖中的圖片是百度的地圖采集車前向的攝像頭采集到的圖片，第一期會開源10000公里的數據（是已采集數據中的一小部分），在全世界范圍內也是絕無僅有的。
當然，我們原始采集到的數據是軌跡、坐標的信息，是參差、有一些擾動的，我們會經過地圖的制作流程和工藝將其處理得更為平滑、逼真。
有了這些高精度的軌跡之后，就可以做很多工作，比如汽車動力學方面的執(zhí)行：
其中，百度阿波羅計劃開源的10000公里數據大概是這樣的一個組成關系：
其中Ctx指的是道路的曲率，為什么會有這么多組曲率數據，主要還是因為數據的延遲，車輛行駛過程中需要進行一定的預測，而系統無法做到百分之百的實時。
要特別提醒的是，各位在拿到開源數據的時候，也要做相應的處理。
NVIDIA在2016年就給出了一個基本的橫向的控制模型，一個比較典型的CNN網絡。除了和CNN的一些基本優(yōu)化套路一樣，這個模型還會有一些問題：
而在縱向模型上，百度去年使用的是Convolutional-LSTM的視頻分析方法。
今年，百度采用的是橫向和縱向模型結合的方式，主要是LRCN的架構，就是CNN+RNN的整合。CNN去提取每一幀的特征，然后用LSTM擬合出其在時序上的行為。
其實走到現在，end-to-end系統還有很多可供討論的開放性問題，需要去優(yōu)化，需要從業(yè)者聯手去解決。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
