0
| 本文作者： 宗仁 | 2016-11-16 18:34 |
昨天，雷鋒網(wǎng)撰文《爆料：曹旭東創(chuàng)立自動駕駛公司Momenta 首次公開項目細節(jié)》，正式公布曹旭東及其創(chuàng)業(yè)項目Momenta，此項目致力于打造自動駕駛大腦，核心技術(shù)是基于深度學習的環(huán)境感知、高精度地圖、駕駛決策算法。產(chǎn)品包括不同級別的自動駕駛方案，以及衍生出的大數(shù)據(jù)服務。文章發(fā)布后，很多讀者對于這個攜帶深度學習再一次襲來的自動駕駛公司涌現(xiàn)了很多疑問，曹旭東特此從技術(shù)角度詳細回答了關(guān)于Momenta的8個質(zhì)疑，全文如下。
曹旭東：個體和環(huán)境的交互能激發(fā)智能。我選擇人工智能及其具體子方向，是基于兩個基本的原則：
生產(chǎn)力和自由。正如工業(yè)革命將人從繁重危險的體力勞動中解放出來，人工智 能的革命能將人從枯燥重復的腦力勞動中解放出來。另一方面，人工智能讓我們有更多的時間精力 ，去學習、去想象、去創(chuàng)造，實現(xiàn)更自由之精神。更自由，是Momenta合伙人孫環(huán)從人文視角提出的 見解。生產(chǎn)力發(fā)展是物理世界的趨勢，追求自由則是精神世界的趨勢，雖然出發(fā)點不同、視角不同 ，然而兩者殊途同歸。
大數(shù)據(jù)和智能。人工智能先驅(qū)西蒙有一個深刻的觀點：智能是個體和環(huán)境之間互動的 總和。舉個例子，一種浮游生物，前半生在環(huán)境復雜的海域中游蕩，為了應對惡劣的生存環(huán)境，它有大腦，有智力；后半生則附著在礁石，因為環(huán)境簡單穩(wěn)定，所以它的大腦消失了，沒有智力。這 個例子生動地說明了個體和環(huán)境的交互能激發(fā)智能。大數(shù)據(jù)，就是人類理解智能、實現(xiàn)智能的基礎 。
我相信未來世界的生產(chǎn)力和自由，將來自大數(shù)據(jù)和智能，這是我選擇無人駕駛方向的原因。從去年年初，我開始思考無人駕駛的技術(shù)路徑和商業(yè)路徑，雖然現(xiàn)在的理解已經(jīng)比一年多前成熟很多 ，但仍有一些地方?jīng)]想明白。人在看不清前路的時候，很容易因為困難而放棄。對于基本原則的信 念，就像是數(shù)學上證明了解的存在性，即使發(fā)現(xiàn)此路不通，也能保持樂觀，不停探索，直至實現(xiàn)目標。
任少卿：讓機器感受世界。我之所以創(chuàng)業(yè)，有三個原因。
第一個原因是我的夢想——一直以來，我想讓機器感受世界。我畢業(yè)于中國科技大學 與微軟亞洲研究院聯(lián)合培養(yǎng)博士班，一直從事科研工作，現(xiàn)在正在通過人工視覺實現(xiàn)自己的目標。 在實現(xiàn)目標的過程中，神經(jīng)網(wǎng)絡的發(fā)展明顯成為了我們的瓶頸，對我們形成了不小的挑戰(zhàn)。但是我 相信探索的過程也正是求知的過程，求知，是給自己的生命增加濃度。求知欲驅(qū)動我做出人生的每 一個大小決定。
第二個原因是無人駕駛是一個朝陽行業(yè)。深度學習的無人駕駛技術(shù)本身是一個較為年 輕的領域，更新?lián)Q代的速度非?？?。青年人強大的學習能力，是我們進入該領域的得天獨厚的優(yōu)勢 。中國擁有廣闊的市場，為行業(yè)未來的發(fā)展前景提供了強大的保障。
第三個原因是我想創(chuàng)業(yè)——我深知這是自己一生中必然要經(jīng)歷的事情。既然遲早要發(fā)生，那不如放手一搏、把握當下，趁著年輕趕緊行動。Momenta這個朝氣蓬勃的團隊，最大的特點是言行合一，具有極高的創(chuàng)造力和行動力，相互之間的溝通非常順暢。我喜歡在這樣的一個團體里簡 單而執(zhí)著地做好每一件事。在初創(chuàng)公司創(chuàng)業(yè)和在大公司工作，其工作環(huán)境、工作體驗以及可能遇到 的問題都不一樣。我認為兩者最大的差異，是創(chuàng)業(yè)過程中我們會面對各種全新的、前所未知的東西 ，而我熱愛這份披荊斬棘、乘風破浪的前進感。
曹旭東： 現(xiàn)階段來說，最大的優(yōu)勢是深度學習算法能力。長期來看，團隊最大的優(yōu)勢是一群有夢想的年輕人。他們有活力，善學習，能創(chuàng)新，有沖勁，帶動公司一起快速成長。
我們的深度學習能力，可分為逐層遞進的三個層面，分別是單點能力、方案能力和平臺能力。
單點能力指基礎算法能力，如檢測、識別、分割等基礎任務。我們團隊有世界領先水平的創(chuàng)新力和競爭力。創(chuàng)新力方面，任少卿是Faster-RCNN的第一作者和ResNet的第三作者，這兩個方法是現(xiàn)在學術(shù)界主流的物體檢測和圖像識別算法。競爭力方面，孫剛團隊分別獲得ImageNet場景識別2015年冠軍和2016年亞軍，任少卿2015年獲得ImageNet，MS COCO Challenge多項冠軍，曹旭東獲得美國National Data Science Bowl亞軍。這些比賽含金量很高，有明確關(guān)門時間，有強勁的對 手，如Google，F(xiàn)acebook，Oxford等世界強隊。
方案能力是指定義問題并形成解決方案的能力。在學術(shù)界，九成以上的研究中，數(shù)據(jù)集和測試標準都是給定的，學者們主要研究單點算法。然而，工業(yè)界的問題卻是開放的，我們需要考慮不同定義問題的方式，考慮如何多快好省的生產(chǎn)數(shù)據(jù)，考慮不同測試標準的優(yōu)劣，需要探索多種技術(shù)路徑，定位技術(shù)路徑中的關(guān)鍵節(jié)點并進行重點突破。創(chuàng)業(yè)中，擁有全面的視野很重要。純學術(shù)背景的人經(jīng)常一開始就鉆進一個單點算法，但是數(shù)據(jù)集本身可能是臟的，評測指標和目標不一致 ，導致技術(shù)路徑出現(xiàn)錯誤，最后做了無用功。我們團隊不僅有出色的研究背景，更有多年工業(yè)界的實戰(zhàn)經(jīng)驗，善于進行問題導向的創(chuàng)新研究，能夠有效地解決實際問題。
平臺能力是指搭建共享平臺、提高整體效率的能力。（1）數(shù)據(jù)平臺。如何多快好省地 生產(chǎn)數(shù)據(jù)是我們最重要的研究課題之一，我們通過非監(jiān)督、算法輔助、渲染生成等方式生產(chǎn)大量標注數(shù)據(jù)。除此之外，團隊正在構(gòu)建的標注平臺可以把標注成本降低到市面價格的1/3~1/4。（2）訓練平臺?，F(xiàn)在數(shù)百塊GPU組成的訓練平臺支持我們的算法實驗，實現(xiàn)快速迭代，充分發(fā)揮每一個研究員的創(chuàng)新能力，能做到“不讓想法等機器”。（3）模型平臺?，F(xiàn)在論文常常使用 ResNet/GoogleNet/VGGNet，給人一種錯覺，深度學習模型只有這么幾種。實戰(zhàn)中，通過巧妙設計模 型結(jié)構(gòu)、訓練過程、學習目標等，我們可以將模型提速10~100倍，模型壓縮100倍，精度幾乎不受損 失。這是我們在產(chǎn)品方面重要的競爭力之一。
以上三個層面的概括了我們深度學習能力。
無人駕駛，最重要的是安全。高安全性意味著低事故率。一個系統(tǒng)做到很低的事故率，通常要做兩件事情，一個是發(fā)現(xiàn)問題，一個是解決問題。在剛開始的時候，由于系統(tǒng)的問題非常多，主要的精力在解決問題，但是隨著事故率逐漸降低，發(fā)現(xiàn)問題變得越來越難。據(jù)統(tǒng)計，全球來看，對于人類司機，一億公里發(fā)生致命事故一至三起。對于無人駕駛，我們希望比人更安全，最好致命事故率低一個量級，做到十億公里一起致命性事故。統(tǒng)計上，要達到足夠置信度，需要多次重復實驗， 最好一百次以上。這意味著一套比人更加安全的無人駕駛的系統(tǒng)需要測試的總里程達到1000億公里 。按照一輛車一年10萬公里總里程計算。我們需要100萬輛車，一整年的時間，收集無人駕駛數(shù)據(jù)和 測試，才能夠保證無人駕駛所需要的安全性?，F(xiàn)在Google和百度的無人車成本都在百萬人民幣量級 ，乘以100萬輛車這個巨大的基數(shù)，對于任何一家公司而言，都是一個天文數(shù)字。
最近新聞上看到了很多無人車試運營的報道，比如，Uber和nuTonumy分別在美國和新加坡開展 了無人出租的試運營。個人認為這是市場營銷上一個討巧的說法，讓人誤以為這些公司已經(jīng)開始商業(yè)落地，在技術(shù)和應用上都快人一步。但本質(zhì)上，大家做的都是無人車路測。谷歌現(xiàn)在有幾十輛車左右在美國的多個城市同時進行路測。相比于谷歌，其他各家公司的無人車路測數(shù)量和總里程更少 。
總的來說，無論是十輛車試運行還是一百輛車試運行，都是在做無人車的demo ，如果沒有解決無人車大規(guī)模數(shù)據(jù)收集和測試的關(guān)鍵問題，demo到商業(yè)化落地之間的巨大鴻溝就會 一直存在。以谷歌為例，谷歌在2009年就已經(jīng)開始了高速路測，在2012年的時候已經(jīng)開始了城市道路測試，積累的總里程最近超過了500萬公里，且沒有發(fā)生一起致命事故。這已經(jīng)是非常了不起的成 就了。但是谷歌的路測實驗并不能說明總里程達到一億公里的時候不會發(fā)生致命事故，不能說明現(xiàn)在谷歌的無人駕駛技術(shù)的安全性已經(jīng)超過了人類駕駛。可能當谷歌的無人車的數(shù)量從100輛車擴展到10萬輛車，增加了1000倍的時候，一年就會發(fā)生幾十起甚至幾百起致命事故。這些交通事故將會對谷歌無人車業(yè)務造成致命性的打擊。這正是谷歌無人車從09年開始持續(xù)進行多年科技研發(fā)，投入了大量成本，卻遲遲沒有商業(yè)化的關(guān)鍵原因。
我們回到剛才的分析，無人車大規(guī)模數(shù)據(jù)收集和測試的巨大成本主要來源于兩方面。一方面是需要海量的測試車輛，另一方面是高昂的單車成本。針對這兩方面的成本，我們有兩種互補的解決方案——第一種解決方案是無人駕駛模擬；第二種解決方案是眾包數(shù)據(jù)收集和測試。
無人駕駛模擬可以通過算法生成感知和決策數(shù)據(jù)，減少數(shù)據(jù)收集和測試車輛數(shù)量，降低研發(fā)成本。當然，無人駕駛模擬也存在不足。第一，模擬生成的感知數(shù)據(jù)和真實的數(shù)據(jù)存在差異，實際中 ，還是以真實數(shù)據(jù)為主，生成數(shù)據(jù)為輔。第二，模擬的規(guī)則是人制定的。很多失敗的場景恰恰是人思考的盲點，單純通過模擬并不能發(fā)現(xiàn)?？偨Y(jié)來說，雖然模擬可以降低數(shù)據(jù)收集和測試車輛的數(shù)量 ，但是我們?nèi)匀恍枰占鎸崝?shù)據(jù)，用大量的車做真實測試。
單車成本主要由三部分構(gòu)成：設備成本，造車成本，運營成本。運營成本就是駕駛員開著車采數(shù)據(jù)和做測試的成本。 設備成本方面，我們可以發(fā)揮算法優(yōu)勢，通過多攝像頭等廉價設備實現(xiàn)無人駕駛。攝像頭是所有感知設備中信息量最大的，需要人腦水平的強人工智能，才能從間接視頻數(shù)據(jù)中提取出無人駕駛所需 要的直接數(shù)據(jù)。激光雷達、高精GPS和IMU長期看都有降價空間，我們的技術(shù)方案不排除任何感知設 備，價格合理，就會融合進來。
造車成本和運營成本已經(jīng)優(yōu)化了上百年，很難降低。一個聰明的想法是讓其他人承擔這部分成本——這個想法叫做眾包，代表性的公司有特斯拉和Mobileye。然而，遺憾的是，他們的眾包方案存在兩個問題：一，需要造車。特斯拉自己造車，Mobileye則通過合作伙伴造車。二，需要讀取和控制車輛駕駛行為。造車周期三到五年，顯著慢于算法研發(fā)節(jié)奏，成為時間瓶頸。如果為了加快迭代，在算法沒成熟的情況下強行上車，是拿人的生命做冒險，也顯然不可取。特斯拉的幾起致命事故就是血的教訓。因此，我們設想直接利用現(xiàn)有道路上已有的運營車輛，不需要造車、改車、控制 車，以一種零負擔、零危險的方式實現(xiàn)眾包測試和數(shù)據(jù)收集，這是個非常困難的問題，需要非常深厚的算法積淀和原創(chuàng)能力。
高精地圖是一個寬泛的概念，需要達到兩方面的高精度。
高精度一方面體現(xiàn)在地標位置的高精度。高精地圖由很多類地標構(gòu)成，比如地面各種道路標線 ，地上各種交通標志等，地標的定義現(xiàn)在還沒有明確的標準，不同廠商從自己產(chǎn)品和技術(shù)需求出發(fā) ，有不同的定義方式。
高精度另一方面體現(xiàn)在本車定位的高精度。高精定位有三種方式：第一種是衛(wèi)星定位。多基站+ 差分GPS在開闊區(qū)域可以做到厘米級精度，但是城市中因為多路徑效應，精度只有米；第二種是匹配 定位，這種方式和人很像，觀察周圍環(huán)境或者地標，在記憶地圖中搜索，匹配定位。結(jié)合GPS限定搜 索范圍，可以做到快速準確匹配。第三種是積分定位。IMU或者視覺里程計。短時間內(nèi)精確，長時間 有累積誤差。這三種方式各有優(yōu)缺點，結(jié)合起來可以做到低成本、高精度、高可靠性。
高精度地圖是視覺的延伸和增強，之于無人駕駛是必須的。舉個例子，多車道彎道行車時，因 為路旁障礙物的遮擋，車載傳感器感知不到拐彎之后的道路情況，導致拐彎之后的某一車道上發(fā)生 車禍。一旦有了高精地圖的車道級定位和實時路況更新，就能提前減速并變換到到非車禍車道，杜 絕事故的發(fā)生 。 再舉一個例子：通過視覺，我們可以識別當前在第幾車道，通過高精度地圖定位 ，我們也可以知道當前在第幾車道，兩種不同方式互相校驗，可以達到更高的安全性?？偨Y(jié)來說， 高精地圖可以使無人車看得更遠，看得更準。
高精地圖對于自動駕駛整體解決方 案研發(fā)的價值非常高，這一點卻被很多人忽視。分三個方面：決策，測試，V2E。
第一方面，無人駕駛決策。本質(zhì)上，駕駛決策學習的是道路環(huán)境到駕駛行為的映射， 也就是這種情況應該怎么開，那種情況應該怎么開。如果獲得環(huán)境和行為的海量數(shù)據(jù)，就可以通過 數(shù)據(jù)驅(qū)動的方式學習無人駕駛決策。道路環(huán)境可以通過視覺感知獲得，而司機的駕駛行為如何獲得 ？很多人認為，司機的駕駛行為就是剎車油門方向盤，想要獲得，一定要有CAN總線權(quán)限，要改車。 其實不需要。首先，更新一個概念，司機的駕駛行為還可以用車輛在高精地圖中的軌跡表示。通過 精確定位，我們可以獲得每輛車的駕駛軌跡，以及軌跡上每一點的速度，加速度。駕駛軌跡是駕駛 行為更通用的表示，與車型無關(guān)。剎車油門方向盤，雖然直觀，但不通用。人類司機，換輛車，要 調(diào)整駕駛習慣，重新適應，是同一道理。依賴高精地圖，我們可以獲得駕駛軌跡這一駕駛行為數(shù)據(jù) 。通過眾包，就可以獲得海量環(huán)境和行為數(shù)據(jù)，通過數(shù)據(jù)驅(qū)動的方式學習無人駕駛決策。
第二方面，無人駕駛測試。測試，找出問題，非常重要，也極具挑戰(zhàn)。當無人駕駛算 法接近人類駕駛的安全性時，需要一千輛車測試一年的時間才有可能發(fā)現(xiàn)問題。如果團隊像Google 和百度一樣靠自己運營測試車輛，顯然是不現(xiàn)實的。眾包是唯一實現(xiàn)海量測試的方法，但是我們不 希望像特斯拉一樣，以消費者的生命為代價，測試自己未成熟的算法方案。通過高精度地圖，我們 不控制車、不帶來危險，就可以實現(xiàn)眾包測試。具體原理是，我們可以預測駕駛軌跡，也記錄了真 實駕駛軌跡。預測軌跡和真實軌跡比對，如果一致，說明測試通過，如果不一致，說明測試失敗。 找到問題，就可以有的放矢，高效解決問題。我們的方法是為無人車大腦測試設計的。無人駕駛整 體測試還包括無人車身體測試，以及身體和大腦結(jié)合的測試，也就是車輛測試和軌跡跟蹤測試。相 比于無人車大腦，這兩部分成熟很多。
第三方面，V2E。V2E是指通過車輛和道路通信實現(xiàn)無人駕駛。概念上，V2E可以大大降 低無人駕駛的難度，提高安全性。非常有意思的是，這個概念在特定場景早已商業(yè)化，例如亞馬遜 的倉儲機器人Kiva。倉庫地下鋪設有通信導軌，每個搬運機器人實時和導軌通信，確定自己當前的 位置，接受中心計算機的調(diào)度。中心計算機知道所有機器人的當前狀態(tài)，根據(jù)取貨需求，整體規(guī)劃 調(diào)度每個機器人取貨送貨。但是將V2E的概念真正落地到無人駕駛卻困難重重，其中主要有三方面的 問題。第一，道路通信設備要解決供電、應對風吹日曬雨淋等技術(shù)可靠性問題，還要承擔基礎設施 重建和復雜維護的高昂成本。二，環(huán)境和車輛通信，需要統(tǒng)一的通信標準。誰來制定標準？眾多車 企都以自己的利益為考慮，很難協(xié)調(diào)。三，通信安全的問題。如果黑客或者恐怖分子利用通信協(xié)議 漏洞，惡意操縱路面上的車輛，制造恐怖事件，又應如何應對？這些問題都限制了V2E從概念短期內(nèi) 走向現(xiàn)實。相對于電子通信的V2E，我們提出“漸進式的V2E”。無人駕駛的很多問題是因為道路標 線、標牌不足或者布置不合理造成的，通過高精地圖和基于高精地圖的測試，我們可以自動發(fā)現(xiàn)哪 些路段標線和標識需要改進，并且給出改進的具體實施方案。漸進式V2E不需要電子通信設備，沒有 通信標準和安全問題。在現(xiàn)有道路標線、標牌體系下，就可以大幅改善無人駕駛的可靠性和安全性 。
不是SLAM也不是SFM，這些方法都不適用。要建真正可用的視覺高精地圖，需要從第一原理出發(fā) 重新設計整個算法。我們構(gòu)建高精地圖的第一原理是：多張圖像存在視差，利用點的對應關(guān)系，可 以從2D點恢復出3D點。人眼雙目視覺獲得深度也是這一原理。從基本原理出發(fā)，建立高精地圖，需 要創(chuàng)造性地解決三方面的問題：
圖像部分。檢測識別語義點。傳統(tǒng)的SLAM或者SFM算法都基于SIFT、ORB等人工設計的 特征點。在光照、視角發(fā)生變化的情況下，無法準確的檢測匹配原有特征點。換句話說，光照視角 發(fā)生變化后，原來構(gòu)建的地圖就無法使用了。我們的方法是定義道路標線、標牌等地標上的點作為 語義點，通過深度學習和數(shù)據(jù)驅(qū)動的監(jiān)督訓練得到模型，可以準確檢測和識別語義點，解決檢測不 到、匹配錯誤的問題。
幾何部分。通過眾包間接實現(xiàn)海量攝像頭測量效果。不同車輛，不同時間，經(jīng)過同一 地標，即使光照視角不同，我們也可以通過語義點模型把所有車輛拍攝到的同一語義點關(guān)聯(lián)起來， 這相當于間接實現(xiàn)了多攝像頭測距的效果。我們知道，視覺測量中，攝像頭越多、視差覆蓋越全， 測量精度就越高。我們實驗驗證，隨著眾包車次的增加，真實3D點位置估計的準確性有量級上的提 升。
GPS部分。給每個語義點精確的GPS坐標。我們有幾方面的考慮：(1)讓高精地圖通用。 GPS坐標是地圖的通用語言，給每個語義點賦予GPS坐標，便于他人使用；(2)消除累積誤差。單純使 用幾何方法構(gòu)建局部地圖，會有累積誤差。結(jié)合GPS，可以解決這個問題；(3)消除局部地圖歧義性 。當局部地圖有重合或者語義點缺失的時候，確定局部地圖坐標系很麻煩，但全局GPS坐標系沒有這 個問題。
端到端是深度學習中的一個概念，具體指通過深度學 習網(wǎng)絡直接學習從輸入到輸出的映射關(guān)系。無人駕駛端到端學習指的是輸入視頻序列、輸出剎車油 門方向盤的操作序列。英偉達和comma.ai都使用端到端深度學習，開發(fā)出了無人駕駛的demo系統(tǒng)。
簡單來說，對于無人駕駛，端到端不適合開發(fā)實用無人駕駛系統(tǒng)，可以做demo，然而大規(guī)模商 用卻非常困難，其原因如下：
不聰明。我們在做駕駛決策時，只關(guān)心高精地圖環(huán)境、自己當前位置和周圍物體的相 對位置，并不關(guān)心車的顏色或者路邊的樹葉是綠的還是黃的。端到端學習沒有這些先驗知識，所以 需要大量冗余數(shù)據(jù)和計算。如果把整個無人駕駛拆解成感知、地圖、決策三部分，分別獨立學習再 融合，可以大大降低需要的數(shù)據(jù)和計算。
不靈活。端到端學習的是攝像頭輸入到剎車油門方向盤輸出的直接映射。如果攝像頭 設置變化或者增加其他感知設備，就需要重新收集數(shù)據(jù)學習。如果換輛車，執(zhí)行機構(gòu)變化，也需要 重新收集數(shù)據(jù)學習。如果拆解成感知、地圖和決策三部分，就可以大大提高靈活性。比如模擬極端 情況，我們只需要在高精地圖圖層中生成車輛3D框，不需要重新渲染真實道路環(huán)境和車輛視頻，簡 單很多。
難理解。無人駕駛是一個系統(tǒng)工程。遇到問題時，深入系統(tǒng)，診斷出問題模塊，有針 對性的改進，是解決問題的行之有效的手段。但是，對于整體端到端學習，一旦出現(xiàn)問題，因為無 法對癥下藥，解決問題的難度會增大，需要投入更多的資源和時間。
我并不是完全否定端到端學習，而是無人駕駛端到端學習目前存在以上問題，或許在將來可以 得到解決?？简炓粋€算法團隊解決實際問題能力的一個重要的 方面就是拆解問題——把一個復雜問題拆解成一系列比較簡單的問題，再通過端到端深度學習解決 。通常來說，在檢測、識別、分割等簡單基礎的任務上，端到端學習可以獲得更好的效果。復雜問 題的拆解是一門藝術(shù)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
