雷鋒網按：本文內容來自智行者科技 CEO 張德兆在硬創(chuàng)公開課的分享，由雷鋒網旗下欄目“新智駕（微信號：AI-Drive）”整理。

張德兆，清華大學汽車工程系學士、博士。曾任北京智華馭新汽車電子技術開發(fā)有限公司（簡稱「智華」）CTO，總經理，負責前裝車道偏離預警系統(tǒng)和前裝 360 度全景系統(tǒng)研發(fā)、AEB、ACC、LKS 樣車開發(fā)等多項高難度研發(fā)工作。2015 年，創(chuàng)辦北京智行者科技有限公司（簡稱「智行者」），并擔任 CEO。

智行者的定位是自動駕駛智能車方案系統(tǒng)提供商，主要聚焦中央決策系統(tǒng)的開發(fā)以及系統(tǒng)集成。

以下內容是張德兆在雷鋒網硬創(chuàng)公開課上的分享：

我今天介紹的主題是「自動駕駛智能車控制決策系統(tǒng)開發(fā)」。我會從 4 個方面去闡述，包括：

• 概述；

• 多傳感器信息融合；

• 決策規(guī)劃；

• 車輛控制決策算法。

概述

先談談我對智能車商業(yè)化路徑的一個大概思考。

汽車的第一屬性是交通和運輸工具，但在無人駕駛時代，特別是在物聯網時代，汽車將會具備第二個屬性：終端和管道。這有可能才是智能車最大的商業(yè)變現點。但第二屬性需要智能車大量普及之后才能顯現。

現階段智能車可以在一些限定應用場景下實現快速市場化，例如最后一公里的出行、固定路線的作業(yè)車、物流配送等等。

智能車涉及的產業(yè)鏈非常長，先不說后續(xù)的運營和服務，光是智能車開發(fā)本身就涉及環(huán)境感知、中央決策、底層執(zhí)行等多個模塊，每一個模塊拎出來都可以造就一批偉大的公司。

智行者主要聚焦在中央決策系統(tǒng)的開發(fā)以及智能車整個大系統(tǒng)的集成，主要包括三部分工作：多傳感器信息融合；決策規(guī)劃；車輛控制。

如何做多傳感器信息融合

智行者對各個傳感器本身不進行研發(fā)生產，而是找合作方合作供應。但是，現在做雷達的公司只做雷達、做攝像頭的公司只做攝像頭。對于自動駕駛應用來說，沒有一種傳感器是完美的，所以我們要做融合，取長補短。

我們的多傳感器融合主要包含三個功能模塊：采集及預處理，坐標轉換、信息融合。

在采集及預處理模塊中，我們在 ROS 系統(tǒng)中各個傳感器以單獨的節(jié)點進行，然后進行信號解析、信號處理、信號篩選、誤差補償等工作。

坐標轉換實際上就是將多傳感器統(tǒng)一到一個坐標系下，這是靠標定相關數據后能在軟件中瞬間實現的。

最難的部分在信息融合模塊。我們將其分為 4 個步驟：數據關聯、時間同步、數據融合、目標生命周期管理。

• 因為每個傳感器誤差特性不一樣，同一個目標對應不同傳感器得到的位置信息可能不一樣，所以我們需要先進行數據關聯。這一步驟的難點在于需要對不同傳感器的誤差特性均有充分的了解。

• 每個傳感器信息發(fā)送周期不一樣，即使按其標稱周期進行同步，也會存在固定時漂和隨機時漂的問題，所以時間同步這一步驟的關鍵點在于：了解各傳感器的信號周期和時漂。

• 數據融合步驟可以使用的方法有很多，例如卡爾曼濾波。但實際上，因為每個傳感器各自建模的難度較大，我們直接采用粒子濾波的方法，可以不依賴于建模。

• 目標生命周期管理主要用于在有噪聲干擾的情況下保證各幀數據的連貫性。

以下是智行者多傳感器信息融合處理后的一個視頻：

獲取環(huán)境數據并確定「我在哪」之后，智能車需要做決策規(guī)劃。

決策規(guī)劃

決策規(guī)劃實際包含三部分：定位、決策、路徑規(guī)劃。定位即我在哪；決策即我該怎么辦，跟著走還是繞過去；路徑規(guī)劃即我是從左繞還是從右繞。

實際上，我們是把決策和路徑規(guī)劃放在一個模塊里一起做了。我們用基于傳統(tǒng)規(guī)則的方法、基于安全場的深度學習方法實現決策規(guī)劃功能。

基于傳統(tǒng)規(guī)則的方法大家都比較熟悉，其主要是以某一個或某一些固定的變量作為條件切換的判斷依據，例如跟車的時候，規(guī)定和前車的相對速度或距離小于某一值就不跟了，馬上換道。

但實際上人駕駛時一般不會這么干，所以完全基于規(guī)則的方法無法讓智能車適應人的特性，無法讓智能車「正?！沟娜谌胝麄€交通流。

現在深度學習方法可以比較好的解決這個問題，可以讓智能車跟人學習，實現智能車的擬人化控制。但是深度學習有一個過程，并且他決策出來的路徑會有一個偏差和概率的分布，不能完全避免碰撞和駛出馬路等事故的發(fā)生，所以我們還得結合傳統(tǒng)規(guī)則的方法來做：用 rule-based 保障安全，用深度學習實現擬人化決策。

對深度學習方法的應用

作為深度學習的應用公司，我們對深度學習算法本身不做太多研究（深度學習的平臺公司會去做開發(fā)，我們只做應用），僅把他當做一個工具來使用。我們主要做的事情是針對智能車的應用，為道路數據和駕駛數據選取一個比較合理的表達方式。

實際道路中影響駕駛的因素非常多，如果對所有因素都單獨描述作為深度學習神經網絡的輸入，幾乎是無窮無盡的，所以我們將這所有的因素都統(tǒng)一描述成「安全場」，即：只關注車輛對行駛的危險程度。

安全場理論實際多年前由日本學者提出，用于 ADAS 系統(tǒng)。例如：車道保持，就把車道線描述成如下圖所示的場，車輛要跨出去必須克服一定的「能量」。前向防追尾也是一樣的道理。

針對自動駕駛建立安全場的過程

安全場的原理在于： 在駕駛過程中，任何干擾因素（車輛、行人、道路、交通標志甚至天氣）都將直接或間接的影響駕駛動作。如果這些因素以某種能量進行描述的話，那么理想駕駛狀態(tài)應遵循這些能量的某種平衡。主要包含三個關鍵點：安全場模型、能量平衡狀態(tài)模型和工程化實現。

安全場模型我們主要考慮三個分類：

• 運動要素，即行走的車、行人等；

• 靜態(tài)要素：車道線、紅綠燈、天氣等；

• 駕駛因素：主要體現目標物體縱橫向加速度的變化，例如不斷加減速的車輛可能相對會危險一些。

按照上述描述，我們將安全場進行分層，并在實時行駛中提取感興趣層。對障礙物安全場大小的定義過程中，會考慮速度、方向、行為、類別等因素。

除了障礙物之外，其他安全場包括智能車本身、道路（包含曲率和天氣等因素）、交通燈等。

在定義了各交通參與因素安全場基礎上，通過深度學習的訓練看駕駛員在這個場中的反應從而獲取平衡指標。

舉個例子，這樣一個場景，我們將其描述的安全場如下：

通過駕駛員在該場景中的駕駛操作，我們可以得到一組訓練集，輸入神經網絡單元中進行訓練，我們可以輸出一個決策規(guī)劃后的結果。得到一個預期的軌跡之后，我們需要控制車輛的轉向和剎車、驅動實現對軌跡的跟蹤。

車輛的控制算法

我們原來做 ADAS 時，控制是根據各個狀態(tài)做來回切換的，存在切換過程平順性較差等問題?，F在我們采用跟決策規(guī)劃中的安全場一脈相承的方法，把道路中的真實目標和非真實目標都描述成虛擬質點。

其中，真實目標主要是車、行人這些因素；非真實目標包括限速、紅燈、停車點、道路曲率、天氣等等?；谔摂M質點模型的方法可以使算法模型統(tǒng)一，有效避免了傳統(tǒng)控制算法中因目標或控制模式切換產生的車輛加減速度跳變問題。

原來的車輛控制算法，跟車過程和定速巡航過程因為控制狀態(tài)的改變會存在一個加速度的跳變，影響舒適性。而我們現在采用虛擬質點方法之后，前車加速遠離時，我們自然會過渡到一個由限速引起的虛擬質點。

車輛動力學控制的問題

實際上，在自動駕駛處于低速狀態(tài)時，車輛動力學控制的問題不太明顯。但在高速條件下，一定要考慮。車輛動力學問題本質是輪胎和地面的附著問題。

*車輛動力學控制框圖

由于輪胎和地面摩擦圓的約束，在車輪的縱向力發(fā)生變化時，其側向力也要隨之改變。即智能車的縱向安全性能 （車速控制）和橫向軌跡跟蹤性能 （轉向控制）相互制約：

• 過于追求縱向跟蹤性，大縱向加減速度導致橫向對軌跡的跟蹤性能差，甚至引起橫向失穩(wěn)；

• 過于追求橫向穩(wěn)定性裕量，縱向加減速能力受制約，就可能會發(fā)生縱向追尾等事故。

所以在上層控制器中就得對車輛的轉向和剎車、驅動控制進行協(xié)調和補償。

精彩問答

問題 1：現在決策控制做的較多的是針對高速公路場景，該場景相對城市道路較為簡單，一般用攝像頭檢測的車道線和激光雷達/雷達等檢測的障礙物作為軌跡規(guī)劃系統(tǒng)的輸入，比如特斯拉 Mobileye 系統(tǒng)，然而在 urban 這種 unstructured environment 下如何做規(guī)劃，能量場的模型該怎么應用進來，它的輸入輸出各是什么？

張德兆：現在做的較多的確實是高速道路，但現在深度學習方法確實能夠比較好的幫我們解決城市道路的問題，只要城市道路工況的訓練數據足夠多。

現在實際上我們做園區(qū)內道路的決策規(guī)劃難度一點不亞于城市道路，因為園區(qū)內路小人多，可行駛的空間有限，一定程度上比大馬路要難，只不過園區(qū)內車速很低，可有更多反應和調整的時間而已。

問題 2：如何訓練安全場？安全場相比于其他模型有什么優(yōu)點？

張德兆：安全場的訓練方法和其他是一樣的，只不過描述訓練數據的方法不一樣而已。其他方法可能車、道路、天氣這些所有因素都要單獨去描述，并各自作為神經網絡的輸入，而安全場把這所有因素抽象化了，不管物體本身的物理特征是什么，就描述他對行駛的危險程度。

問題 3：圖像是透視投影的，點云數據是真實環(huán)境的數據體現。在用圖像和點云進行融合的時候，如何解決透視投影與真實環(huán)境的差別？

張德兆：智行者做激光雷達的點云處理，但不做圖像處理，我們只拿做圖像模塊的合作方輸出障礙物、車道線等信息與激光雷達、毫米波雷達進行融合。

問題 4：智行者的解決方案，從環(huán)境數據采集，分析，處理融合，決策，到控制車，這個過程下來，時延是多少？用到的處理器的性能又是如何？智行者做控制決策訓練的數據量有多少？rule-based 與 learning-based 是怎么結合的？

張德兆：我們低速車是量產方案，用 ARM+MCU 的架構實現；高速車還是用工控機在做；我們的控制周期是 100ms。我們現在有超過 1000 個樣本 (不同的駕駛員）超過 100 萬公里的訓練數據。rule-based 與 learning-based 會有個狀態(tài)機做結合，且在可能發(fā)生危險的工況下 rule-based 的優(yōu)先權大于 DL。

雷鋒網注：本次分享內容 PDF 請于微信公眾號“新智駕”（AI-Drive）后臺回復關鍵詞“智行者”獲取下載鏈接。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。