雷鋒網(wǎng)按：本文為美國賓夕法尼亞大學(xué)工程院院長Vijay Kumar在CCF-GAIR大會上做的題為“Challenges in Autonomy”的分享，雷鋒網(wǎng)進(jìn)行了全文整理。全文分為上下兩部分，以下是第一部分。

傳送門：時隔一年 Vijay Kumar 再登 GAIR 講臺，講述自動化的技術(shù)與社會挑戰(zhàn)（下）

2017年7月7日至9日，全球人工智能與機(jī)器人峰會CCF-GAIR大會在深圳成功舉辦。本次由CCF中國計(jì)算機(jī)學(xué)會主辦、雷鋒網(wǎng)與香港中文大學(xué)（深圳）承辦。來自全球30多位頂級院士、近300家AI明星AI企業(yè)，齊聚智能科技產(chǎn)業(yè)盛會。

Vijay Kumar在無人機(jī)領(lǐng)域被稱為“無人機(jī)大神”。他在多機(jī)器人的編隊(duì)控制協(xié)調(diào)，做出了非常大的貢獻(xiàn)。2016年，Vijay Kumar在CCF-CAIR峰會上介紹了無人機(jī)會向著Small（小型），Safe（安全），Smart（智能），Speed（敏捷）和Swarm（集群）“5s”的趨勢發(fā)展。時隔一年 Vijay Kumar 再登 GAIR講臺，以“Challenges in Autonomy”為主題，進(jìn)行了演講，重點(diǎn)介紹了自動化浪潮的技術(shù)與社會挑戰(zhàn)。Vijay Kumar是美國賓夕法尼亞大學(xué)工程院院長，同時也是美國國家工程院院士，美國電子電氣工程師協(xié)會研究員（IEEE Fellow）。

以下為Vijay Kumar演講速記全文整理，雷鋒網(wǎng)在不改變原意的基礎(chǔ)上做了精編：

無人機(jī)的挑戰(zhàn)

今天我講的主要內(nèi)容是自動化當(dāng)中所遇到的挑戰(zhàn)，尤其是無人機(jī)方面的挑戰(zhàn)。如今智能駕駛汽車有了很大的進(jìn)展，但是以下無人機(jī)的這些挑戰(zhàn)是無人車所沒有的：

• 無人車是在已知的道路上飛行，而無人機(jī)是在 3D 空中飛行。

• 無人車有 GPS 的導(dǎo)航，無人機(jī)沒有，尤其在室內(nèi)環(huán)境中飛行的時候。

• 車上面有很多傳感器，但是在無人機(jī)里面，如果多放一公斤荷載，可能消耗的能量就會越高，會帶來很大限制。因此我們希望盡可能降低無人機(jī)的能耗，能夠讓它更加有效率，我們才能獲得更多的訊息和數(shù)據(jù)。

• 無人機(jī)需要控制才能維持平衡，安全尤為重要。在汽車?yán)锩?，只要剎車就安全了。在無人機(jī)上，這個問題更加復(fù)雜。

• 汽車的環(huán)境更加簡單一些，我們有不同的模擬，可以感知到地板有平面的波動或者有墻，但是無人機(jī)上要感知外界環(huán)境會更加困難。

  
  

上圖是我們過去5年制造的無人機(jī)，可以看出無人機(jī)的尺寸越來越大，可以放更多的傳感器上去，它的自動化程度也有所提高，這是自然而然的結(jié)果。因?yàn)槲覀兇蠹叶枷Ｍ屗懈叩母兄芰?，能夠讓飛行器更加的強(qiáng)大，有更多的功能。

戶外、室內(nèi)環(huán)境安全飛行演示

如何讓無人機(jī)在戶內(nèi)、戶外的環(huán)境安全飛行呢？可以讓它做快速響應(yīng)、救災(zāi)、減災(zāi)的工作，可能是人類無法到達(dá)的危險區(qū)域，可以快速收集一些訊息。

這是我們的一個機(jī)器人，它可以在室內(nèi)的環(huán)境進(jìn)行飛行，不需要外在攝像頭。它有一個感知的功能，比如圖像可以看到傳統(tǒng)的反饋機(jī)制，我們可以感知到周圍的環(huán)境，采取相應(yīng)的動作來回應(yīng)，在我們的控制系統(tǒng)里面可以實(shí)現(xiàn)比較低的層面。

在更高級的層面上，可以看到在系統(tǒng)當(dāng)中，我們可以以更高的層面將感知/行動的循環(huán)去建立，有時候可以在屏幕上看到，有時候可以進(jìn)入到它的計(jì)算機(jī)里面。比如我想從一個地方到達(dá)另外一個地方，如果中間有障礙物，需要避險，所以中間要采用不同的動作。

最高的層面，我們可以去建立一個反饋機(jī)制，可以對它進(jìn)行控制。這是人和機(jī)器進(jìn)行互動的過程。我們可能沒有辦法讓計(jì)算機(jī)在最低的層面自動和人進(jìn)行互動，但是更高的層面，人機(jī)可以互動，可以完成一些工作，所以這就是一種感知和行動的反饋循環(huán)，這樣我們就可以進(jìn)一步發(fā)展，來建立更多的感知行動。

最低的層面需要我們實(shí)時控制。只有通過這種方式才能讓機(jī)器人非?？煽康娜ミ\(yùn)動，幫助我們完成任務(wù)。這里面不僅僅是它的 3D 位置，還需要知道它的行進(jìn)方向和旋轉(zhuǎn)角度。事實(shí)上只有 4 個旋翼，還有一些機(jī)器有 6 個旋翼，不管有多少個旋翼，我們都必須要知道它的位置和方向，利用控制軟件進(jìn)行實(shí)時控制，在控制系統(tǒng)當(dāng)中對它發(fā)出指令。

當(dāng)然，我們有不同的平面，如果看一下系統(tǒng)里面的行進(jìn)方向、線性、動力，比如說它的垂直速度或者是平行的速度，加起來就非常復(fù)雜。所以你可以看到，二者之間更加復(fù)雜，我們要對比一下它的行動，平面上的運(yùn)動方向，以及它垂直上的運(yùn)動方向。

操作是左手邊開始做，右手邊對它進(jìn)行操作，這是更加復(fù)雜的過程?？梢詫⑺殖蓭讉€不同的部分來看待，它有一個運(yùn)動軌跡，這個運(yùn)動軌跡中要找到一個推動力，我們管它叫 F，我們看到它的現(xiàn)有位置和目的位置之間的聯(lián)系是怎么樣的，將它進(jìn)行移動。我們要為它制定一個方向，這個方向就可以讓機(jī)器自行推動到目的地。

當(dāng)然，我們也要建立其他維度，比如T這個維度，是它要行進(jìn)的方向，我要讓它的角度達(dá)到理想的狀態(tài)，我們要進(jìn)行計(jì)算、看目的地的角度是多少，然后讓它進(jìn)行移動。我們設(shè)計(jì)的時候需要用計(jì)算機(jī)幫助我們做計(jì)算，另外我們看到這樣的等式能夠讓無人機(jī)去到任何我們想讓它去的地方。當(dāng)然，同時也要確保它的穩(wěn)定和可靠性。舉個例子，無人機(jī)在空間當(dāng)中進(jìn)行三維運(yùn)動，這是室內(nèi)中的實(shí)驗(yàn)，當(dāng)然在戶外也可以實(shí)現(xiàn)。

反饋循環(huán)，先進(jìn)行路線規(guī)劃，對位置進(jìn)行控制，高度以及它所在的3D位置。得到反饋路徑之后，對它的速度和位置進(jìn)行計(jì)算，如果我們沒有運(yùn)動攝像機(jī)，只能通過無人機(jī)上自帶的攝像頭來實(shí)現(xiàn)這個目的，我們可以把相應(yīng)的獲取的數(shù)據(jù)進(jìn)行分析，加上它的慣性分析，就可以知道它應(yīng)該往哪個方向去。

戶外、室內(nèi)的實(shí)際運(yùn)動情形

這里面我們的頻率是200HZ，我會向大家展示戶外、室內(nèi)的實(shí)際運(yùn)動的情形。這里我們增加了復(fù)雜性，因?yàn)閷?shí)際操作環(huán)境往往更加復(fù)雜。我們對它運(yùn)動的路徑進(jìn)行計(jì)算，也會增加U這個角度，整個系統(tǒng)是四維角度，如果把角度增加進(jìn)去是有四個維度，這樣可以盡可能的降低飛行器出錯的可能性。在高速運(yùn)動的時候，我們必須依靠剛才所講的所有訊息，包括模式、檢測的維度，如果能夠給到更多的傳感器，除了IMU、GPS，我們可能有更好的表現(xiàn)，包括鐳射激光的掃描，還有其他傳感器，機(jī)器表現(xiàn)會更高，當(dāng)然這都是在200HZ頻率下實(shí)現(xiàn)的。

這個機(jī)器達(dá)到每秒70米的速度，沒有GPS，它可以從戶外進(jìn)入室內(nèi)，立刻進(jìn)行剎車，速度會很快降低，它可以在攝像頭當(dāng)中觀察到環(huán)境的變化，也可以從5m/s 、10m/s的速度加速。在戶外進(jìn)行飛行時，可以看到機(jī)器明顯有前傾動作，當(dāng)然也沒有GPS。

在有障礙物時，就必須加另外一層。有來自不同傳感器的信息，這些信息事實(shí)上結(jié)合在一起，建立局部地圖，局部地圖讓我們本身的機(jī)器了解要選擇哪樣的飛行管道，所以飛行軌道選定之后，就可以幫助我們避開障礙。但是在這個層次上，我們可以建立起整體地圖。很多情況下，我們不需要整體地圖，要局部地圖就可以，導(dǎo)航需要局部地圖幫助我們避開障礙，同時保證無人機(jī)的安全性。

如何避障

我們看一下如何做避障，上圖當(dāng)中有無人機(jī)，它在室內(nèi)有很多障礙物，我們使用的是鐳射掃描儀，幫助我們更好的了解周圍的障礙物。我們看一下這個等式，可以清楚看到在不斷降低成本，這里包括兩種成本：一是時間成本，希望減少時間；二是實(shí)現(xiàn)盡快的流暢性以及靈活性，要對這些參數(shù)進(jìn)行設(shè)置，要么得到較快的速度，要么得到比較流暢的行為。同時我們會不斷優(yōu)化飛行的路徑。每1/3秒就進(jìn)行一次飛行軌跡優(yōu)化，它由4個元素所決定：

• 環(huán)境并不會有太多問題，我們必須找到復(fù)雜環(huán)境當(dāng)中比較好的飛行路徑。

• 控制系統(tǒng)必須足夠復(fù)雜，像我剛才所說的。

• 必須有相應(yīng)的相關(guān)限制組織，它只朝一個方向前進(jìn)，不可能出現(xiàn)逆回。事實(shí)上，有很多要探討的預(yù)先條件才能解決避障過程。

• 在沒有辦法看到整體環(huán)境下，必須設(shè)想。導(dǎo)航過程中，眼睛能看到的只是20-40米的能見度，因?yàn)楦袘?yīng)器是輕量的，可能沒有能力看到20-40米以外的物體。

我們一開始想建立一個空間，空間建成的過程中，作為空間集合，它不斷發(fā)生變化，我們對整個集合形成一個自由空間，優(yōu)化的問題是在傳統(tǒng)共識集成的基礎(chǔ)上。左上方，大家可以看到這是直行的動作，這是比較基礎(chǔ)的路徑的探討。但是整個操作的過程當(dāng)中，也有很多的點(diǎn)，它不再是傳統(tǒng)的物理空間，是損失空間，它可以是六個維度。在這個過程中，我們就能找到安全飛行的軌跡?；谟疫?，到底我們的機(jī)緣是什么？我們可以對這樣的解決方案進(jìn)行選擇，飛得快或者飛得順暢，一系列前置條件都必須以非常高的方式才能最終實(shí)現(xiàn)比較順暢的導(dǎo)航解決方案。

復(fù)雜性，我們視野很有限。比如你站在Pk（tk）的點(diǎn)，你需要去紅色五角星的地方，你的視野只能看到屋內(nèi)一部分，你要計(jì)劃一個飛行軌跡，你的解決方案就是我畫的這樣，但是必須要確保，你沒有辦法看到視野以外的東西。如果你飛得特別快，如果你在中間出現(xiàn)了障礙物，你應(yīng)該怎么做，你沒有時間停下來，可能會撞上去，應(yīng)該怎么做呢？對我們來說是如何解決有效地視野，每秒飛行速度20米，你已經(jīng)沒有辦法通過減速和加速實(shí)現(xiàn)有效停止，可能遇到避障的反應(yīng)時間只有20米，如果沒有感應(yīng)器，要實(shí)現(xiàn)40米寬的視野就沒有辦法避障。

軌跡規(guī)劃的過程

我們只做部分軌跡的規(guī)劃，如果有第二個參數(shù)可以做第二次軌跡操作，這樣的操作能保證本地停下來，在G點(diǎn)保證飛行的安全性，有兩個努力的過程：

• Pk到Pk+1。

• 現(xiàn)場情況做軌道的集成和生成，這樣的知覺和行動的回落當(dāng)中，飛得盡量快。那么系統(tǒng)本身是否停下來可以形成系統(tǒng)的知覺，最后規(guī)劃下一步的下一步飛行路徑，這樣我們會有所為停車的原則。這就是我們在解決方案上的方法。

一開始我們飛得足夠快，使用快速飛行，一旦到達(dá)終點(diǎn)，后來要實(shí)現(xiàn)任何視野當(dāng)中的障礙物，可以實(shí)現(xiàn)急速停車，系統(tǒng)再進(jìn)行下一步路徑的優(yōu)化。這是我們使用的非?；A(chǔ)的算法，在沒有GPS過程中，只要使用裝載的感應(yīng)器就可以做到二次軌道規(guī)劃，可以保證安全性、完整性，如果有任何的解決方案，我們的機(jī)器人總是可以使用這些解決方案。最后是優(yōu)化，事實(shí)上只能稱之為次優(yōu)化，大部分復(fù)雜的限制條件，我們只能保證飛行器的安全性和完整性，但是我們會不斷嘗試最優(yōu)解決方案。

在有限的視野當(dāng)中，我們?nèi)绾巫鲕壽E規(guī)劃，左邊的圖可以看到，只能看到綠色部分。事實(shí)上機(jī)器人實(shí)現(xiàn)了多個無人機(jī)的角度切換，切換過程中，一旦遇到障礙物，會快速停下來進(jìn)行計(jì)算，最終找到最優(yōu)的飛行路線。無人機(jī)在室外的活動過程將更加復(fù)雜，如旁邊種了很多樹，我們希望達(dá)到每秒20米的飛行速度，我們實(shí)行了動態(tài)的軌跡的生成，同時可以幫助我們實(shí)現(xiàn)自由空間的軌跡的生成，同時保證飛行器的安全性以及完整性。室外飛行，無人機(jī)不知道樹在哪里，沒有任何GPS，但是飛行速度很快，這部分能達(dá)到每秒5米的飛行速度。

我們正在做的另外一個案例是讓無人機(jī)去找一個物體，找到后自動停下來。無人機(jī)不知道周圍的環(huán)境，它飛得足夠快，找到潛在的地址，找到物體就停下來。在救援過程中要飛得越快越好，找到生存的物體，找到可疑的爆炸物，只要找到就可以。操作過程中實(shí)現(xiàn)了優(yōu)化操作，在戶外環(huán)境當(dāng)中，無人機(jī)并不知道物體放在室內(nèi)，在整個過程當(dāng)中，關(guān)閉所有門，而無人機(jī)需要尋找開著的門進(jìn)入室內(nèi)，接著尋找物體，它最終尋找物體所在地是它的軌跡，并且能夠避開一切障礙物。

無人機(jī)成功進(jìn)入室內(nèi)，我們使用很簡單的是物體監(jiān)測算法。當(dāng)飛回來之后，它并不記得第一次飛行路徑中所看到的目標(biāo)物，無人機(jī)又開始分析，從黑暗的室內(nèi)環(huán)境進(jìn)入高亮度的室外環(huán)境，再回到室內(nèi)環(huán)境中，它最終告訴我們它找到橙色的標(biāo)記物。它以每秒5米的速度快速飛行，我們把速度推到每秒10米，這取決于障礙物的密度。自由空間可以達(dá)到每秒20米，但是障礙物空間中只能達(dá)到每秒5米的飛行速度。

上圖展示的是室內(nèi)的導(dǎo)航的過程，左下角的圖片展示了無人機(jī)的位置，同時顯示了我們想讓它達(dá)到的位置，整個過程中它會找到一些障礙物，比如墻壁、沙發(fā)，還有可能出現(xiàn)的人體，它繞過了沙發(fā)，看到了Jeason，我的同事。他避開了Jeason，去到另外一個空曠的區(qū)域，遇到我另外一位同事，他跨過所有障礙物來到一個空曠的空間，最終完成了它的制圖過程，像這樣的軟件可以幫助我們實(shí)時收集無人機(jī)所看到的信息，形成制圖成果。

上圖是在倉庫環(huán)境當(dāng)中采用無人機(jī)的用途，比如它可以看到架子上所有的物件，可以讓人們知道在什么地方擺放什么樣的物件，看起來很簡單，但我們不知道哪些地方有東西，很多時候工人把東西亂放，然后就忘記了把東西放在什么地方。他們可能知道這個物件在倉庫里面，但具體不知道在哪個位置。我們利用無人機(jī)去找它，這樣就不需要再重新整理倉庫了，只需要派一個無人機(jī)就知道這個物件擺在什么地方。

另外，我們可以避開物體相互碰撞，比如避免和汽車、自行車碰撞。無人機(jī)可以識別運(yùn)動的物體和靜止的物體，這點(diǎn)非常重要，可實(shí)現(xiàn)無人駕駛。

我向大家展示機(jī)器的另外一項(xiàng)能力，我們和高通公司在合作，這是我們實(shí)驗(yàn)室進(jìn)行的實(shí)驗(yàn)，最小的無人機(jī)是全自動化無人機(jī)，大概只有15G，沒有任何的操縱者，也沒有GPS，它只是用來滿足從一個地方到另一個地方最近的路徑是怎樣的。第一個視頻，無人機(jī)可以繞過第一個障礙物，從右繞過第二個障礙物。我們有不同的柱子，每隔3米設(shè)立一個柱子，讓機(jī)器以每秒5米的速度繞過這些柱子。這是一個比較窄的縫，需要無人機(jī)自動穿過縫隙。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。