0
| 本文作者： 岑大師 | 2017-11-18 14:12 |
本文為近日召開的CoRL 2017大會上，MIT TR 35得主、UC Berkeley助理教授 Anca Dragan 所做的演講整理，雷鋒網(wǎng)作為受邀媒體參加了CoRL大會，并與Anca Dragan進(jìn)行了交流。在雷鋒網(wǎng)將于1月舉辦的GAIR硅谷智能駕駛峰會上，Anca Dragan也將出席并發(fā)表演講。
Anca Dragan現(xiàn)任UC Berkeley的電子工程與計算機(jī)科學(xué)助理教授及InterACT實驗室主任。為了令機(jī)器人更好地協(xié)同人類工作，Anca Dragan帶領(lǐng)InterACT實驗室開始專注于人機(jī)交互算法的研究，試圖將復(fù)雜或模糊的人類行為轉(zhuǎn)化為機(jī)器人能理解的簡易數(shù)學(xué)模型，通過建立博弈理論和動力系統(tǒng)理論，聚焦于發(fā)現(xiàn)或?qū)W習(xí)人類行為模型，并計算連續(xù)狀態(tài)和行動空間。
MIT科技評論給她評的獎項為“遠(yuǎn)見者”，稱“她致力于確保機(jī)器人與人類可以和諧地共同生活”。在獲獎報道中，Anca Dragan表示：
當(dāng)人們試圖與機(jī)器人共事時，許多沖突都來自于雙方對彼此的不了解，如果機(jī)器人能夠理解它可能對人類情緒造成的影響，就有望解決這一問題。
Anca Dragan認(rèn)為，機(jī)器人與人工智能的正確觀點應(yīng)該是機(jī)器人試圖優(yōu)化人的目標(biāo)函數(shù)。機(jī)器人不應(yīng)該將任何客觀的功能視為理所當(dāng)然，而應(yīng)該與人類一起去發(fā)現(xiàn)他們真正想要的是什么。該研究在短期之內(nèi)最重要的應(yīng)用莫過于幫助自動駕駛汽車與傳統(tǒng)汽車預(yù)判對方可能的行為，而在演講中，Anca Dragan也多次提到了這一點。以下即為雷鋒網(wǎng)整理的演講內(nèi)容摘要：
Anca Dragan的PPT題目為《人類進(jìn)入機(jī)器人方程》。在傳統(tǒng)的機(jī)器人路徑規(guī)劃問題中，機(jī)器人通常將人類視為和其他不能移動的物體一樣的避障目標(biāo)，而Anca希望將人類作為機(jī)器人決策的一個“變量”實現(xiàn)和人類的最優(yōu)交互。
最簡單的狀態(tài)，只有機(jī)器人和交互的物體，則機(jī)器人的效用函數(shù)為UR，該效用函數(shù)包含的變量包括初始狀態(tài)x0以及運(yùn)動軌跡uR。
但現(xiàn)實中，機(jī)器人需要和三類不同的人打交道：在運(yùn)行環(huán)境中的其他人、其使用者，以及其設(shè)計者。
出于安全的考慮，以往通常將人視為機(jī)器人行動和路線規(guī)劃中需要避讓的“障礙物”；
但在人類交互當(dāng)中往往存在某種博弈行為，如這個超車變道的例子，黑色小車意圖超車，但銀色卡車寸步不讓。如果我們與他人的交互都像這個司機(jī)一樣，則會造成許多沖突，但無人駕駛車不會像小汽車司機(jī)這樣做，他們會感知到這里可能沒有足夠的超車空間，會選擇減速在卡車后變道；
如果我們將人視為需要規(guī)避的障礙物進(jìn)行建模，那意味著我們將人類視為這個例子中不會改變主意的卡車司機(jī)一樣進(jìn)行建模。
另一個Google Car無法順利通過四面都有停車標(biāo)志的十字路口的例子。在這個例子中，傳感器會一直探測到有人類司機(jī)并進(jìn)行避讓，而人類司機(jī)可以通過一寸一寸向前挪動讓Google無法行動。
漫畫：“你先走還是我先走？”在圖中，無人車讓人類先走，但行人并不打算走而是揮舞手臂，則會讓無人車?yán)Щ蟆?/p>
機(jī)器人與人類的互動。此時機(jī)器人的效用函數(shù)UR包含三個變量：初始狀態(tài)x0、機(jī)器人運(yùn)動軌跡uR以及人類運(yùn)動軌跡uH，此時人類的效用函數(shù)UH也包含三個變量：初始狀態(tài)x0、人類運(yùn)動軌跡uH以及覺察到有機(jī)器人后的隱形影響因子θH；
我們現(xiàn)在在做的研究：人并不是障礙，而是將其視為需要通過自己效用函數(shù)進(jìn)行優(yōu)化的智能體，但我們并不知道其效用函數(shù)，參數(shù)是隱藏的；機(jī)器通過人的動作估計隱藏狀態(tài)，估計其下一步行為，如果機(jī)器人對人的下一步動作有估計，那么機(jī)器人會將其加入到自己的效用函數(shù)中：如果這件事情發(fā)生，我應(yīng)該怎么做才是最好的選擇。
Anca 6年前做的研究，與人類內(nèi)部狀態(tài)的相互作用，機(jī)器預(yù)測我要做什么，并幫我更好實現(xiàn)目標(biāo)。
以及最近的Paper。
當(dāng)人類也考慮機(jī)器人的行為來調(diào)整自己的行為時，其效用函數(shù)UH變?yōu)樗膫€變量：初始狀態(tài)x0、人類運(yùn)動軌跡uH、機(jī)器人運(yùn)動軌跡UR及覺察到有機(jī)器人后的隱形影響因子θH。有不少證據(jù)表明人們實際上并不一定去在博弈中實現(xiàn)均衡，因為人類是通過計算達(dá)到平衡的。
我們?nèi)绾握f明機(jī)器人對人類行為的影響？
例如，在這個軌道車的例子中，你的效用函數(shù)和你如何動操作桿有關(guān)；
再看一個無人車與人類司機(jī)交互的例子。上圖中的橙色汽車是無人駕駛車，UR是無人駕駛車軌跡，UH是人類駕駛軌跡，如果我們考慮的是在特定的UR下，UH應(yīng)該如何達(dá)到最優(yōu)，這樣人類可以更好地響應(yīng)機(jī)器人的行為。
在這個例子中，這是一個保證效率和安全的博弈。人類的參數(shù)是隱藏的，我們通過反向優(yōu)化控制來猜測這些數(shù)據(jù)，機(jī)器人收集這些展示人們將如何與機(jī)器人互動的數(shù)據(jù)，設(shè)置一個最大似然觀察，然后機(jī)器人去解決這個嵌套優(yōu)化問題，即當(dāng)人不可避免地受到我所做的事情的影響時，我該怎么做才能最大限度地將我的效用最大化？最終會達(dá)到人和機(jī)器人的和諧協(xié)作。
接下來Anca展示了一些簡化后的例子。如果將人類車輛當(dāng)做一個需要避障的目標(biāo)并推斷其行為，無人車通常在人類車輛后變道。在少數(shù)情況下，人類車輛之前有充足的空間的時候，無人車會超車變道，因為在這個嵌套優(yōu)化中，機(jī)器人知道，如果它按這一方式超車變道，那么人的反應(yīng)就是放慢速度，讓無人車進(jìn)入。
在這一模式中，機(jī)器人不再處于被動狀態(tài)，而是更好地和人進(jìn)行互動。Anca稱她最喜歡的一個例子是，仍然是四面停止標(biāo)志的十字路口，當(dāng)處于僵持、沒有乘客的無人車（橙色）需要表示“你先走”的時候，無人車會稍稍后退，在這個路口中，人類司機(jī)同樣在進(jìn)行效率和安全的博弈，而當(dāng)無人車后退的時候，車輛相撞的幾率變小，此時人類司機(jī)就會通過路口，達(dá)到人類車輛效用函數(shù)的最大化。這是一個無人車影響人類效用函數(shù)的例子，同時也是很令人驚異的發(fā)現(xiàn)，因為人類司機(jī)從不會通過后退表示讓對方先走。
同樣在這個漫畫的例子中，無人車也可以通過稍稍后退讓行人先走打破僵局。
三種模型下，真實用戶不同反應(yīng)的影響。
這一模型仍然存在某些局限性，如效用局限于已知的Feature的線性組合，假設(shè)感知問題已經(jīng)得到解決，對車輛運(yùn)行進(jìn)行了簡化，等等。
而且我們不能用一些線下訓(xùn)練的模型來用來套到實際的駕駛中，萬一遇到之前那個不肯避讓的二愣子卡車司機(jī)就麻煩了。所以需要對每個司機(jī)的行為進(jìn)行具體的估計。
通過對人類司機(jī)駕駛軌跡的觀察，可以推斷出司機(jī)的駕駛風(fēng)格：比較激進(jìn)或者比較保守，并采取正確的策略，如判斷對方是一個保守型的司機(jī)的時候，在其前面變道超車對方通常會避讓。
像這種情況的激進(jìn)型司機(jī)，無人車只能放棄變道。
而在十字路口的例子中，無人車需要判斷這個司機(jī)是否注意其他車輛的動作。
在優(yōu)化之外的緊急場景的系統(tǒng)協(xié)調(diào)策略又是怎樣的呢？
當(dāng)僅和最終用戶交互的時候，無需考慮兩個效用函數(shù)，只需要和人類站一邊考慮UH最大化即可。
上述討論的很多都是機(jī)器人如何估計人類隱藏參數(shù)的研究，另一種方式則是人如何思考與機(jī)器人互動中的參數(shù)的推斷，這方面的研究一直在進(jìn)行，而且需要機(jī)器人有更多的表現(xiàn)力。對于不同人，機(jī)器人同樣的動作也會產(chǎn)生不同的后果，即便人類無法正確推斷機(jī)器人行為的時候，至少要讓他們知道發(fā)生了什么事，你想做的是什么，為什么交互沒有取得更好的結(jié)果等等。機(jī)器人需要注意這個更微妙的影響，因為它決定了人們是否了解機(jī)器人正在做什么，是否有信心在執(zhí)行任務(wù)等。
然而我們（設(shè)計者）在為機(jī)器人指定效用函數(shù)的時候做的不怎么樣，機(jī)器人的獎勵值通常具有不確定性，這往往會帶來出人意料的結(jié)果。
例如在OpenAI的一篇論文中，白色小船的目標(biāo)是在游戲中獲得盡可能多的分，但在這里白色小船卻偏離了賽道打起圈子（因為能不斷吃到寶箱）。
另一個例子，如果設(shè)定一個吸塵機(jī)器人的獎勵函數(shù)是吸盡量多的灰塵，那么機(jī)器人會不會在吸完灰塵后把手機(jī)起來的灰塵倒出來，然后繼續(xù)吸塵以達(dá)到最大的獎勵值？
又或者，像迪士尼動畫片米奇用魔法教一把掃把幫其挑水，最后這把掃把不斷挑水（獲得最大獎勵值）把整個屋子給淹了一樣；
讓我們來分析一下這是如何產(chǎn)生的。例如小船游戲的例子，當(dāng)設(shè)置得分為獎勵值，當(dāng)機(jī)器發(fā)現(xiàn)有兩個策略：1）排名第一但僅獲得20分；2）排名靠后但能獲得50分，機(jī)器人選擇的是后者。
這樣，設(shè)計者需要改變獎勵值（找到真正的獎勵值）以使得機(jī)器人按預(yù)定目標(biāo)進(jìn)行決策，或者讓機(jī)器人能夠推測到設(shè)計者的真正意圖。但二者均有不足之處。
另一個包含草地、灰塵、熔巖和最終目標(biāo)的導(dǎo)航場景的例子。
假設(shè)訓(xùn)練時的狀態(tài)，獎勵函數(shù)是盡可能少走草地得分越高的話，結(jié)果會如上圖所示（此時沒有出現(xiàn)熔巖）。
策略1：設(shè)計師有基于指標(biāo)的指示器，并建立從原始觀察值到指標(biāo)的分類器，此時將訓(xùn)練的模型放到有巖漿的例子中時，機(jī)器人往往會越過巖漿到達(dá)終點（并非想要的結(jié)果）
策略2：而如果設(shè)定反向激勵，機(jī)器人會對訓(xùn)練時未出現(xiàn)的元素敬而遠(yuǎn)之，機(jī)器人不知道巖漿是好雞還是懷，也可能如上圖所示錯過“金礦”。
通過以上例子，說明需要在訓(xùn)練環(huán)境的背景下對特定的獎勵進(jìn)行觀察找到真正的獎勵，而在執(zhí)行中人類的指導(dǎo)則是找到真正獎勵的關(guān)鍵（如迪士尼動畫片中，米奇讓掃把停止打水）。
這樣，機(jī)器人可以從從豐富的指導(dǎo)模式中學(xué)習(xí)。
簡單來說，如果機(jī)器人能夠理解它可能對人類情緒造成的影響，就可以更好地進(jìn)行決策，并在更廣泛的領(lǐng)域于人類更有效進(jìn)行協(xié)作，給我們生活帶來更多便利與驚喜。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
