IEEE x ATEC

IEEE x ATEC科技思享會(huì)是由專業(yè)技術(shù)學(xué)會(huì)IEEE與前沿科技探索社區(qū)ATEC聯(lián)合主辦的技術(shù)沙龍。邀請(qǐng)行業(yè)專家學(xué)者分享前沿探索和技術(shù)實(shí)踐，助力數(shù)字化發(fā)展。

在社會(huì)數(shù)字化進(jìn)程中，隨著網(wǎng)絡(luò)化、智能化服務(wù)的不斷深入，伴隨服務(wù)衍生出的各類風(fēng)險(xiǎn)不容忽視。本期分享會(huì)的主題是《網(wǎng)絡(luò)欺詐的風(fēng)險(xiǎn)與對(duì)抗》。五位嘉賓將從不同的技術(shù)領(lǐng)域和觀察視角，圍繞網(wǎng)絡(luò)欺詐場(chǎng)景下的風(fēng)險(xiǎn)及對(duì)抗技術(shù)展開分享。

以下是王亦洲教授的演講。

 演講嘉賓 | 王亦洲

北京大學(xué)博雅特聘教授、前沿計(jì)算研究中心副主任

ATEC科技精英賽高級(jí)咨詢委員會(huì)專家

《基于對(duì)抗博弈的主動(dòng)跟蹤算法研究》

大家好，我是北京大學(xué)的王亦洲。今天我將主要介紹如何構(gòu)建多智能體博弈機(jī)制，以實(shí)現(xiàn)魯棒的主動(dòng)目標(biāo)跟蹤。具體而言，我將先簡(jiǎn)要介紹主動(dòng)目標(biāo)跟蹤任務(wù)和虛擬環(huán)境等前期工作，再重點(diǎn)介紹四種多智能體博弈機(jī)制用于主動(dòng)目標(biāo)跟蹤。

 主動(dòng)跟蹤簡(jiǎn)介 

主動(dòng)跟蹤在日常生活中是一種較為常見的現(xiàn)象和技能，比如自動(dòng)駕駛的跟車、無人機(jī)在天空跟蹤一些目標(biāo)、視頻監(jiān)控時(shí)鎖定一些目標(biāo)、云臺(tái)照相機(jī)跟蹤動(dòng)作等。在計(jì)算機(jī)視覺領(lǐng)域，主動(dòng)跟蹤也是一個(gè)比較前沿的研究課題。但要真正實(shí)現(xiàn)主動(dòng)目標(biāo)跟蹤，會(huì)遇到很多不同的挑戰(zhàn)。比如，在錄制一些比較驚險(xiǎn)刺激的特技鏡頭時(shí)，攝影師不僅要讓相機(jī)對(duì)準(zhǔn)演員，還要同步適應(yīng)復(fù)雜的地形環(huán)境，調(diào)動(dòng)四肢跟隨演員移動(dòng)，其技術(shù)難度可能要比演員表演特技還高，并且在整個(gè)過程中，從感知到動(dòng)作都需要十分快速精準(zhǔn)執(zhí)行。然而，這對(duì)于現(xiàn)階段的機(jī)器人而言，幾乎是一件不可能完成的任務(wù)。要真正實(shí)現(xiàn)復(fù)雜場(chǎng)景下的主動(dòng)目標(biāo)，我們的模型需要適應(yīng)多樣的工作環(huán)境（包括不同的天氣、光照條件）；還要克服障礙物遮擋（即避障），比如遇到障礙物時(shí)，要找到最短路徑繞過障礙物；也要克服動(dòng)態(tài)干擾物的影響，避免混淆。如果是多相機(jī)跟蹤的場(chǎng)景，還需考慮如何實(shí)現(xiàn)高效的多智能體協(xié)作，這些都是主動(dòng)跟蹤的一些挑戰(zhàn)。傳統(tǒng)的方法，主動(dòng)跟蹤分成兩個(gè)部分，一個(gè)是叫這個(gè)passive tracker，算法先對(duì)這個(gè)輸入的圖像鎖定里面的目標(biāo)物體，比如以bounding box的形式，根據(jù)bounding box的運(yùn)動(dòng)，然后再輸入到控制器里面，調(diào)整照相機(jī)的運(yùn)動(dòng)。

我們提出的方法，是一個(gè)端到端(End-to-End)跟蹤方法。輸入圖像序列，直接輸出動(dòng)作。感知和決策可以同步優(yōu)化，互相適應(yīng)，對(duì)應(yīng)的中間表示也會(huì)更加緊湊。要訓(xùn)練這種端到端的感知—決策網(wǎng)絡(luò)，當(dāng)前流行的有兩種方法，一種是模仿學(xué)習(xí)Imitation Learning(IL)，一種是強(qiáng)化學(xué)習(xí)Reinforcement Learning(RL)。模仿學(xué)習(xí)樣本效率會(huì)高一些，但是需要引入專家數(shù)據(jù)進(jìn)行訓(xùn)練，且不可避免的存在數(shù)據(jù)分布的偏差，模型的泛化性會(huì)比較差。對(duì)于跟蹤模型來說，模型的泛化能力是至關(guān)重要的。因此我們采用強(qiáng)化學(xué)習(xí)，我們只需要設(shè)計(jì)一個(gè)簡(jiǎn)單的獎(jiǎng)賞函數(shù)，機(jī)器人在環(huán)境中自主探索，就可以在試錯(cuò)中學(xué)習(xí)技能。

 有效虛擬環(huán)境的構(gòu)建 

我們讓機(jī)器人在一個(gè)場(chǎng)景中運(yùn)動(dòng)時(shí)，如果是一個(gè)真實(shí)的場(chǎng)景，因?yàn)闄C(jī)器人的成本高，機(jī)器人在場(chǎng)景中運(yùn)動(dòng)時(shí)或許會(huì)造成一些損壞，實(shí)驗(yàn)的負(fù)擔(dān)也比較大，所以代價(jià)非常高昂。我們提出構(gòu)建UnrealCV虛擬環(huán)境，讓機(jī)器人在里面進(jìn)行主動(dòng)學(xué)習(xí)，我們可以從中獲取高逼真的視覺觀測(cè)、精準(zhǔn)的ground truth、以及進(jìn)行實(shí)時(shí)的交互，包括多智能體的交互。這個(gè)項(xiàng)目已經(jīng)開源。因?yàn)槲覀內(nèi)粘Ｉ钪械沫h(huán)境是多變的，在近真實(shí)的環(huán)境當(dāng)中可以模擬日常生活環(huán)境的一些變化，不光是室內(nèi)的還有室外的、室外天氣的變化、室內(nèi)光照的變化，環(huán)境的各種appearance、各種texture，甚至還有物理屬性都可以調(diào)整。在虛擬環(huán)境中不僅可以學(xué)到地球上的物理，甚至可以學(xué)習(xí)火星上、月球上的物理。所以這種近真實(shí)的環(huán)境，盡管可能是對(duì)真實(shí)環(huán)境的一種建模、某種意義上的一種簡(jiǎn)約，但其實(shí)它有更豐富的potential，能夠更多地改變環(huán)境，讓機(jī)器人能夠適應(yīng)各種變化，在這里面學(xué)的技能有可能泛化能力更強(qiáng)。因此，我們認(rèn)為機(jī)器人或智能體所處的環(huán)境復(fù)雜性決定它最終訓(xùn)練出來的智能水平。

下面我將簡(jiǎn)單介紹一下，把認(rèn)知心理學(xué)的一些機(jī)制引入到主動(dòng)跟蹤場(chǎng)景下，提高跟蹤器的跟蹤水平的一系列工作。我將介紹四種工作：第一種是一跟一的跟蹤；第二種還是一跟一，但是會(huì)有一些和目標(biāo)非常相似的干擾物進(jìn)來；第三個(gè)工作是多個(gè)攝像頭跟蹤一個(gè)目標(biāo)；最后一個(gè)是多跟多，比如N個(gè)攝像頭跟M個(gè)目標(biāo)物體。

 一對(duì)一的跟蹤策略 

首先介紹一跟一。在一跟一里面我們引入了Theory of Mind（心智理論），心理學(xué)的一種機(jī)制，它是人類所具有的能夠認(rèn)知?jiǎng)e人的心理狀態(tài)的一種本領(lǐng)，比如我在跟別人交流過程中我能夠知道對(duì)方的信念、意圖、甚至他的知識(shí)。有了這種能力，能夠幫助多智能體提高交流的效率。我們將這種機(jī)制應(yīng)用到主動(dòng)跟蹤的過程當(dāng)中。這里面的目標(biāo)和跟蹤器，是兩個(gè)進(jìn)行競(jìng)爭(zhēng)的agents。目標(biāo)的任務(wù)就是逃跑，從跟蹤者的視野當(dāng)中逃掉；跟蹤者要始終鎖定目標(biāo)，他們倆成了一個(gè)博弈對(duì)。我們?cè)谶@里面引入了Theory of Mind，產(chǎn)生一個(gè)更聰明的逃跑者，它不光要根據(jù)自己看到的環(huán)境來選擇路徑，他還能夠知道跟蹤者現(xiàn)在所觀察到的一些景象，猜測(cè)跟蹤者的策略是什么。即在腦子里猜想你會(huì)怎么跟蹤我。把Theory of Mind引入到跟蹤的博弈當(dāng)中，我們希望能夠訓(xùn)練出Target有更好的擺脫策略。因?yàn)樗鼈兊哪芰Χ际菑牧汩_始同步增長(zhǎng)的，逃跑者與追蹤者在學(xué)習(xí)的過程當(dāng)中能力此消彼長(zhǎng)。這個(gè)博弈機(jī)制是非對(duì)稱的，因?yàn)槲覀兊淖罱K目標(biāo)是為了訓(xùn)練跟蹤器，因此我們將圍繞如何訓(xùn)練一個(gè)更適合跟蹤器學(xué)習(xí)的目標(biāo)模型改進(jìn)我們的對(duì)抗機(jī)制，包括了獎(jiǎng)賞函數(shù)結(jié)構(gòu)和目標(biāo)的模型設(shè)計(jì)。

要實(shí)現(xiàn)競(jìng)爭(zhēng)機(jī)制，最關(guān)鍵的是要設(shè)計(jì)獎(jiǎng)賞函數(shù)（Reward Structure）。一般來說，純對(duì)抗競(jìng)爭(zhēng)的獎(jiǎng)賞函數(shù)，就是一個(gè)零和獎(jiǎng)賞結(jié)構(gòu)。但如果是零和博弈的話，目標(biāo)會(huì)在一開始就跑的很遠(yuǎn)，這反而導(dǎo)致跟蹤器學(xué)習(xí)效率降低。因此，我們考慮當(dāng)目標(biāo)移動(dòng)到觀測(cè)范圍外，將在原來的基礎(chǔ)上增加一個(gè)額外的懲罰項(xiàng)，懲罰項(xiàng)的取值取決于目標(biāo)與跟蹤器的觀測(cè)邊界的距離。為了讓目標(biāo)能夠?qū)W到有針對(duì)性的對(duì)抗策略，我們進(jìn)一步提出了tracker-aware target。它的設(shè)計(jì)思想就是孫子兵法中的知己知彼，百戰(zhàn)不殆的思想。如果從認(rèn)知心理學(xué)的角度來說，就是要去理解預(yù)估對(duì)手的mental  state/ intention，只要比對(duì)手多一階的思考，就可以找到有效的對(duì)抗策略。比如說，當(dāng)跟蹤器根據(jù)圖像推測(cè)估計(jì)目標(biāo)要從畫面中心往左走時(shí)，它就會(huì)傾向于向左轉(zhuǎn)。如果此時(shí)我們的目標(biāo)能多思考一階，能夠想到跟蹤器有向左轉(zhuǎn)的傾向，那么它就可以反過來輸出一個(gè)向右轉(zhuǎn)的動(dòng)作，就可以導(dǎo)致跟蹤誤差增大。具體實(shí)現(xiàn)時(shí)，我們就讓目標(biāo)除了其自身的視覺觀測(cè)外，還額外獲得了跟蹤器的觀測(cè)和動(dòng)作輸出作為模型的輸入。我們?cè)谶@里還引入了一個(gè)輔助任務(wù)，也就是預(yù)測(cè)跟蹤器的即時(shí)獎(jiǎng)賞值，來對(duì)跟蹤器的動(dòng)態(tài)特性進(jìn)行隱式的建模。我們把這個(gè)算法放到了包括城市環(huán)境、下雪的村莊、地下車庫、花園以及城市街道的近真實(shí)的虛擬環(huán)境中，隨后發(fā)現(xiàn)，盡管我們是在不真實(shí)的虛擬環(huán)境下訓(xùn)練的，但是遷移到近真實(shí)的虛擬環(huán)境下，還是能夠非常好的跟蹤到目標(biāo)物體。

 一對(duì)多的跟蹤策略 

接下來還是一對(duì)一的跟蹤，但是有了干擾者的參與，也就形成了一種一對(duì)多的博弈機(jī)制。例如在足球直播中，跟蹤器會(huì)將邊線裁判的光頭誤識(shí)別成足球。同時(shí)，我們?cè)趯?shí)驗(yàn)中發(fā)現(xiàn)，現(xiàn)有的SOTA模型也十分容易被場(chǎng)景中相近的物體誤導(dǎo)迷惑，最終導(dǎo)致跟丟。針對(duì)此問題，我們提出了一種混合博弈的解決策略，里面包括了Targets和Tracker的競(jìng)爭(zhēng)關(guān)系，還有干擾者和Targets之間的合作關(guān)系，即他們要合作起來一起欺騙Tracker。Reward方面，Targets和Tracker，可以是零和博弈或者是前面介紹的混合Reward Structure；Distractor和Target 之間形成一個(gè)合作策略。Distractors的獎(jiǎng)賞是它是不是能夠吸引Tracker的注意，是不是跑到了Tracker視野里比較中心的位置，越靠近中心越說明Tracker把它認(rèn)成了Target，它這時(shí)候獲得的Reward就更高。所以在這種Reward Structure下面，我們訓(xùn)練Tracker、Target和Distractors，它們各有各的策略。我們采用了兩種訓(xùn)練方法，一種是在抽象的環(huán)境下先訓(xùn)練Meta Policies，有了這個(gè)Meta Policies以后，它作為一個(gè)teacher，這時(shí)我們引入視覺輸入來訓(xùn)練作為student在真實(shí)視覺環(huán)境下面如何跟蹤。這時(shí)候student的跟蹤策略要和作為teacher的Meta Policies的策略相接近。我們用K-L Divergence來描述他們的差異，我們要minimize這個(gè)差異，通過這兩個(gè)訓(xùn)練過程，最后訓(xùn)練出三種角色各自的策略。我們發(fā)現(xiàn)在訓(xùn)練過程中，出現(xiàn)的干擾現(xiàn)象越來越多。也就是說Distractors越來越會(huì)參與干擾了，它的干擾技能提升了。一些SOTA或者一些現(xiàn)有的先進(jìn)方法在這個(gè)過程當(dāng)中，隨著干擾的增多，它們的performance就下降了。我們提出的這個(gè)方法，它的performance不太受干擾的一個(gè)影響。在混合博弈下面，最后訓(xùn)練出的Tracker和現(xiàn)有的一些方法有明顯的優(yōu)勢(shì)。

 多對(duì)一的跟蹤策略 

接下來是多個(gè)攝像機(jī)跟蹤一個(gè)Target，這種場(chǎng)景通常發(fā)生在一個(gè)video surveillance的情況下。在此場(chǎng)景里有一個(gè)可疑人物或目標(biāo)人物，我們?cè)诖蠓秶鷪?chǎng)景下面布置多臺(tái)攝像頭，場(chǎng)景里面非常復(fù)雜、容易有這種障礙物，它能夠利用這些障礙物進(jìn)行隱蔽，這時(shí)能不能在多個(gè)攝像頭下始終不把它給丟掉。這里我們引用了一種心理學(xué)的機(jī)制，叫Herd mentality（羊群效應(yīng)），即一種從眾心理，就是一個(gè)人在人群中決策時(shí)，往往會(huì)受到多數(shù)人的干擾，產(chǎn)生從眾心理。假如在這個(gè)環(huán)境中，我們布置了四個(gè)攝像頭，如果有三臺(tái)攝像頭能夠比較好地看到Target，即使有一個(gè)攝像頭因?yàn)檎趽醯脑蚰壳翱床坏?，它根?jù)其他三個(gè)攝像頭的指向，也能把這個(gè)攝像頭的角度瞄準(zhǔn)到他們指向的位置。這時(shí)候，當(dāng)Target出現(xiàn)時(shí)，它就能夠很快地恢復(fù)跟蹤,這樣對(duì)整個(gè)系統(tǒng)的跟蹤的穩(wěn)定性會(huì)有所提升。對(duì)于這種情況，我們?cè)O(shè)計(jì)了一個(gè)模型。跟蹤模式分為兩種，在可見目標(biāo)情況下采用基于視覺的跟蹤?？床坏降那闆r下，會(huì)根據(jù)其它攝像頭的pose指向的位置決定該跟蹤器所指向的位置，有一個(gè)switcher決定采用哪個(gè)跟蹤模式。我們?cè)谶@個(gè)環(huán)境當(dāng)中把它部署下去，發(fā)現(xiàn)跟蹤的效果也非常好。

 多對(duì)多的跟蹤策略 

最后看一下多個(gè)攝像頭跟蹤多個(gè)目標(biāo)的模型。它其實(shí)是解決一個(gè)coverage的問題，比如四個(gè)攝像頭要跟蹤六個(gè)物體時(shí)，在資源有限情況下，能夠最大程度把這個(gè)物體給覆蓋住。這里面我們采取的機(jī)制是hierarchical機(jī)制。在社會(huì)形成結(jié)構(gòu)的過程中，有一些是leader，有一些是稍微處在底層一點(diǎn)的執(zhí)行者。這種分層機(jī)制可以對(duì)復(fù)雜任務(wù)進(jìn)行結(jié)構(gòu)化分解，具有分工明確、理性決策、權(quán)責(zé)劃分清楚等優(yōu)點(diǎn)。因此，我們考慮借鑒這種機(jī)制，設(shè)計(jì)一種可計(jì)算多智能體分層模型。該框架主要分兩層，包括了一個(gè)集中式的協(xié)調(diào)者（coordinator）和多個(gè)分布式的執(zhí)行者（executor）。當(dāng)運(yùn)行時(shí)，協(xié)調(diào)者收集各個(gè)執(zhí)行者的觀測(cè)信息，進(jìn)行全局規(guī)劃，為每個(gè)執(zhí)行者分配特定的任務(wù)目標(biāo), 也就是指定需要跟蹤的具體目標(biāo)；每個(gè)執(zhí)行者在分配到具體任務(wù)以后，通過采取一系列基本動(dòng)作（即左轉(zhuǎn)/右轉(zhuǎn)/保持不變）來成指定的跟蹤任務(wù)。然后重復(fù)這兩個(gè)步驟。這樣，目標(biāo)覆蓋問題將分解為不同時(shí)間尺度的兩個(gè)子任務(wù)，也就是目標(biāo)分配和目標(biāo)跟蹤。此時(shí)，協(xié)調(diào)者和執(zhí)行者均可以直接采用當(dāng)前流行的單智能體強(qiáng)化學(xué)習(xí)方法進(jìn)行訓(xùn)練優(yōu)化。這里，協(xié)調(diào)者的團(tuán)隊(duì)獎(jiǎng)賞取決于覆蓋率；每個(gè)執(zhí)行者的獎(jiǎng)賞只跟相機(jī)與被分配的目標(biāo)之間的角度偏差有關(guān)。

為了實(shí)現(xiàn)可擴(kuò)展泛化的分層結(jié)構(gòu)，我們?nèi)孕枰朔蓚€(gè)挑戰(zhàn)：1）對(duì)于協(xié)調(diào)者，需要能夠靈活處理可變數(shù)量的傳感器和目標(biāo)之間分配，因?yàn)椴煌瑘?chǎng)景下相機(jī)網(wǎng)絡(luò)和目標(biāo)分布會(huì)有很大差異；2）對(duì)于執(zhí)行者，需要能夠在給定任何目標(biāo)組合時(shí)，都能表現(xiàn)良好。就像軍隊(duì)中的士兵要無條件服從上級(jí)命令，執(zhí)行任務(wù)。為此，我們采取了一系列實(shí)用方法來應(yīng)對(duì)這些挑戰(zhàn)，采用了自注意力模塊來處理變長(zhǎng)的輸入并獲得一個(gè)與輸入順序無關(guān)的狀態(tài)表示。為了更好的估計(jì)全局價(jià)值，我們對(duì)每一對(duì)傳感器——目標(biāo)分配的邊際貢獻(xiàn)(marginal contribution)進(jìn)行了近似估計(jì)(approximate marginal contribution, AMC)，從而更精確地估計(jì)和分解全局價(jià)值，引導(dǎo)協(xié)調(diào)者學(xué)習(xí)更有效的分配策略。對(duì)于執(zhí)行者，提出了基于目標(biāo)條件的過濾器以去除與被分配目標(biāo)無關(guān)的觀測(cè)信息，從而提高執(zhí)行者策略的魯棒性?？紤]到訓(xùn)練的穩(wěn)定性，整體訓(xùn)練策略采用了二階段分步訓(xùn)練方式進(jìn)行。對(duì)目標(biāo)集進(jìn)行采樣，生成偽目標(biāo)來訓(xùn)練執(zhí)行者策略；然后利用現(xiàn)有的執(zhí)行者策略來訓(xùn)練協(xié)調(diào)策略。從而避免共同訓(xùn)練時(shí)，協(xié)調(diào)者和執(zhí)行者因探索時(shí)不可避免的隨機(jī)性導(dǎo)致訓(xùn)練不穩(wěn)定。

最后，我們把Theory of Mind也引入到這個(gè)工作里面。這種猜想和協(xié)商的機(jī)制，我們管它叫ToM2C（Target-oriented Multi-agent Communication and Cooperation with Theory of Mind）。要解決一個(gè)問題，給定輸入以后，我們通過融合其他人的輸入來猜想其他人想跟蹤的目標(biāo)，再有選擇地和目標(biāo)不一致的對(duì)象進(jìn)行溝通，最后在Decision Maker的module來最終決定誰跟誰的策略，最終取得了非常好的跟蹤效果。

 總 結(jié) 

我們把心理學(xué)的認(rèn)知機(jī)制和博弈論結(jié)合在一起來解決主動(dòng)跟蹤問題，一系列工作取得了比較好的一個(gè)跟蹤效果。對(duì)于長(zhǎng)期目標(biāo)，我希望融合機(jī)器人學(xué)、博弈論、信息論、社會(huì)心理學(xué)等領(lǐng)域知識(shí)，最終構(gòu)建多功能、會(huì)合作、有溫度的通用機(jī)器人，服務(wù)人類社會(huì)發(fā)展。我的報(bào)告就到此結(jié)束，謝謝大家。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。