近年來人工智能技術(shù)突飛猛進(jìn)，越來越多的機(jī)器人正在走進(jìn)我們的世界。與人類一樣，機(jī)器人在執(zhí)行日常任務(wù)時(shí)往往需要具備一定的空間物理推理能力。具備這種能力不僅使機(jī)器人可以完成指定任務(wù)，更能讓他們避免在執(zhí)行任務(wù)時(shí)作出對(duì)人類有潛在危害的行為。

空間物理推理是重要且有趣的領(lǐng)域。近日，在雷鋒網(wǎng) AI 研習(xí)社公開課上，澳大利亞國立大學(xué)葛笑雨博士就帶領(lǐng)大家認(rèn)識(shí)定性物理推理并感受其中的樂趣。公開課回放視頻網(wǎng)址：http://www.mooc.ai/open/course/531

葛笑雨：Dorabot 算法團(tuán)隊(duì)負(fù)責(zé)人，澳大利亞國立大學(xué)博士，計(jì)算機(jī)科學(xué)系人工智能專業(yè)，導(dǎo)師 是 Jochen Renz，主要研究方向?yàn)榭臻g物理推理，研究成果在 IJCAI、AAAI、ECAI、KR 上發(fā)表過。

分享主題：應(yīng)用于智能體（Agent）的空間物理定性推理技術(shù)

分享提綱：

1. 空間物理推理為什么重要

2. 空間物理推理的背景與現(xiàn)狀

3. 定性空間物理推理的未來

4. AI Birds 人工智能比賽 (www.aibirds.org)

5. 在機(jī)器人領(lǐng)域的實(shí)踐 （Dorabot 相關(guān)）

雷鋒網(wǎng) AI 研習(xí)社將其分享內(nèi)容整理如下：

我們本次的主題為：智能體（Agent）的空間物理推理。智能體，英文名是 Agent，它可以使用一些人工智能算法做一些事情，通過它自己的感知、規(guī)劃與環(huán)境進(jìn)行交互。空間物理推理，指的則是通過我們觀測(cè)到的空間和物理信息推出一些有用的信息。

大家都知道，很多術(shù)語原生詞都為英文，由于時(shí)間緊迫以及為了保證講述的準(zhǔn)確性，因此后面都使用英文 PPT。

我們今天的話題聚焦于 Motivating。首先，探討一下為什么我們需要空間物理推理？

包括機(jī)器人等硬件形體的 AI Agent 正逐漸走入我們的生活，它以前一般都存在于軟件中，對(duì)現(xiàn)實(shí)造成的影響不大，但是進(jìn)入現(xiàn)實(shí)生活中會(huì)對(duì)我們的生活造成影響，一旦出現(xiàn)一些 bug 或者不能完整地理解它們所處的環(huán)境，就可能做出一些危害人類的行為。而我們現(xiàn)實(shí)世界到處充滿了空間與物理元素，我們平時(shí)做的一些例如搬東西、打包行李以及倒水倒酒等事情，都需要對(duì)空間與物理具備處理能力，而機(jī)器人一旦進(jìn)入現(xiàn)實(shí)世界，也需要具備這種空間物理處理能力。

問大家一個(gè)問題：在解決這些問題時(shí)，你們是怎么思考的呢？

有一種方法是在腦海里進(jìn)行仿真、推演、想象?？从疫呥@張定滑輪的示意圖，當(dāng)我用手拉起這根線，大家就會(huì)想下面這個(gè)箱子會(huì)怎么動(dòng)。這個(gè)時(shí)候我們就在進(jìn)行仿真，會(huì)想：當(dāng)我這根線拖動(dòng)時(shí)，這個(gè)輪子就會(huì)上來，下面和最下面的輪子也都會(huì)上來，最后箱子也跟著上來了。

基于這種觀察，這就形成了一個(gè)理論：我們?nèi)四X中也許存在一種噪聲牛頓仿真器（Nosiy Newtonian Simulator）。每當(dāng)我們進(jìn)行推理的時(shí)候，我們就會(huì)使用它。

當(dāng)情況變得復(fù)雜時(shí)，我們會(huì)怎么做？大家可以看下 PPT 下方這個(gè)圖——齒輪，當(dāng)人去搖動(dòng)前面的桿，右邊的齒輪會(huì)怎么轉(zhuǎn)動(dòng)呢？順時(shí)針還是逆時(shí)針？遇到這個(gè)問題，我們就會(huì)進(jìn)行推理，拿出手、筆和腦子去推算齒輪會(huì)怎么動(dòng)。Hegarty 就提出了一個(gè)理論讓這兩種方式完美融合在一起。

當(dāng)一個(gè)機(jī)器人來到這個(gè)世界，需要具備什么能力？

首先，它要理解世界的空間和物理性質(zhì)，之后，才能理解空間上的變化，而這些變化，往往又是通過物理交互所產(chǎn)生的。最后，它需要知道動(dòng)作執(zhí)行后的結(jié)果。

舉個(gè)例子，搭積木搭成了塔時(shí)，如果要在塔上放一個(gè)方塊，這個(gè)方塊對(duì)這個(gè)塔會(huì)有什么影響？我們必須先理解方塊和塔所組成的結(jié)構(gòu)的性質(zhì)以及放這個(gè)動(dòng)作所能產(chǎn)生的空間上的變化，這樣我們才能預(yù)測(cè)到方塊放下去會(huì)對(duì)塔有什么影響。

在最近幾年，學(xué)術(shù)界一直在推動(dòng) Intelligent Physical Systems（在這里我們直接使用機(jī)器人一詞）。首先機(jī)器人必須是安全的，我們才允許它執(zhí)行動(dòng)作，如果你站在它旁邊影響了它的執(zhí)行路徑，它就有可能把你傷到，那就要求它們必須知道它們的目標(biāo)造成的結(jié)果。再者，我們的世界是連續(xù)的，存在無限的動(dòng)作，例如當(dāng)我們要讓機(jī)器人將水放到桌子上，我們就需要給它放置的坐標(biāo)，而這個(gè)坐標(biāo)的可能性也是無限的。此外，機(jī)器人的感知是不完美的，因此機(jī)器人一旦發(fā)現(xiàn)做出的動(dòng)作與預(yù)期的不一樣，它就需要調(diào)整它的世界觀。

定性物理在 AI 出現(xiàn)的時(shí)候就出現(xiàn)了。研究者用定性化的語言去描述各種物理、空間問題。到 90 年代末漸漸沉寂。

然而，現(xiàn)在學(xué)術(shù)界為什么又對(duì)這個(gè)感興趣？因?yàn)槲覀儺?dāng)下這個(gè)時(shí)代，硬件和機(jī)器學(xué)習(xí)技術(shù)都在飛速發(fā)展，越來越多機(jī)器人被應(yīng)用于工業(yè)行業(yè)，也有一部分進(jìn)入民用。商業(yè)化的推動(dòng)和技術(shù)的發(fā)展，讓我們對(duì)定性物理這個(gè)非常難的領(lǐng)域又有了期待。

定性物理，就是用一種符號(hào)化的語言去表達(dá)物理系統(tǒng)，從而我們就可以用一些算法和驗(yàn)證方法去預(yù)測(cè)這個(gè)系統(tǒng)的行為。當(dāng)這種符號(hào)化語言完善后，我們就可以預(yù)測(cè)系統(tǒng)在未來任何一個(gè)時(shí)間發(fā)生的行為——預(yù)測(cè)這個(gè)系統(tǒng)一定不會(huì)做什么事情，它就不會(huì)做什么事情。

為什么物理推理是一個(gè)非常難的問題？

首先是它的計(jì)算復(fù)雜性非常高，舉幾個(gè)例子：

第一個(gè)跟蹤光線。在空間的某一點(diǎn)打出一束光，假設(shè)空間有鏡片、障礙物，光會(huì)發(fā)生折射與反射，當(dāng)我們想預(yù)測(cè)光在未來某一時(shí)間點(diǎn)的位置時(shí)，這個(gè)問題就是一個(gè)圖靈完全的問題，即我們現(xiàn)在可以通過讓光線來模擬圖靈機(jī)。

第二個(gè)桌球問題。這也是一個(gè)圖靈完全問題，用桌球來模擬圖靈機(jī)——曾被數(shù)學(xué)證明過，當(dāng)這個(gè)球打出，假設(shè)球之間發(fā)生的是無損失的碰撞，預(yù)測(cè)它將落到哪個(gè)位置。它有一個(gè)理論 Ergodic motion，只要給這個(gè)球無限的時(shí)間，當(dāng)這個(gè)球不停地動(dòng)，軌跡會(huì)布滿這個(gè)臺(tái)球桌。力越大，走得越多，覆蓋范圍越大，球在這里是沒有體積的點(diǎn)。當(dāng)然，球的初始方向選擇不當(dāng)也會(huì)出現(xiàn)循環(huán)的軌跡。

第三個(gè)物理推理問題，比如我有一個(gè)學(xué)弟就曾證明出來 Angry Birds 是一個(gè) NP-hard 問題。

在這三個(gè)問題中，我們做個(gè)預(yù)測(cè)都這么難，那么在無限多的動(dòng)作里選擇一個(gè)動(dòng)作做規(guī)劃和推理，就是一個(gè)更加難的問題了。

下圖中，左上圖是一個(gè)認(rèn)知科學(xué)的實(shí)驗(yàn)，黑色邊界是一個(gè)打不透的墻，里面有一個(gè)小球往右下運(yùn)動(dòng)，會(huì)先到黑墻還是紅墻？我們都知道最終會(huì)到紅墻，但是如果用仿真的方法（預(yù)測(cè)），它們會(huì)持續(xù)隨機(jī)采樣，雖然大多數(shù)情況下結(jié)果都會(huì)是——紅墻，但是一旦我在墻上開一個(gè)小孔，隨機(jī)采樣就不一定成功。

右上圖是一位專家解決這個(gè)球在空間中運(yùn)動(dòng)的問題。給定軌跡后，球最終會(huì)是怎樣的軌跡和狀態(tài)？在定性物理中，我們會(huì)把空間離散化變成幾個(gè)區(qū)域（右下圖），小箭頭指球在這個(gè)區(qū)域可以前進(jìn)的方向，同時(shí)，我們也有自己的一套規(guī)則和求狀態(tài)的描述來知道系統(tǒng)去推理球的運(yùn)動(dòng)方向，在這里不展開，有興趣可以參考一下 1980 年 Forbus 的這篇文章。左下圖是在一個(gè) 3D 高爾夫球場(chǎng)，預(yù)測(cè)球的運(yùn)動(dòng)的問題，這是我最近比較關(guān)注的問題。

還有一個(gè)案例是，F(xiàn)orbus 曾經(jīng)用約束力學(xué)（Constrained Mechanics）去描述鐘表，用符號(hào)化的推理和表達(dá)模擬時(shí)鐘的走動(dòng)。

他當(dāng)時(shí)使用非常古老的掃描儀將零件掃描（如中間圖所示），每個(gè)齒輪都有自己的 ID 和全描述（最右圖），可以通過描述去推理時(shí)鐘是怎么轉(zhuǎn)動(dòng)的。在工業(yè)應(yīng)用中，定性物理推理往往被用來定性的分析一個(gè)復(fù)雜物理系統(tǒng)的性質(zhì)。其能快速得出初步的定性的結(jié)果。根據(jù)結(jié)果，再?zèng)Q定是否要進(jìn)一步進(jìn)行嚴(yán)密的仿真。

稍微講一下表達(dá)方法。

首先，方向可以離散化和符號(hào)化，提到方向關(guān)系問題，在左圖中會(huì)說 B 在 A 的 S6 方向，而右圖中會(huì)說 B 在 A 的右邊。同時(shí)，旋轉(zhuǎn)和運(yùn)算都可以符號(hào)化，這樣就能在不能求到精確值的情況下，依舊能得到比較好用的解。此外，拓?fù)浣Y(jié)構(gòu)符號(hào)化后，可以描述兩個(gè)空間物體的相離、相交或者包含等拓?fù)潢P(guān)系。比如右圖描述 2D 空間，機(jī)器人想將易拉罐扔到垃圾桶，我們同樣采取了空間離散化來進(jìn)行表達(dá)，另外，我們通過對(duì)這個(gè)場(chǎng)景進(jìn)行描述，能夠做模型追蹤，還能進(jìn)行形式化驗(yàn)證機(jī)器人對(duì)所處的環(huán)境所造成的影響。

接下來講推理。

第一個(gè)就是字面的推理，指在有限、不精確的信息里面，我們還能找到一些比較有用的結(jié)果。

第二個(gè)是一致性，即探索空間中物體的關(guān)系是否真實(shí)，是否會(huì)有不正常的情況。左上圖的案例是最簡(jiǎn)單的事件表達(dá)方法，before 指 事件 A 發(fā)生在事件 B 之前，meet 指 A、B 相鄰發(fā)生，依次類推。右下圖，說的就是從 A 和 B 的關(guān)系和 B 和 C 的關(guān)系中推出 A 和 C 的關(guān)系。

上面講的是定性物理，而對(duì)于物理推理，還有一個(gè)流派叫仿真推理（Simulation-based reasoning），它通過不停做仿真，用概率分布做采樣，得到可接受的解。比如問到下面這個(gè)塔會(huì)向左倒還是向右倒的問題，我們的腦子就會(huì)不停做仿真、預(yù)測(cè)，最后得到答案。不過，這個(gè)方法還是存在很多問題的，仿真很難做到盡善盡美，根基就不太穩(wěn)的話，仿真的結(jié)果就不能很精確。

之前講到很多圖靈完全問題，就是指你給它輸入，它會(huì)停機(jī)，我們無法在有限的時(shí)間里確定答案。

而當(dāng)我們給這個(gè)問題設(shè)定一個(gè)時(shí)間限制的時(shí)候，圖靈完全問題就會(huì)變成半圖靈問題或者一個(gè)有效算法可以解決的問題。當(dāng)我們遇到一個(gè)計(jì)算很復(fù)雜的問題，可以找出一個(gè)可被利用的結(jié)構(gòu)，通過多項(xiàng)式算法或者估算的方式去解決。

提一下我們這個(gè)領(lǐng)域一直在研究的三個(gè)問題：

動(dòng)作預(yù)測(cè)問題：比如打高爾夫球——打出第一桿怎么去預(yù)測(cè)球去哪。

感知：大家要注意視覺是感知的一種，感知也可以感知物體的物理性質(zhì)。

規(guī)劃：前兩個(gè)問題解決后我們才能談規(guī)劃，需要對(duì)這個(gè)世界的感知、行為理解，最后需要一個(gè)算法從上面的行為中找解。

目前主流的物理推理包括以下四個(gè)：

第一個(gè)是仿真推理（Simulation-based reasoning）。在吳同學(xué) 2015 年的這篇論文中，探索用手推一下這個(gè) Cube，物體會(huì)發(fā)生怎樣的運(yùn)動(dòng)的問題。實(shí)驗(yàn)中，系統(tǒng)首先有一套深度學(xué)習(xí)去學(xué)習(xí)它的物理性質(zhì)，再去（不停）做仿真，直到找到一個(gè)概率很高的結(jié)果做預(yù)測(cè)。最后通過真正去推這個(gè) Cube 得到真實(shí)結(jié)果，去跟之前的預(yù)測(cè)做比較。

第二個(gè)是遷移學(xué)習(xí)（Transfer learning），即在仿真中進(jìn)行深度學(xué)習(xí)，我對(duì)這個(gè)領(lǐng)域我不太了解就不多說，不過我建議有需要的同學(xué)使用 Mujoco 這個(gè)物理仿真器。

第三個(gè)是聯(lián)合任務(wù)規(guī)劃（Combined-task planning），它跟物理推理沒什么關(guān)系，但是跟機(jī)器人相關(guān)。它指在抽象層面用定性物理去找到定性的解，發(fā)現(xiàn)行為可執(zhí)行后，就會(huì)用數(shù)字模型計(jì)算數(shù)值的解。

第四個(gè)是定性物理推理（Qualitative physical reasoning），這也是我主要在研究的領(lǐng)域。領(lǐng)域背景在此不多做介紹，大家感興趣可以去看一下 Davis 的這篇《物理推理調(diào)查》（Physical reasoning survey）。而我之前做的研究主要是把物理推理用到感知、運(yùn)動(dòng)、穩(wěn)定性和解釋物理運(yùn)動(dòng)這些方面。比如下圖中我動(dòng)了一下木塊，要找出到底動(dòng)了哪一塊，就可以使用這個(gè)方法，推理出來所有有可能被動(dòng)過的木塊。

研究過程中，我總結(jié)了一些方法論：

第一，給定一個(gè)問題，去設(shè)計(jì)一個(gè)好的定性表達(dá)方式，它需要要保證能涵蓋解，同時(shí)，該表達(dá)方式的解跟其他的有誤導(dǎo)的解應(yīng)該是可區(qū)別的。

第二，表達(dá)方式會(huì)形成一個(gè)約束網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)上進(jìn)行推理，就能拿到一套定性的解，但是解還是太模糊。

第三，在被縮減的解空間進(jìn)行數(shù)值計(jì)算，最終得到具體的解。

第四，得到解之后，還需要根據(jù)在現(xiàn)實(shí)環(huán)境中的反饋對(duì)模型進(jìn)行更改。

為了鼓勵(lì)世界范圍內(nèi)的研究者一起研究該領(lǐng)域，我們 2012 年開始舉辦 AI Birds 國際人工智能比賽。

我們會(huì)提前幾天去設(shè)置游戲關(guān)卡，關(guān)卡中就涉及到物理推理的因素。此外，我們還做了一套服務(wù)器，所有的 AI 都部署在獨(dú)立的筆記本上，AI 只能從服務(wù)器獲得游戲截圖。而游戲動(dòng)作包括發(fā)射小鳥，以及點(diǎn)擊屏幕觸發(fā)小鳥的技能。

六年以來，共有三十幾個(gè)國家的四十幾個(gè)參賽隊(duì)伍參與比賽，其中表現(xiàn)最佳的幾個(gè)參賽隊(duì)伍使用的方法包括：

邏輯編程（Logic programming）：用符號(hào)化的語言描述場(chǎng)景再進(jìn)行符號(hào)化的推理，找出獲勝策略。

調(diào)試法（Heuristics-based）：其中一個(gè)韓國隊(duì)伍使用的調(diào)參方法，最后調(diào)的參數(shù)非常好，取得了不錯(cuò)的成績。

仿真（Simulation）：因?yàn)橛螒虻奈锢硪媸遣槐还嫉?，參賽?duì)伍是不知道參數(shù)的，因此有一些參賽隊(duì)伍自己用 Box2D 寫了一個(gè)類似的環(huán)境，通過自己的仿真去玩，但是 因?yàn)橛螒蛑?Action 的可能性非常多，他們無法很有效的找到最佳 Action。

機(jī)器學(xué)習(xí)（Machine learning）：2012/2013 年的時(shí)候深度學(xué)習(xí)還沒有起飛，大家普遍使用經(jīng)典機(jī)器學(xué)習(xí)方法。

至今所有的參賽選手的 AI 都是貪心的（greedy-based），意思是說他們?cè)诋?dāng)前時(shí)刻只做對(duì)當(dāng)前最有益的事情。例如，面對(duì)圖中的關(guān)卡，貪心的算法會(huì)采用獲得當(dāng)前最高得分的方法，即盡量多的破壞當(dāng)前障礙物。但是藍(lán)色的冰一旦被打掉，就會(huì)掉下來堵住路，使他們最終無法打到豬。而可取的方式是，他們可以放棄掉藍(lán)色的小鳥，用黃色的小鳥打掉木頭，再打掉豬。

我們這個(gè)比賽明年會(huì)在澳門舉行，歡迎大家參加。

在 ANU 的物理推理研究組，主要做三件事情：

感知：從多個(gè)視圖的照片中，找出真正的結(jié)構(gòu)。

知識(shí)表示和推理：例如我一個(gè)師弟 2018 年發(fā)表論文講怎么統(tǒng)一空間表達(dá)法；我近一年則關(guān)注在 3D 空間中做一些理論去描述空間物理運(yùn)動(dòng)。

物理、空間規(guī)劃：比如堆盤子的實(shí)驗(yàn)。

重點(diǎn)說一下我目前所在公司 Dorabot 的研究和開發(fā)。我是算法研究負(fù)責(zé)人，下面為四個(gè)我認(rèn)為比較有意思的方向：

第一個(gè)方向，對(duì)機(jī)器人進(jìn)行形式化驗(yàn)證。我們將一套空間表達(dá)方法邏輯化，對(duì)機(jī)器人進(jìn)行驗(yàn)證，以保證機(jī)器人不會(huì)做出異常行為。

第二個(gè)方向，多機(jī)器人協(xié)作。比如，探索機(jī)器人怎么從類型不同傳感器的輸入找出它們所處世界的真實(shí)樣貌，實(shí)現(xiàn)機(jī)器人本地協(xié)作，以及在 2D 仿真都是元胞機(jī)（圖靈完全）的情況下，怎么解決 3D 環(huán)境中多機(jī)器人的仿真、規(guī)劃和協(xié)作等問題。

第三個(gè)方向，感知問題。包括從原始點(diǎn)云檢測(cè)空間實(shí)體，比如機(jī)器人洗盤子，看到廚房一堆碗，需要分清哪個(gè)是盤子，哪個(gè)是抹布，這就需要使用深度感知器去觀察點(diǎn)云；以及通過實(shí)質(zhì)性空間變化去跟蹤空間實(shí)體。

第四個(gè)方向，規(guī)劃。比如對(duì)將箱子裝入集裝箱、拖車或輪船等地方的動(dòng)作進(jìn)行規(guī)劃，以及對(duì)靜態(tài)和動(dòng)態(tài)穩(wěn)定性的考量。

上面四個(gè)方向都是我們公司在研發(fā)的問題，感興趣的同學(xué)可以加入我們這個(gè)算法團(tuán)隊(duì)。

你可以選擇我們公司的研究和開發(fā)方向之一，將其進(jìn)行形式化及建模，比如說將這些話題形式化成 SAT、優(yōu)化、搜索以及機(jī)器學(xué)習(xí)等問題，找到合理建模方式后，看看有什么建議的算法，來跟我進(jìn)行交流。你可以通過郵件 dream@dorabot.com 跟我聯(lián)系。

另外我們公司急需以下崗位，歡迎大家的加入。

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請(qǐng)到雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))(公眾號(hào)：雷鋒網(wǎng)) AI 研習(xí)社社區(qū)觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。