作者 | 賴(lài)文昕

編輯 | 陳彩嫻

與位于宇宙中心硅谷灣區(qū)的伯克利、斯坦福不同，被視為銹帶區(qū)復(fù)興唯一希望的卡內(nèi)基梅隆大學(xué)（以下簡(jiǎn)稱(chēng)“CMU”）坐落在上世紀(jì)的工業(yè)重鎮(zhèn)匹茲堡。

計(jì)算機(jī)科學(xué)學(xué)院的機(jī)器人研究所（以下簡(jiǎn)稱(chēng)“RI”）成立于1979年，是世界上第一個(gè)致力于機(jī)器人研究的大學(xué)級(jí)研究所。

這座機(jī)器人搖籃在 45 年間誕生了無(wú)數(shù)耀眼成就，但在如今技術(shù)更迭到由 AI 方向領(lǐng)銜、以仿真與強(qiáng)化學(xué)習(xí)算法方為“技術(shù)先進(jìn)”之際，以傳統(tǒng)機(jī)器人學(xué)見(jiàn)長(zhǎng)的 CMU 能否跟上具身智能的熱潮？

答案毋庸置疑：有人加入了最前沿?zé)衢T(mén)的企業(yè)，或在OpenAI研究機(jī)器人基礎(chǔ)模型，或到特斯拉參與人形機(jī)器人Optimus 的研發(fā)；有人選擇了創(chuàng)業(yè)，賓通智能、星猿哲、木牛、雅可比，涵蓋工廠、物流、商超場(chǎng)景；有人走進(jìn)了高校，在北大、中大、USCD 等大學(xué)繼續(xù)具身智能的研究。

回到紐維爾·西蒙樓，一切才剛剛開(kāi)始。

堅(jiān)守「?jìng)鹘y(tǒng)」Robotics

人形機(jī)器人控制算法的演進(jìn)分為三個(gè)階段：一是經(jīng)典模型控制，如 LIPM+ZMP，以 ASIMO 為代表；二是高級(jí)模型控制，即如 MPC+WBC 的動(dòng)態(tài)模型和最優(yōu)控制算法，以 Atalas 為代表；三是仿真和強(qiáng)化學(xué)習(xí)的結(jié)合。前兩者均基于模型（Model-Based），第三代則轉(zhuǎn)為基于學(xué)習(xí)（Learning-Based）。

一般而言，“技術(shù)先進(jìn)”指技術(shù)出現(xiàn)得更晚、更年輕。在這個(gè)概念上，由 CS、AI 人才主導(dǎo)的第三代算法可以說(shuō)最為先進(jìn)，基于模型的方法也逐漸被稱(chēng)為“傳統(tǒng)機(jī)器人學(xué)”。但同時(shí)也有很多人認(rèn)為，在現(xiàn)實(shí)的應(yīng)用中，世界上只有一種先進(jìn)的技術(shù)，那就是行得通的技術(shù)。

2017年正值學(xué)習(xí)萌芽之際，機(jī)器人頂會(huì)ICRA中約40%的論文都與之相關(guān)，對(duì)于是否轉(zhuǎn)向，侯一凡與導(dǎo)師Matthew T. Mason有過(guò)一番對(duì)話：

Mason問(wèn)他是否考慮轉(zhuǎn)向，侯一凡深思好久后回答，目前對(duì)機(jī)器人學(xué)習(xí)（Robot Learning）興趣不大，自己關(guān)注的重點(diǎn)在解決操作，而非用學(xué)習(xí)解決操作——他不在乎方法或流派，只關(guān)注效果，哪種方法對(duì)解決問(wèn)題最有效，就會(huì)嘗試——當(dāng)時(shí)學(xué)習(xí)的成本及效果上限都遠(yuǎn)不及基于模型。

回到2015年，侯一凡從清華自動(dòng)化系畢業(yè)，來(lái)到CMU成為了剛卸任RI所長(zhǎng)、機(jī)器人操作（Manipulation）先驅(qū)Matthew T. Mason的學(xué)生。

二人的互選緣于12年進(jìn)組的周佳驥：計(jì)劃讀博的侯一凡看到師兄周佳驥在知乎回答了不少CMU與機(jī)器人的問(wèn)題，便主動(dòng)私信探討課題，就此結(jié)為好友。侯一凡覺(jué)得周佳驥做的研究很有意思，來(lái)到CMU后在周的介紹下和Mason見(jiàn)面也相談甚歡，就進(jìn)組開(kāi)工了。

曾為清華火神隊(duì)隊(duì)長(zhǎng)的侯一凡，2014年曾帶隊(duì)參加RoboCup，拿到了人形組AdultSize第三名，擅長(zhǎng)運(yùn)動(dòng)控制和步態(tài)規(guī)劃。在CMU深入探索機(jī)器人系統(tǒng)后，他逐漸領(lǐng)悟到，要讓機(jī)器人變得實(shí)用，最大的瓶頸在于手部的操作能力，而非腿部的移動(dòng)，便改變了研究重點(diǎn)。

侯一凡

操作和移動(dòng)在理論知識(shí)上有許多共通之處，尤其是在運(yùn)動(dòng)規(guī)劃和軌跡優(yōu)化方面，因此侯一凡起初打算將移動(dòng)的思路應(yīng)用于操作上。

在第一個(gè)手內(nèi)操作（In-hand Manipulation）的項(xiàng)目中，他試圖將模型做得盡可能精確，花了半年時(shí)間研究摩擦力模型，以深入理解操作中的摩擦力。

然而，兩者在實(shí)際應(yīng)用上差異顯著。對(duì)人類(lèi)來(lái)說(shuō)簡(jiǎn)單的動(dòng)作，想要精確建模卻異常困難。嚴(yán)格來(lái)說(shuō)，摩擦力并沒(méi)有完美的模型，許多操作的模型也是如此。過(guò)分追求模型的精確性，往往導(dǎo)致模型過(guò)于復(fù)雜，限制了分析和控制規(guī)劃方法的應(yīng)用，反而效果不佳。

漸漸地，侯一凡形成了對(duì)操作的清晰思路：若需建模，應(yīng)選擇簡(jiǎn)單模型，并以此設(shè)計(jì)出魯棒的控制和規(guī)劃方法。模型簡(jiǎn)單則可利用強(qiáng)大的方法獲得魯棒的解決方案，再利用這些解決方案的魯棒性去應(yīng)對(duì)實(shí)際環(huán)境中的不確定性和復(fù)雜性，而非試圖將所有復(fù)雜性和不確定性精確描述出來(lái)——這種偏向工程的思維，實(shí)際上非常有效。

受Mason的影響，侯一凡對(duì)操作的取舍也很明確。靈巧手多年來(lái)未廣泛應(yīng)用并非因?yàn)榧夹g(shù)難以實(shí)現(xiàn)，而是因?yàn)殡y以找到成本效益高的應(yīng)用方法。傳統(tǒng)上，機(jī)器人主要用于工業(yè)，一旦確定了具體應(yīng)用，通常能找到比靈巧手更適用的系統(tǒng)。

因此在研究手內(nèi)操作時(shí)，侯一凡決定簡(jiǎn)化手指的自由度，采用基本的兩指結(jié)構(gòu)，微調(diào)硬件以便于在各種姿態(tài)下進(jìn)行操作。他廣泛使用了“外部靈巧度”概念，即機(jī)器人通過(guò)與環(huán)境互動(dòng)來(lái)彌補(bǔ)手部自由度的不足，如二指夾爪也能通過(guò)與地面的接觸來(lái)豎立一本書(shū)。

接著，侯一凡轉(zhuǎn)向了更具通用性的3D物品重定向問(wèn)題，專(zhuān)注于規(guī)劃。但很快，他發(fā)現(xiàn)控制才是瓶頸——即使提供了精確的軌跡，當(dāng)時(shí)的算法也很難執(zhí)行動(dòng)作，尤其是在多接觸點(diǎn)操作中。

操作通過(guò)接觸傳遞力，每個(gè)接觸都有其模式（Contact Mode），如粘著、滑動(dòng)或脫離。即使是粘著接觸，也分為點(diǎn)到面、邊到面或邊到邊等多種類(lèi)型，這些離散狀態(tài)與運(yùn)動(dòng)的連續(xù)性形成鮮明對(duì)比。

在操作中，接觸模式的任何變化都可能導(dǎo)致環(huán)境約束和物體動(dòng)力學(xué)的突變。如果控制器不能迅速適應(yīng)這些變化，操作就會(huì)失敗。盡管一些機(jī)器人具有柔性控制，但往往只保證一般安全性，缺乏精細(xì)操作任務(wù)對(duì)機(jī)器人柔性的具體要求，難以在多接觸任務(wù)中有效應(yīng)對(duì)不確定性。

簡(jiǎn)而言之，如果能穩(wěn)健地執(zhí)行接觸模式，就能顯著提高操控控制的穩(wěn)定性。

因此，侯一凡的博士研究分為三個(gè)步驟：首先，提出了量化接觸模式魯棒性的方法，通過(guò)精確計(jì)算接觸點(diǎn)位置和姿態(tài)來(lái)評(píng)估系統(tǒng)在不同控制下的穩(wěn)定性；其次，基于這種魯棒性評(píng)估，優(yōu)化柔性控制策略以增強(qiáng)操作的抗干擾性；最后，在量化魯棒性并優(yōu)化底層控制后，將控制度量納入高級(jí)機(jī)器人規(guī)劃中，尋找一條從始至終都極為魯棒的軌跡。

侯一凡發(fā)表的論文讓機(jī)器人能夠規(guī)劃并穩(wěn)定執(zhí)行一系列接觸模式變化復(fù)雜的動(dòng)作，而非簡(jiǎn)單的抓取pick and place，這些動(dòng)作能夠在模型并不準(zhǔn)確的情況下做到穩(wěn)定多次重復(fù)，而以往這些動(dòng)作即使完成一次都很困難。同行也傳來(lái)了積極反饋，稱(chēng)這套方法不僅算法簡(jiǎn)單，而且效果顯著。

彼時(shí)，在CMU同樣選擇傳統(tǒng)robotics的還有剛完成RoboMaster 2018總決賽的前大疆技術(shù)總監(jiān)楊碩。

早在2016年底，一直想讀博但工作繁忙的楊碩就申請(qǐng)過(guò)不需提交托福和GRE成績(jī)的伯克利，并在次年初收到秋季入學(xué)的錄取通知。因想先完成好手頭的事，楊碩又推遲到2018年再入學(xué)。

2017年，楊碩在大疆深入研究了深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)，既為了探索新領(lǐng)域的知識(shí)，也為了籌備2018年的RoboMaster AI挑戰(zhàn)賽。

在研究深度強(qiáng)化學(xué)習(xí)（DRL）時(shí)，楊碩常感到一種難以名狀的挫敗：算法難以穩(wěn)定收斂，結(jié)果波動(dòng)大，對(duì)參數(shù)極為敏感，稍有調(diào)整就可能導(dǎo)致截然不同的輸出，且調(diào)整缺乏理論支持。

尤其讓楊碩不適的是，DRL忽視了機(jī)器人學(xué)的核心——能量轉(zhuǎn)換和系統(tǒng)建模。在機(jī)器人領(lǐng)域，電能和磁能轉(zhuǎn)化為動(dòng)能、力的傳遞產(chǎn)生運(yùn)動(dòng)，是一個(gè)復(fù)雜但可預(yù)測(cè)的系統(tǒng)。然而，在DRL中，這些原理被邊緣化，調(diào)整參數(shù)或神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，依據(jù)的竟并非牛頓運(yùn)動(dòng)定律。

楊碩

3月，楊碩受邀到CMU RI介紹大疆的無(wú)人機(jī)技術(shù)和RoboMaster，然后又去伯克利參加了給博士生組織的校園開(kāi)放日。

兩地的探訪經(jīng)歷讓楊碩意識(shí)到，自己在工業(yè)界的經(jīng)驗(yàn)和編程技能，更適合以產(chǎn)學(xué)合作和大型項(xiàng)目執(zhí)行能力強(qiáng)著稱(chēng)的CMU。而且，匹茲堡作為美國(guó)傳統(tǒng)工業(yè)重鎮(zhèn)，總讓楊碩想起自己的家鄉(xiāng)太原——兩者都曾因煤炭和鋼鐵而繁榮，也都在國(guó)家發(fā)展新階段中面臨挑戰(zhàn)。

種種因素影響下，楊碩在2018年來(lái)到了CMU，成為了Howie Choset的學(xué)生，研究主線是足式機(jī)器人的長(zhǎng)距離定位，應(yīng)用在四足和人形機(jī)器人上。

讀博的頭兩年里，楊碩機(jī)器人做得很好，卻一直未能發(fā)論文：他先是在六足機(jī)器人Daisy上面做狀態(tài)估計(jì)，優(yōu)化了卡爾曼濾波器以更準(zhǔn)確地估算機(jī)器人在空間中的行進(jìn)距離；接著做了個(gè)兩自由度的猴子機(jī)器人，并利用iLQR算法快速驗(yàn)證了不同構(gòu)型機(jī)器人的性能，輔助進(jìn)行了機(jī)器人參數(shù)的選擇。

“花了兩年時(shí)間讓六足機(jī)器人上樓梯，但做出樓梯上得好的機(jī)器人不是一個(gè)科學(xué)問(wèn)題，解釋清楚為什么能上樓梯才是?！睏畲T意識(shí)到，自己是重新解決了一遍已被人解決過(guò)的問(wèn)題，再用較強(qiáng)的工程能力提升機(jī)器人性能，呈現(xiàn)的結(jié)果雖好，卻沒(méi)有解決某個(gè)新的科學(xué)問(wèn)題。

茅塞頓開(kāi)后，楊碩的第一篇論文推進(jìn)的很順利，和過(guò)去重工程的工作不同，這是個(gè)非常數(shù)學(xué)且具理論性的工作，從有了想法到完成，只用了短短兩三個(gè)月。

2020年8月，楊碩復(fù)現(xiàn)了幾種帶約束的LQR算法，意識(shí)到這類(lèi)問(wèn)題是領(lǐng)域內(nèi)的挑戰(zhàn)，并萌生了將約束LQR與SLAM中的圖優(yōu)化技術(shù)相結(jié)合的創(chuàng)新想法。他和SLAM圖優(yōu)化先驅(qū) Frank Dellaert 及其學(xué)生合作，用因子圖求解有約束的最優(yōu)控制問(wèn)題，并成功發(fā)表在ICRA 2021上。

2021年初，楊碩邀請(qǐng)RI新來(lái)的年輕教授Zachary Manchester做他的另一位導(dǎo)師。Zach最初從事航天研究，其博導(dǎo)曾任NASA首席科學(xué)家，后來(lái)Zach將航天和衛(wèi)星控制中的數(shù)學(xué)和優(yōu)化理論應(yīng)用于機(jī)器人問(wèn)題，取得了顯著成效。

在Zach的指導(dǎo)下，楊碩深入掌握了航天及機(jī)器人領(lǐng)域幾十年基于模型的控制方法，還花了半年系統(tǒng)性地學(xué)習(xí)了機(jī)器人軌跡規(guī)劃的各種知識(shí)，特別加深了對(duì)非線性?xún)?yōu)化、LQR和DDP的理解。至此，他把足式機(jī)器人的建模、狀態(tài)估計(jì)、底層控制、軌跡規(guī)劃每個(gè)環(huán)節(jié)都摸了一遍。

“所謂的傳統(tǒng)方法并不等同于過(guò)時(shí)，二者是平行的，只是側(cè)重點(diǎn)不同，并無(wú)先進(jìn)與否之分?！蓖瑯邮菑拇蠼紺MU的邱迪聰告訴雷峰網(wǎng)，“CS的人更傾向于基于學(xué)習(xí)的方法，認(rèn)為它能解決所有問(wèn)題，但實(shí)際上并非如此。”

回到2013年，在中山大學(xué)軟件工程系讀大三的邱迪聰就開(kāi)始探索強(qiáng)化學(xué)習(xí)，并認(rèn)為這是機(jī)器人技術(shù)中不可或缺的一環(huán)。

作為非傳統(tǒng)機(jī)器人領(lǐng)域出身且十分推崇強(qiáng)化學(xué)習(xí)的一員，邱迪聰卻覺(jué)得，自己真正深入研究機(jī)器人始于CMU。2017年，他來(lái)到CMU讀研，由“大白之父”Christopher Atkeson和場(chǎng)地機(jī)器人之父、自動(dòng)駕駛先驅(qū)William（Red）Whittaker指導(dǎo)，研究多步優(yōu)化決策和人形機(jī)器人的雙臂靈巧操作。

在實(shí)踐中，邱迪聰發(fā)現(xiàn)RL存在時(shí)代的局限性，并不能立即廣泛應(yīng)用，應(yīng)將強(qiáng)化學(xué)習(xí)與優(yōu)化或基于模型的方法結(jié)合起來(lái)，以適應(yīng)更復(fù)雜的決策和技能學(xué)習(xí)， “畢竟目前純基于學(xué)習(xí)方法的機(jī)器人還沒(méi)實(shí)現(xiàn)任何落地，而無(wú)論黑貓白貓，能抓到老鼠的就是好貓?！?/p>

邱迪聰

進(jìn)軍 Learning

在學(xué)術(shù)研究是否轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)方法的十字路口，CMU機(jī)器人研究所（RI）中也有學(xué)者選擇了不同的道路。

2017年夏，林星宇從北京大學(xué)信息科學(xué)系畢業(yè)，進(jìn)入 CMU 讀博士學(xué)位。本科階段，他主要研究三維視覺(jué)。然而，在實(shí)時(shí)觀看AlphaGo戰(zhàn)勝李世石的比賽后，他深受啟發(fā)：基于搜索的機(jī)器學(xué)習(xí)算法不僅能夠創(chuàng)造自己的策略，還可能推動(dòng)通用人工智能（AGI）的實(shí)現(xiàn)。

林星宇意識(shí)到，這種算法的潛力不應(yīng)僅限于棋賽或游戲，而應(yīng)應(yīng)用于更實(shí)用的領(lǐng)域——機(jī)器人。

此時(shí)，機(jī)器人學(xué)與強(qiáng)化學(xué)習(xí)的交叉領(lǐng)域尚處于起步階段。伯克利人工智能實(shí)驗(yàn)室（BAIR）剛成立，全球從事此方向的研究者尖指可敲。恰逢此時(shí)，CMU機(jī)器人研究所進(jìn)入了一位新加入的助理教授——?jiǎng)倧牟死鸓ieter Abbeel組完成博士后的David Held。

林星宇被David的研究吸引，主動(dòng)聯(lián)系了進(jìn)一步面談。兩人在第一次見(jiàn)面時(shí)一拍即合，就樣本效率、從圖像中學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)等關(guān)鍵問(wèn)題展開(kāi)了深入討論。幾天后，林星宇正式加入研究團(tuán)隊(duì)，成為了David的大弟子。

初入實(shí)驗(yàn)室時(shí)，林星宇開(kāi)發(fā)了一種新算法，通過(guò)增加探索獎(jiǎng)勵(lì)，使強(qiáng)化學(xué)習(xí)智能體能夠快速適應(yīng)新環(huán)境，無(wú)需人工干預(yù)。

2017年圣誕前夜，在空蕩蕩的校園里，他獨(dú)自進(jìn)行實(shí)驗(yàn)。當(dāng)實(shí)驗(yàn)首次取得成功時(shí)，他激動(dòng)得從凳子上跳了起來(lái)。這部分科研成果的發(fā)表之路卻比較坎坷，幾次被會(huì)議拒稿后才發(fā)表在ICRA上。

在這個(gè)過(guò)程中，林星宇感到了些許挫折，但逐漸意識(shí)到了在機(jī)器人領(lǐng)域，有影響力的工作最終需要體現(xiàn)在學(xué)習(xí)新的機(jī)器人技能上。

林星宇

到2020年博士三年時(shí)，林星宇開(kāi)始研究機(jī)器人對(duì)柔性物體的操作。

機(jī)器人操作領(lǐng)域?qū)W(xué)習(xí)算法的態(tài)度仍存在疑慮：傳統(tǒng)方法在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出艱艷，研究者不理解為何要轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)算法。

面對(duì)這種疑問(wèn)，林星宇決定創(chuàng)建一個(gè)針對(duì)柔性物體的Benchmark，這也是該領(lǐng)域的首個(gè)此類(lèi)基準(zhǔn)測(cè)試。

“柔性物體的研究使機(jī)器人學(xué)更加完整。傳統(tǒng)機(jī)器人學(xué)假設(shè)操作對(duì)象是剛性物體，并在此基礎(chǔ)上做出了對(duì)物體狀態(tài)估計(jì)和動(dòng)態(tài)估計(jì)的各種假設(shè)。柔性物體的操作挑戰(zhàn)幾乎打破了所有這種假設(shè)，是構(gòu)建通用機(jī)器人的必經(jīng)之路。” 林星宇解釋他聚焦柔性物體的原因，“假如這能解決，就相當(dāng)于解決了最難的方向，能以相同的算法或系統(tǒng)解決其他機(jī)器人任務(wù)，把成果遷移過(guò)去。

通過(guò)多種算法試驗(yàn)，林星宇發(fā)現(xiàn)一種簡(jiǎn)單的搜索算法——Cross-Entropy效果卓越。該算法基于試錯(cuò)優(yōu)化動(dòng)作，其關(guān)鍵假設(shè)是：如果有仿真器能夠預(yù)測(cè)動(dòng)作結(jié)果，就可以通過(guò)簡(jiǎn)單的優(yōu)化方式選擇最佳動(dòng)作，無(wú)需依賴(lài)對(duì)復(fù)雜動(dòng)力學(xué)的強(qiáng)化學(xué)習(xí)。這一發(fā)現(xiàn)使他認(rèn)識(shí)到，學(xué)習(xí)世界模型或動(dòng)力學(xué)是機(jī)器人學(xué)中最基礎(chǔ)也是最困難的任務(wù)。

此后，他將研究重點(diǎn)轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的方法，通過(guò)將柔性物體視為粒子集合，借助圖神經(jīng)網(wǎng)絡(luò)模擬粒子間的相互作用和動(dòng)態(tài)，為機(jī)器人完成復(fù)雜任務(wù)（如平整痕褶衣物）提供了可能性。

林星宇的博士研究逐漸聚焦于構(gòu)建柔性物體的世界模型。

他認(rèn)識(shí)到，領(lǐng)域內(nèi)真正缺乏的是具有挑戰(zhàn)性的任務(wù)，而非傳統(tǒng)方法也能解決的簡(jiǎn)單問(wèn)題。通過(guò)建立Benchmark，他進(jìn)一步意識(shí)到數(shù)據(jù)驅(qū)動(dòng)的核心在于預(yù)測(cè)和動(dòng)力學(xué)建模，一旦掌握了動(dòng)力學(xué)建模，優(yōu)化就相對(duì)簡(jiǎn)單，可以通過(guò)搜索不斷提升模型的能力。

“從這個(gè)角度，機(jī)器人領(lǐng)域走在了自然語(yǔ)言前面，因?yàn)檎Z(yǔ)言模型是從預(yù)訓(xùn)練ma慢慢走向測(cè)試時(shí)計(jì)算（Test Time Computing），而機(jī)器人作為一個(gè)決策任務(wù)，從一開(kāi)始就必須要做搜索?！绷中怯钫J(rèn)為，在處理復(fù)雜任務(wù)和實(shí)時(shí)決策方面，機(jī)器人可能比語(yǔ)言模型更早地面臨和著手了類(lèi)似的挑戰(zhàn)。

除了林星宇的博導(dǎo)David Held外，CMU RI中的兩位印度教授、Skild AI創(chuàng)始人Abhinav Gupta和Deepak Pathak在AI+Robotics領(lǐng)域也十分活躍，但后者比較年輕，2020年9月才入職，所帶的博士生們都尚未畢業(yè)。

資深的Abhinav Gupta涉獵領(lǐng)域廣泛，多做視覺(jué)，也涉及機(jī)器人學(xué)與語(yǔ)言，是現(xiàn)UCSD助理教授王小龍的博導(dǎo)。

2014年，王小龍從中山大學(xué)來(lái)到CMU讀博，延續(xù)碩士時(shí)師從林倞的研究，繼續(xù)做計(jì)算機(jī)視覺(jué)，利用視覺(jué)數(shù)據(jù)的冗余性進(jìn)行深度學(xué)習(xí)的無(wú)監(jiān)督學(xué)習(xí)和視頻識(shí)別。

讀博期間，王小龍?jiān)贔AIR實(shí)習(xí)，由何愷明和Ross Girshick指導(dǎo)，在CVPR 2018發(fā)表了了非局部神經(jīng)網(wǎng)絡(luò)（Non-local Network）的工作，通過(guò)其創(chuàng)新的全局上下文聚合和自注意力機(jī)制，在視頻分類(lèi)、語(yǔ)義分割、目標(biāo)檢測(cè)等多個(gè)領(lǐng)域內(nèi)提升了模型的性能，并且由于其計(jì)算效率高和易于集成的特點(diǎn)備受關(guān)注，至今引用量已近1.2萬(wàn)。

2018年，隨著導(dǎo)師Abhinav創(chuàng)立了Facebook的匹茲堡實(shí)驗(yàn)室與機(jī)器人組，王小龍也開(kāi)始接觸機(jī)器人導(dǎo)航、操作等相關(guān)研究，并在ICLR 2019發(fā)表了自己的首個(gè)RL+Robotics的工作。

這是關(guān)于將語(yǔ)義先驗(yàn)知識(shí)融入語(yǔ)義導(dǎo)航任務(wù)的研究。人類(lèi)能利用多年來(lái)建立的語(yǔ)義或先驗(yàn)知識(shí)來(lái)高效搜索和導(dǎo)航，比如找杯子時(shí)會(huì)搜索咖啡機(jī)附近的櫥柜，找水果時(shí)則會(huì)查看冰箱。為了讓機(jī)器人具備相似的導(dǎo)航能力，王小龍通過(guò)融合語(yǔ)義先驗(yàn)知識(shí)到深度強(qiáng)化學(xué)習(xí)框架中，利用圖卷積網(wǎng)絡(luò)提升智能體在新場(chǎng)景中導(dǎo)航至目標(biāo)物體的性能和泛化能力。

2019年9月，博士畢業(yè)的王小龍?jiān)贐AIR做了一年博士后，受Alexei Efros和Trevor Darrell指導(dǎo)，期間也和彼時(shí)在OpenAI的吳翼一起指導(dǎo)過(guò)多智能體強(qiáng)化學(xué)習(xí)的論文。

次年7月，王小龍加入U(xiǎn)CSD視覺(jué)計(jì)算中心任教，帶領(lǐng)實(shí)驗(yàn)室研究視覺(jué)與機(jī)器人技術(shù)，后者側(cè)重于研究機(jī)器人手部操作、腿部移動(dòng)的學(xué)習(xí)和低層控制（Low-level Control）。

王小龍

除了王小龍外，在CMU從視覺(jué)切入具身智能的研究者還有梁小丹與仉尚航。

梁小丹2013年起在中山大學(xué)讀博，是林倞的首位博士生，和王小龍是同門(mén)。

博士期間，梁小丹主要研究人物解析，提出的庫(kù)在當(dāng)時(shí)是人物解析領(lǐng)域最大的，連續(xù)五年舉辦的workshop和比賽也吸引了眾多參與者，許多人像分割、解析和編輯的研究也都基于其方法和數(shù)據(jù)。在分割算法后，因?qū)煂?duì)復(fù)雜推理特別感興趣，梁小丹就轉(zhuǎn)向推理相關(guān)的研究。

視覺(jué)研究更側(cè)重于解決具體問(wèn)題，如架構(gòu)和圖像模型的構(gòu)建及因果關(guān)系的分析，她在申請(qǐng)博士后時(shí)希望體驗(yàn)不同技術(shù)方向，特意選擇了與之前導(dǎo)師關(guān)聯(lián)甚少的邢波（Eric Xing），想在CMU的機(jī)器學(xué)習(xí)系（MLD）開(kāi)闊視野，探索底層和基礎(chǔ)問(wèn)題。

邢波也希望有些偏視覺(jué)的工作，梁小丹便在2016年7月來(lái)到CMU，成為當(dāng)時(shí)組里唯一一個(gè)視覺(jué)方向的博士后，延續(xù)圖像分割的工作。

在CMU，梁小丹主要做機(jī)器人視覺(jué)語(yǔ)言導(dǎo)航。從軟到硬的轉(zhuǎn)變十分絲滑，讓機(jī)器人到達(dá)某位置最關(guān)鍵的是視覺(jué)導(dǎo)航，而視覺(jué)導(dǎo)航再往下就是對(duì)場(chǎng)景的分割理解、物體檢測(cè)問(wèn)題，就是自己的老本行。

“很多分割算法都被用在搜索或編輯中，但跟機(jī)器人交互其實(shí)是非常自然的過(guò)渡，所以就是從 2D 走到 3D 世界和機(jī)器人交互。”

在梁小丹看來(lái)，具身智能并非從天而降，“30年前SLAM也可以理解為具身智能，而現(xiàn)在的具身智能考慮落地應(yīng)用，普遍認(rèn)為抓取很難，SLAM等導(dǎo)航算法非常成熟，其實(shí)是上一代的技術(shù)已被應(yīng)用，現(xiàn)在開(kāi)始想下一代的應(yīng)用場(chǎng)景，探索下一代的技術(shù)?！?/p>

梁小丹

2018年底，在婉拒OpenAI、CMU與騰訊AI Lab等多個(gè)offer后，梁小丹回到母校中山大學(xué)任教?；貒?guó)后，梁小丹也開(kāi)始接觸真機(jī)，并與智能工程學(xué)院里的同僚們合作交流，特別是擅長(zhǎng)硬件與控制的同事。

目前，梁小丹正帶領(lǐng)團(tuán)隊(duì)做具身大模型，希望把多模態(tài)大模型加上3D感知能力，做具身智能領(lǐng)域的GPT-4o。

此外，為了改善之前仿真環(huán)境缺乏真實(shí)感和細(xì)節(jié)的問(wèn)題，梁小丹團(tuán)隊(duì)還發(fā)布了仿真平臺(tái)InfiniteWorld，能通過(guò)簡(jiǎn)單拍照將現(xiàn)實(shí)場(chǎng)景如咖啡廳等精確復(fù)制到虛擬環(huán)境中，實(shí)現(xiàn)物品的交互功能，以促進(jìn)機(jī)器人在復(fù)雜環(huán)境中的泛化能力。

“以前的仿真平臺(tái)場(chǎng)景不太真實(shí)，也缺少紋理，因?yàn)樵谡鏅C(jī)上訓(xùn)練測(cè)試性能不佳，很少能被機(jī)器人廠商使用，所以首先得把虛擬環(huán)境的真實(shí)感提升上去?！?/p>

仉尚航也是在2013年開(kāi)始讀博，她從北京大學(xué)讀完研到CMU，收到了博導(dǎo)José Moura教授（美國(guó)工程院院士、美國(guó)發(fā)明院院士、IEEE/AAAS Fellow、前IEEE主席）給的難題：對(duì)整個(gè)紐約市各路口監(jiān)控視頻中的車(chē)輛進(jìn)行檢測(cè)計(jì)數(shù)與流量分析。

面對(duì)缺乏具體數(shù)據(jù)集和思路的挑戰(zhàn)，仉尚航自己定義研究問(wèn)題，開(kāi)啟了領(lǐng)域自適應(yīng)（Domain Adaptation）的研究。此時(shí)正值深度學(xué)習(xí)初興之際，經(jīng)過(guò)調(diào)研后，她提出了基于深度學(xué)習(xí)的解決方案。剛開(kāi)始時(shí)，José不太信任此方法，在她匯報(bào)時(shí)經(jīng)常一句接一句地提出質(zhì)疑，讓她不停在白板上推公式。

因?qū)焾?jiān)持采用非深度學(xué)習(xí)方法低秩回歸（Low Rank Regression），仉尚航便采取了一個(gè)工作量倍增但“兩全其美”的解決方案：對(duì)同一個(gè)問(wèn)題和同樣的數(shù)據(jù)，同時(shí)設(shè)計(jì)深度學(xué)習(xí)和非深度學(xué)習(xí)兩種方法進(jìn)行研究，一年后均取得成功并發(fā)表在CVPR上。經(jīng)歷了該工作從問(wèn)題定義到數(shù)據(jù)收集與標(biāo)注，從傳統(tǒng)機(jī)器學(xué)習(xí)方法到深度學(xué)習(xí)方法的完整過(guò)程，仉尚航的科研能力得到了很大提升。

此后，José就對(duì)她特別信任和贊賞，無(wú)論她提出什么想法，總會(huì)頻頻點(diǎn)頭認(rèn)可、大力稱(chēng)贊，在此鼓勵(lì)下，她愈發(fā)敢于探索新方法、嘗試新研究，后來(lái)做科研也越來(lái)越順利，產(chǎn)出也越來(lái)越多，沿著模型泛化、領(lǐng)域自適應(yīng)、有限樣本學(xué)習(xí)的方向繼續(xù)推進(jìn)。

此時(shí)正是自動(dòng)駕駛的火熱時(shí)期，仉尚航也通過(guò)高通創(chuàng)新競(jìng)賽將研究場(chǎng)景從車(chē)輛檢測(cè)計(jì)數(shù)過(guò)渡到自動(dòng)駕駛，并使用深度學(xué)習(xí)方法研究自動(dòng)駕駛的泛化視覺(jué)感知，關(guān)注領(lǐng)域自適應(yīng)和有限樣本學(xué)習(xí)的難題。

因其一直對(duì)機(jī)器人方向很感興趣，來(lái)CMU的最大動(dòng)力也是因?yàn)槠銻I久負(fù)盛名，讀博期間，她經(jīng)常跑到RI與在Matthew T. Mason組做博士后的北大師兄萬(wàn)偉偉（現(xiàn)大阪大學(xué)副教授）和在John Dolan組讀博的董馳宇、許聞達(dá)探討，也發(fā)表了一篇關(guān)于機(jī)器人操作的工作。

仉尚航

2018年博士畢業(yè)后，仉尚航來(lái)到了“夢(mèng)寐以求”的灣區(qū)，在Eric Xing的創(chuàng)企Petuum做了一年科研后，更加堅(jiān)定了做教職的決心，就來(lái)到伯克利的 Berkeley AI Research Lab（BAIR）做了兩年博士后，在Trevor Darrell和Kurt Keutzer的指導(dǎo)下進(jìn)行開(kāi)放世界泛化學(xué)習(xí)的研究，包括領(lǐng)域自適應(yīng)、零樣本學(xué)習(xí)等，主要應(yīng)用場(chǎng)景是自動(dòng)駕駛。

Trevor是BAIR的Director，同時(shí)和Kurt一起帶領(lǐng)Berkeley Deep Drive，在伯克利期間，仉尚航參與了DARPA、BDD等多個(gè)項(xiàng)目并和多位教授展開(kāi)合作，此經(jīng)歷成為她日后擔(dān)任教職的重要基石。

一直以來(lái)都有教職夢(mèng)的仉尚航，經(jīng)歷了灣區(qū)的工作和伯克利的博士后研究后，更加堅(jiān)定了回國(guó)任教的決心。而且她驚喜地發(fā)現(xiàn)教課、做報(bào)告和登臺(tái)主持有異曲同工之妙，能滿(mǎn)足自己曾經(jīng)有過(guò)的媒體夢(mèng)（她很喜歡主持，曾在CMU多次擔(dān)任過(guò)華人春晚主持人）。

博士導(dǎo)師José十分支持她的決定，其妻子Manuela Veloso是CMU RI教授與RoboCup創(chuàng)始人之一，IEEE/AAAS/ACM/AAAI Fellow，曾任CMU Machine Learning Department Head，也很關(guān)注她的研究，專(zhuān)門(mén)參加她在CMU的博士答辯，對(duì)其很欣賞，夫妻二人在給她的教職推薦時(shí)贊揚(yáng)“尚航能去世界上任何一所TOP10大學(xué)”。

現(xiàn)在想起José、Kurt和Trevor三位老師的指導(dǎo)和鼓勵(lì)，以及Manuela的支持，仉尚航還很感動(dòng)，正是這些優(yōu)秀的學(xué)者給她樹(shù)立了榜樣，讓她堅(jiān)定了踏實(shí)科研、勇于探索、教書(shū)育人的決心。

2022年初，仉尚航回到北京大學(xué)任教，加入了碩士曾就讀的計(jì)算機(jī)學(xué)院視頻與視覺(jué)技術(shù)國(guó)家工程研究中心，辦公室就在當(dāng)年讀研的工位旁，讓她更有“勿忘初心，方得始終”的歸屬感。加入北大后，她開(kāi)始專(zhuān)注于具身智能領(lǐng)域的研究，將之前在自動(dòng)駕駛、泛化學(xué)習(xí)、多模態(tài)大模型方向積累的經(jīng)驗(yàn)轉(zhuǎn)化到具身智能研究中，在此方向迅速成長(zhǎng)。

今年夏天，仉尚航還成為北京智源人工智能研究院的智源學(xué)者，帶領(lǐng)具身多模態(tài)大模型研究中心專(zhuān)注于面向具身智能的多模態(tài)大模型與大數(shù)據(jù)構(gòu)建，目前正在研究4D世界模型。她于近期發(fā)布了大規(guī)模多構(gòu)型智能機(jī)器人數(shù)據(jù)集RoboMind，是世界上集中采集的最大規(guī)模數(shù)據(jù)集，捕捉機(jī)器人面對(duì)復(fù)雜環(huán)境、長(zhǎng)程任務(wù)時(shí)的各種交互和經(jīng)驗(yàn)，從而促進(jìn)能夠掌握不同操作策略的通用模型的訓(xùn)練。RoboMIND包含5萬(wàn)5千條機(jī)器人軌跡數(shù)據(jù)，涉及279項(xiàng)不同的任務(wù)，涵蓋了高達(dá)61種不同的物體，覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務(wù)場(chǎng)景，將打造具身智能領(lǐng)域的ImageNet時(shí)刻。

系統(tǒng)見(jiàn)長(zhǎng)

2014年秋，走進(jìn)地下負(fù)一層沒(méi)有窗戶(hù)的生物機(jī)器人實(shí)驗(yàn)室，龔超慧得知了自己的蛇形機(jī)器人工作登上《Science》雜志的好消息。

四年前，2010年，龔超慧從哈工大畢業(yè)來(lái)到CMU RI讀博。下屬計(jì)算機(jī)學(xué)院的 RI 做機(jī)器人較偏算法化，在機(jī)器人算法三要素感知規(guī)劃決策的閉環(huán)系統(tǒng)頗有建樹(shù)。

在各實(shí)驗(yàn)室輪轉(zhuǎn)上課時(shí)，龔超慧意識(shí)到，機(jī)器人自動(dòng)化遠(yuǎn)比自己的機(jī)械式理解更廣泛，除了預(yù)設(shè)程序與硬件外，不僅包括通過(guò)傳感器進(jìn)行感知和數(shù)據(jù)采集，還涉及到基于數(shù)據(jù)的智能化控制和復(fù)雜規(guī)劃。

對(duì)規(guī)劃著迷的龔超慧決定加入此領(lǐng)域頂尖學(xué)者Howie Choset的小組。Howie除了在RI任教外，也是生物醫(yī)學(xué)工程、電氣與計(jì)算機(jī)工程的教授，研究蛇形機(jī)器人、工業(yè)機(jī)器人與醫(yī)療機(jī)器人。

第一次正式見(jiàn)面時(shí)，龔超慧在Howie的辦公室磕磕絆絆地分享了自己對(duì)規(guī)劃的一些基礎(chǔ)研究和文獻(xiàn)調(diào)研工作，感受到他的熱情后，Howie建議龔超慧嘗試參與組內(nèi)課題。在蛇形機(jī)器人平臺(tái)上進(jìn)行軟件開(kāi)發(fā)并迅速取得研究成果后，龔超慧順利開(kāi)啟了PhD階段，成為了Howie的首位華人學(xué)生。

龔超慧

進(jìn)組后，龔超慧有兩個(gè)并行項(xiàng)目：一是研究蛇形機(jī)器人的運(yùn)動(dòng)，如控制轉(zhuǎn)彎、行進(jìn)方向；二是定位和建圖的 SLAM 項(xiàng)目， 基于拓?fù)鋵W(xué)的數(shù)學(xué)理論，研究如何通過(guò)機(jī)器人之間的信息交互，包括不斷設(shè)計(jì)新的行進(jìn)方向，快速地把未知環(huán)境的拓?fù)浣Y(jié)構(gòu)描述出來(lái)。

龔超慧從本科就開(kāi)始“手搓”機(jī)器人，跟周谷越（清華AIR副教授、前大疆CV總監(jiān)）同為哈工大機(jī)器人隊(duì)的主力成員。此前龔超慧的做事方式偏工程化，喜歡去實(shí)現(xiàn)機(jī)器人的某個(gè)功能，Howie卻告訴他，如果要成為一個(gè)PhD，必須對(duì)能認(rèn)知、改變世界的方法論上形成新的觀點(diǎn)和突破，否則只是位工程師。

因此，龔超慧的研究核心放在了高維度數(shù)學(xué)空間的規(guī)劃問(wèn)題，即如何找到最優(yōu)解。

假設(shè)機(jī)器人有無(wú)窮個(gè)關(guān)節(jié)，那面對(duì)無(wú)窮個(gè)自由度，該如何控制變量才能讓它形成有效運(yùn)動(dòng)的最低能量，且運(yùn)動(dòng)速度最快？

這其實(shí)是一個(gè)非常抽象的數(shù)學(xué)問(wèn)題，所以在做研究時(shí)，龔超慧接近數(shù)學(xué)方法論，專(zhuān)注于在高維空間中尋找高效的低維子流形（Submanifold）。通過(guò)降低機(jī)器人的維度，在更低維的空間中快速進(jìn)行計(jì)算，并利用這一理論框架，研究生物和機(jī)器人的運(yùn)動(dòng)，從高維統(tǒng)計(jì)數(shù)據(jù)中提取低維特征和模式。

導(dǎo)師Howie對(duì)學(xué)術(shù)有著近乎變態(tài)的苛刻，對(duì)于任何一個(gè)公式的推導(dǎo)，每個(gè)上下角標(biāo)是否準(zhǔn)確，每項(xiàng)異常數(shù)據(jù)如何解讀歸因，都要求嚴(yán)謹(jǐn)準(zhǔn)確。在他的指導(dǎo)下，龔超慧陸續(xù)在機(jī)器人頂會(huì)ICRA、IROS以及《科學(xué)》雜志和美國(guó)科學(xué)院刊上發(fā)表論文。

到博士后期時(shí)，龔超慧開(kāi)始對(duì)廣義機(jī)器人的規(guī)劃與任務(wù)分配軟件感興趣，認(rèn)為AI 和 Robotics 技術(shù)會(huì)在制造業(yè)里有廣泛應(yīng)用的機(jī)會(huì)，“工業(yè) 4.0讓物理實(shí)體設(shè)備具有結(jié)合數(shù)據(jù)技術(shù)使其更智能化的機(jī)會(huì)，而設(shè)備智能化后也是一種機(jī)器人?！?/p>

因此，龔超慧在2016年初繼續(xù)留校做博士后，除了收尾PhD時(shí)的工作外，也開(kāi)始把研究重點(diǎn)往智能制造的方向轉(zhuǎn)變。

在每周五下午的午餐會(huì)上，RI各組學(xué)生都會(huì)聚在一起喝咖啡閑聊，龔超慧結(jié)識(shí)了小兩屆的周佳驥，二人常討論機(jī)器人的商業(yè)化問(wèn)題。

周佳驥本科畢業(yè)于東南大學(xué)吳健雄學(xué)院，2012年來(lái)到CMU讀研，次年在RI開(kāi)啟其博士階段，師從Matthew T. Mason與視覺(jué)教授Drew Bagnell，研究抓取操作與視覺(jué)感知規(guī)劃。

2016年，周佳驥發(fā)表的平面滑動(dòng)運(yùn)動(dòng)模型工作獲得了當(dāng)年ICRA全會(huì)最佳論文，成為了ICRA創(chuàng)辦30年來(lái)第三位以第一作者身份獲獎(jiǎng)的華人。

周佳驥與Matthew T. Mason

在兩位學(xué)術(shù)成果頗為優(yōu)秀的年輕人中，更早產(chǎn)生創(chuàng)業(yè)念頭的是龔超慧。每次討論機(jī)器人時(shí)，周佳驥更關(guān)注深入的學(xué)術(shù)問(wèn)題，龔超慧則更關(guān)注應(yīng)用場(chǎng)景。

彼時(shí)富士康到美國(guó)找研究團(tuán)隊(duì)合作，VP戴佳鵬資助了龔超慧團(tuán)隊(duì)，龔超慧就開(kāi)始研究如何讓生產(chǎn)更柔性和智能，包括生產(chǎn)設(shè)備網(wǎng)絡(luò)化、智能化后的集群管理，以及AGV等設(shè)備有移動(dòng)能力后的調(diào)度來(lái)連接生產(chǎn)環(huán)節(jié)。

在同富士康交流的過(guò)程中，龔超慧發(fā)現(xiàn)，制造業(yè)中傳統(tǒng)的管理方法、技術(shù)都有大量的信息不對(duì)稱(chēng)，在數(shù)據(jù)的全面性、運(yùn)算的智能化、計(jì)算能力都有瓶頸，生產(chǎn)線上大量設(shè)備也沒(méi)有自適應(yīng)能力，導(dǎo)致生產(chǎn)效率不足。

看到產(chǎn)業(yè)機(jī)會(huì)后，此前認(rèn)為自己肯定會(huì)走學(xué)術(shù)路線的龔超慧向Howie提出了自己的創(chuàng)業(yè)計(jì)劃。Howie非常驚訝，沒(méi)想到龔超慧會(huì)在學(xué)術(shù)做得不錯(cuò)、有教職機(jī)會(huì)的情況下，還想要?jiǎng)?chuàng)業(yè)。

龔超慧向Howie解釋?zhuān)瑢W(xué)術(shù)研究存在的目的是解決實(shí)踐中遇到的問(wèn)題，把它抽象出來(lái)突破，但既然部分機(jī)器人和AI 結(jié)合的技術(shù)已經(jīng)到了可以工程應(yīng)用和產(chǎn)業(yè)化的階段，更大的機(jī)會(huì)和空間應(yīng)該在產(chǎn)業(yè)界而非學(xué)術(shù)界中。

龔超慧的想法得到了Howie的認(rèn)可，再加上當(dāng)時(shí)組里的碩士生任中強(qiáng)（現(xiàn)上海交大AP），師徒三人于2017年1月在匹茲堡一起成立了賓通智能（Bito Intelligence）。

很快，周佳驥也決定創(chuàng)業(yè)。他與在麻省理工大學(xué)（MIT）讀博的俞冠廷相識(shí)，后者師從操作與機(jī)制實(shí)驗(yàn)室負(fù)責(zé)人Alberto Rodriguez，曾作為技術(shù)架構(gòu)總負(fù)責(zé)人帶領(lǐng)MIT-Princeton聯(lián)隊(duì)在2015-2017連續(xù)三年參加亞馬遜揀選挑戰(zhàn)賽，均獲全球前三，并且獲得2017年裝載任務(wù)冠軍。

通過(guò)亞馬遜挑戰(zhàn)賽，他們意識(shí)到視覺(jué)揀選領(lǐng)域已接近可商用化的程度，便于2018年4月在波士頓一起創(chuàng)辦了星猿哲（XYZ Robotics），為物流及工業(yè)自動(dòng)化提供更好更快的機(jī)器人解決方案，周佳驥的導(dǎo)師Drew Bagnell也參與了種子輪的投資。

不難發(fā)現(xiàn)，兩位CMU學(xué)子對(duì)產(chǎn)業(yè)機(jī)會(huì)極其敏銳，果斷抓住了機(jī)器人的第一波創(chuàng)業(yè)機(jī)會(huì)。伯克利的Pieter Abbeel與三位華人學(xué)生成立的Covariant，也是在同一時(shí)期誕生，并同樣以物流場(chǎng)景起步。（伯克利故事詳見(jiàn)https://mp.weixin.qq.com/s/iqiKeMgGIsCuvoNtyi-yaw）

說(shuō)起各高校的機(jī)器人人才，業(yè)內(nèi)普遍認(rèn)為，若想讓機(jī)器人達(dá)成商業(yè)目標(biāo)、落地，CMU是首選，若關(guān)注具體算法，則選伯克利和斯坦福。

據(jù)羅瑞琨介紹，CMU 學(xué)子多對(duì)機(jī)器人工程落地的全鏈條有系統(tǒng)性認(rèn)知，從課程體系起，就要求學(xué)生除了必修數(shù)學(xué)和本專(zhuān)業(yè)外，感知、規(guī)劃、運(yùn)動(dòng)各方向都上夠?qū)W分，了解機(jī)器人整個(gè)系統(tǒng)。而且工程師和科學(xué)家協(xié)作制度完善，教授也分研究型和工程型兩類(lèi)；RI 雖屬計(jì)算機(jī)學(xué)院，但卻很重視跨學(xué)科交叉，吸收了很多機(jī)械工程、電氣工程等專(zhuān)業(yè)的學(xué)生一起科研做項(xiàng)目，而非以單一的計(jì)算機(jī)專(zhuān)業(yè)為主。

2012年，羅瑞琨畢業(yè)于清華的機(jī)械工程自動(dòng)化系，來(lái)到CMU讀研。起初他打算申博研究納米機(jī)器人，后因聯(lián)系的教授在歐洲，面試安排不定，擔(dān)心錯(cuò)過(guò)截止日期的他就先接受了碩士項(xiàng)目的錄取。

因?qū)θ藱C(jī)交互感興趣，羅瑞琨加入了做多智能體與高層次規(guī)劃的Katia Sycara小組，研究人體動(dòng)作學(xué)習(xí)和預(yù)測(cè)，通過(guò)結(jié)合動(dòng)作識(shí)別和活動(dòng)學(xué)習(xí)，優(yōu)化學(xué)習(xí)的準(zhǔn)確性，并預(yù)測(cè)下一步行為。此方向當(dāng)時(shí)非常熱門(mén)，其應(yīng)用前景包括使機(jī)器人能預(yù)測(cè)人類(lèi)行為，從而決定自己的行動(dòng)，例如幫助做家務(wù)和做飯。

羅瑞琨

Katia不會(huì)干預(yù)學(xué)生的研究興趣，但對(duì)論文寫(xiě)作尤為細(xì)致，帶著羅瑞琨從頭到尾改完了他的第一篇論文。項(xiàng)目資金結(jié)束后，羅瑞琨又做了點(diǎn) SLAM 及多智能體的工作，便在14年順利畢業(yè)了。

在伍斯特理工與密歇根大學(xué)讀博期間，羅瑞琨專(zhuān)注于人機(jī)協(xié)作的實(shí)際應(yīng)用，如工廠中的共同作業(yè)、問(wèn)題檢查和裝配協(xié)助。他曾與蘋(píng)果供應(yīng)鏈專(zhuān)家探討，發(fā)現(xiàn)機(jī)器人執(zhí)行效率低，不如全自動(dòng)化或人工作業(yè)，許多需求在實(shí)際應(yīng)用中不切實(shí)際，是偽需求。

權(quán)衡過(guò)各類(lèi)機(jī)會(huì)后，羅瑞琨以CTO的身份在2021年加入創(chuàng)企木牛機(jī)器人。他認(rèn)為，過(guò)往積累的機(jī)器人交互的多領(lǐng)域知識(shí)、實(shí)踐經(jīng)驗(yàn)與對(duì)系統(tǒng)的了解，在大廠難以充分發(fā)揮優(yōu)勢(shì)，聚焦工業(yè)場(chǎng)景落地的木牛更適合自己，加入后帶隊(duì)開(kāi)發(fā)了一套從伺服驅(qū)動(dòng)控制到上層感知決策的底層框架。

新與舊共舞

今年10月，特斯拉「We,Robot」發(fā)布會(huì)上，人形機(jī)器人TeslaBot（前Optimus）列隊(duì)出場(chǎng)，化身“酒?！弊呷肴巳赫{(diào)酒、猜拳、合照、蹦迪，現(xiàn)場(chǎng)儼然成為了一場(chǎng)賽博大派對(duì)。

發(fā)布會(huì)后，楊碩站在TeslaBot旁，和它合照了一張。

就在去年3月，即將博士畢業(yè)的楊碩看到Optimus項(xiàng)目在擴(kuò)張，便在領(lǐng)英上與團(tuán)隊(duì)取得了聯(lián)系。很快，HR發(fā)來(lái)了面試邀請(qǐng)，在兩輪現(xiàn)場(chǎng)手寫(xiě)C++代碼和推公式的面試后，楊碩拿到了offer。

可以說(shuō)，讀博時(shí)精進(jìn)的工程能力，讓楊碩具備獨(dú)自完成推公式、仿真、做硬件、上真機(jī)實(shí)驗(yàn)、處理數(shù)據(jù)全流程的能力，特別是對(duì)C++解決機(jī)器人控制和估計(jì)的鉆研，使他成為了最匹配的候選人。

特斯拉讓楊碩盡快入職，導(dǎo)師Zach了解情況后非常開(kāi)明地同意了，讓楊碩努努力再整理投出一篇論文即可畢業(yè)。 7月，楊碩正式加入，參與機(jī)器人控制核心算法模塊的開(kāi)發(fā)。

今年初，團(tuán)隊(duì)發(fā)現(xiàn)第二代Optimus機(jī)器人的一項(xiàng)關(guān)鍵指標(biāo)需遠(yuǎn)超行業(yè)標(biāo)準(zhǔn)才能穩(wěn)定運(yùn)行。一次雙周會(huì)議上，Elon Musk對(duì)項(xiàng)目進(jìn)展表示不滿(mǎn)。會(huì)后，楊碩主動(dòng)提出在十天內(nèi)開(kāi)發(fā)一個(gè)新的算法模塊，兩千行代碼加上后情況迅速有改善，便在下次會(huì)議上向馬斯克現(xiàn)場(chǎng)演示。

在特斯拉的一年半里，楊碩慢慢轉(zhuǎn)移到用深度學(xué)習(xí)、AI 的方法做機(jī)器人，過(guò)往對(duì)傳統(tǒng)機(jī)器人學(xué)的理解讓轉(zhuǎn)變十分絲滑。

“做機(jī)器人得不斷推翻自己之前形成的固有思維，之前無(wú)人機(jī)做久了我選擇去研究新東西，博士期間做傳統(tǒng)的方法，來(lái)到特斯拉又推翻，用比較主流的AI技術(shù)?！睏畲T告訴雷峰網(wǎng)，“ 對(duì)基于模型的方法有深刻理解后，對(duì)無(wú)模型的AI方法，通過(guò)數(shù)據(jù)讓神經(jīng)網(wǎng)絡(luò)自己發(fā)掘模型，是更有幫助的?！?/p>

除了楊碩，侯一凡對(duì)新方法的態(tài)度也發(fā)生了轉(zhuǎn)變。

2021年博士畢業(yè)時(shí)，侯一凡認(rèn)為科研問(wèn)題已解決，自己完整的操作方案需要在實(shí)際場(chǎng)景中驗(yàn)證效果，便加入了有著世界上最大的操作場(chǎng)景的亞馬遜機(jī)器人部門(mén)，研究物流場(chǎng)景中的儲(chǔ)存任務(wù)，負(fù)責(zé)自動(dòng)化存儲(chǔ)過(guò)程中的柔性控制和運(yùn)動(dòng)規(guī)劃設(shè)計(jì)。

在亞馬遜的三年間，侯一凡意識(shí)到自己提出的解決方案效果不錯(cuò)，但受限于建模的需求，在應(yīng)對(duì)不斷出現(xiàn)的新場(chǎng)景（長(zhǎng)尾效應(yīng)）或者難以預(yù)先建模的家庭服務(wù)類(lèi)場(chǎng)景時(shí)往往需要巨量的工程投入來(lái)解決。因此，如何在模型質(zhì)量高度不確定時(shí)提高操作的成功率和效率，成為一個(gè)全新的挑戰(zhàn)。

一直關(guān)注著學(xué)術(shù)進(jìn)展的侯一凡發(fā)現(xiàn)，機(jī)器人學(xué)習(xí)已進(jìn)入激動(dòng)人心的階段，盡管目前成果距離解決實(shí)際問(wèn)題還有很大差距，但已完成了從0到1的轉(zhuǎn)變，讓非機(jī)器人背景的人也能快速做出demo。

不過(guò)，侯一凡認(rèn)為，在接下來(lái)的5年或更長(zhǎng)時(shí)間內(nèi)，學(xué)習(xí)方法仍無(wú)法替代某些問(wèn)題的最佳解決方案，特別是在機(jī)器人需要快速、高成功率地應(yīng)對(duì)高度不確定場(chǎng)景時(shí)，因?yàn)檫@些問(wèn)題用模型來(lái)處理更容易獲得可預(yù)測(cè)，解釋和調(diào)節(jié)的結(jié)果。

他意識(shí)到，后續(xù)想讓demo變得通用和魯棒既需要機(jī)器學(xué)習(xí)的泛化能力，也需要對(duì)機(jī)器人問(wèn)題的理解和分析——機(jī)器人學(xué)習(xí)與傳統(tǒng)機(jī)器人學(xué)的結(jié)合有巨大的機(jī)會(huì)，而探索這些機(jī)會(huì)的最佳場(chǎng)所是學(xué)校，而非工業(yè)界。

侯一凡讀博時(shí)，因參加亞馬遜挑戰(zhàn)賽的MIT-普林斯頓隊(duì)中有導(dǎo)師Mattew的學(xué)生Alberto Rodrigue，雙方交流密切，就此認(rèn)識(shí)了隊(duì)里的宋舒然。

加上近些年自己最喜歡研究都來(lái)自其團(tuán)隊(duì)，考慮重返學(xué)術(shù)界時(shí)，侯一凡便聯(lián)系了宋舒然，兩人討論非常投機(jī)，侯一凡就在今年3月來(lái)到斯坦福做博士后，依舊沿著解決操作的主線。

“以前認(rèn)為解決操作的方法和學(xué)習(xí)關(guān)聯(lián)不大，所以做模型和優(yōu)化，隨著對(duì)問(wèn)題的了解和不同方法的演化，現(xiàn)在覺(jué)得是基于模型與learning的結(jié)合。”

同樣支持兩者結(jié)合的邱迪聰，在2018年碩士畢業(yè)后，先進(jìn)入了更成熟的自動(dòng)駕駛領(lǐng)域。

他同時(shí)接到了英偉達(dá)與MIT創(chuàng)企ISee的offer，在面對(duì)他“公司要做什么”的提問(wèn)時(shí)，雙方給出了不同的答案：英偉達(dá)想構(gòu)建一個(gè)能在特定場(chǎng)景下工作的自動(dòng)駕駛系統(tǒng)；ISee則致力于開(kāi)發(fā)具有人性化思考的AI，目標(biāo)不僅是自動(dòng)駕駛。

ISee的愿景更符合邱迪聰?shù)囊?guī)劃，在他看來(lái)，自動(dòng)駕駛是當(dāng)時(shí)最接近智能化機(jī)器人的實(shí)例，其他技術(shù)要么不夠先進(jìn)，要么雖能落地但缺乏革命性。

三年后，邱迪聰又先后加入了如祺出行與PIX Moving，負(fù)責(zé)搭建自動(dòng)駕駛團(tuán)隊(duì)，探索商業(yè)化落地。到了23年4月，在意識(shí)到開(kāi)放推理能力開(kāi)始有解決方案后，邱迪聰與CMU LTI（語(yǔ)言技術(shù)研究室）的師兄梁俊衛(wèi)合作，共同創(chuàng)立了雅可比機(jī)器人，采取輪式方案，重點(diǎn)在操作以及機(jī)器人對(duì)開(kāi)放世界和開(kāi)放物品的理解。

雅可比以商超為切入點(diǎn)，下一步是餐飲服務(wù)、辦公場(chǎng)景，最終進(jìn)入到養(yǎng)老以及家庭場(chǎng)景?！斑@樣每個(gè)場(chǎng)景積累的知識(shí)和經(jīng)驗(yàn)?zāi)苤苯討?yīng)用于新場(chǎng)景，比如機(jī)器人在商超場(chǎng)景中學(xué)會(huì)識(shí)別鍋碗瓢盆等物品，當(dāng)轉(zhuǎn)移到餐飲場(chǎng)景時(shí)，如清理餐桌，就已具備基礎(chǔ)能力，幾乎無(wú)需額外專(zhuān)用化投入，甚至能實(shí)現(xiàn)零樣本遷移。”

至于一開(kāi)始就篤定learning路線的林星宇，則在2022年從CMU畢業(yè)。答辯前，David Held專(zhuān)門(mén)開(kāi)了個(gè)告別組會(huì)，讓林星宇給學(xué)弟學(xué)妹們分享建議，還把二人的郵件往來(lái)與合照放在一起，配文“this is how we started”。

林星宇來(lái)到伯克利在Pieter Abbeel的組里做博士后，從博士期間注重解決不同任務(wù)，如柔性物體的一個(gè)個(gè)建模，轉(zhuǎn)變?yōu)樽龈ㄓ玫幕A(chǔ)模型，研究如何利用基礎(chǔ)模型讓任務(wù)更通用，以及構(gòu)建一個(gè)屬于機(jī)器人學(xué)的基礎(chǔ)模型。

在伯克利，林星宇和高陽(yáng)的學(xué)生汶川合作，利用互聯(lián)網(wǎng)人類(lèi)視頻訓(xùn)練機(jī)器人大模型，發(fā)表了RSS 2024的滿(mǎn)分論文。

林星宇發(fā)現(xiàn)，許多視頻預(yù)測(cè)模型專(zhuān)注于紋理的真實(shí)感，卻忽略了物理真實(shí)性，就提出了學(xué)習(xí)微粒軌跡模型的想法，用于預(yù)測(cè)空間中每個(gè)點(diǎn)隨時(shí)間變化的軌跡。例如，當(dāng)拿起并傾倒一杯水時(shí)，杯中水的微粒會(huì)沿著不同的路徑移動(dòng)。最重要的是，這一模型能夠直接從視頻數(shù)據(jù)中學(xué)習(xí)。

今年8月，OpenAI風(fēng)傳已久的機(jī)器人組終于重啟，林星宇成為了創(chuàng)始成員之一。

OpenAI成立初期，機(jī)器人技術(shù)就是其主攻方向之一，聯(lián)創(chuàng)Wojciech Zaremba領(lǐng)導(dǎo)的團(tuán)隊(duì)最初試圖打造一個(gè)通用機(jī)器人，并在2019年發(fā)表了一篇工作，分享了他們?nèi)绾斡?xùn)練神經(jīng)網(wǎng)絡(luò)使用單只機(jī)械手復(fù)原魔方。但在2020年10月，因缺乏訓(xùn)練數(shù)據(jù)，機(jī)器人組解散。

加入OpenAI重整旗鼓的機(jī)器人組，林星宇經(jīng)過(guò)了不短的思考：首先，OpenAI有研究機(jī)器人的經(jīng)驗(yàn)，重啟說(shuō)明時(shí)機(jī)已經(jīng)成熟；再者，產(chǎn)業(yè)界研究能比學(xué)術(shù)界更易于拓展。

更重要的是，很多機(jī)器人學(xué)的問(wèn)題在于boot strapping（自舉，指機(jī)器人或AI系統(tǒng)通過(guò)自我學(xué)習(xí)和自我改進(jìn)來(lái)提高其性能和能力），缺乏數(shù)據(jù)導(dǎo)致系統(tǒng)性能不佳，無(wú)法產(chǎn)出產(chǎn)品，數(shù)據(jù)積累陷入停滯，形成惡性循環(huán)——視覺(jué)語(yǔ)言模型能有效緩解這一問(wèn)題，而OpenAI擁有最頂尖的視覺(jué)語(yǔ)言模型。

來(lái)到OpenAI，林星宇將繼續(xù)探索機(jī)器人基礎(chǔ)模型，“我一開(kāi)始是想訓(xùn)練一個(gè)模型做好可變形物體的任務(wù)，但逐漸發(fā)現(xiàn)真正需要的是海量數(shù)據(jù)，需要不同數(shù)據(jù)間有各種積極的遷移轉(zhuǎn)化，最終希望有一個(gè)模型來(lái)理解物理、空間來(lái)完成各種任務(wù)。”

結(jié)語(yǔ)

站在是否轉(zhuǎn)向的十字路口，沒(méi)有all in機(jī)器人學(xué)習(xí)的CMU似乎慢了一步。

與從純仿真出發(fā)、始于圖像或游戲的模式不同，工業(yè)合作伙伴眾多的CMU攜帶著工程師基因，對(duì)解決實(shí)際問(wèn)題習(xí)以為常，做項(xiàng)目的重要意義之一就是將技術(shù)真正應(yīng)用于某個(gè)具體場(chǎng)景中。

可以說(shuō)，如果將機(jī)器人學(xué)的研究工作分為0-1（概念創(chuàng)新）、1-99（技術(shù)發(fā)展）和99-100（產(chǎn)品成熟）三個(gè)階段，CMU更擅長(zhǎng)1到99%的推進(jìn)，甚至能夠制造出接近實(shí)用的高完成度機(jī)器人。

除了擅長(zhǎng)實(shí)際工程落地外，CMU的強(qiáng)項(xiàng)還在于對(duì)基礎(chǔ)問(wèn)題以及整個(gè)系統(tǒng)的深入理解。憑借對(duì)傳統(tǒng)方法的深厚積累，CMU人才們能夠輕松而順暢地過(guò)渡到基于學(xué)習(xí)的方法。

楊碩、林星宇、王小龍、仉尚航、梁小丹、龔超慧、周佳驥、羅瑞琨、侯一凡、邱迪聰......成長(zhǎng)于基于模型方法的CMU一派，用“傳統(tǒng)機(jī)器人學(xué)”搭起堅(jiān)實(shí)地基，以學(xué)習(xí)為梯，讓機(jī)器人邁向了下一個(gè)階梯。

在具身智能產(chǎn)學(xué)結(jié)合緊密的趨勢(shì)下，補(bǔ)上學(xué)習(xí)拼圖后的CMU派系，逐漸從傳統(tǒng)走近了全面。

此刻的他們，正搭建著下一塊臺(tái)階。

關(guān)于具身智能領(lǐng)域的更多精彩群像故事，歡迎添加雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))作者微信 anna042023 交流。雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。