2021年11月12日凌晨，遲遲未公布的CoRL 2021論文獎(jiǎng)名單終于揭曉。備受關(guān)注的論文大獎(jiǎng)全部被華人學(xué)者包攬。來(lái)自麻省理工大學(xué)的Tao Chen, Jie Xu, Pulkit Agrawal(導(dǎo)師)拿下最佳論文獎(jiǎng)；來(lái)自哥倫比亞大學(xué)的Huy Ha, 宋舒然(導(dǎo)師)拿下最佳系統(tǒng)論文獎(jiǎng)。
本次獲提名獎(jiǎng)的共有七篇論文，四篇最佳論文獎(jiǎng)提名，三篇最佳系統(tǒng)論文提名。七篇佳作皆有華人學(xué)者參與。占比42.3%。
CoRL于11月8日——11日在倫敦舉行。同時(shí)在網(wǎng)絡(luò)上也開(kāi)設(shè)了虛擬會(huì)場(chǎng)以饗諸位：PheedLoop主題演講、指導(dǎo)性建議和論文演講；gather.town 用于海報(bào)會(huì)議和交流。即使不能到現(xiàn)場(chǎng)的同學(xué)，也不用擔(dān)心錯(cuò)過(guò)關(guān)注論文的演講了。
官網(wǎng)鏈接：https://www.robot-learning.org/program/awards_2021
Youtube直播鏈接：https://www.youtube.com/watch?v=5KjpZS4_RBs
榮獲CoRL 2021最佳論文獎(jiǎng)的是：
麻省理工學(xué)院《A System for General In-Hand Object Re-Orientation》
論文鏈接：https://openreview.net/forum?id=7uSBJDoP7tY
作者：Tao Chen, Jie Xu, Pulkit Agrawal
論文介紹：
由于高維驅(qū)動(dòng)空間以及手指與物體之間接觸狀態(tài)的頻繁變化，手持物體重新定向一直是機(jī)器人技術(shù)中難攻克的問(wèn)題。Tao Chen等人提出一個(gè)簡(jiǎn)單的框架，框架的核心是無(wú)模型強(qiáng)化學(xué)習(xí)：可被稱為“師生關(guān)系”的訓(xùn)練法、重力課程設(shè)置和物體穩(wěn)定初始化。它可以解決復(fù)雜的問(wèn)題，用機(jī)械手學(xué)習(xí)重新定向，讓2000多個(gè)不同物體的系統(tǒng)面朝上和朝下。該系統(tǒng)不需要物體或機(jī)械手模型、接觸動(dòng)力學(xué)和任何特殊的感官觀察預(yù)處理。
過(guò)去的一些方法，如使用強(qiáng)大軌跡優(yōu)化法分析模型，雖然解決了重新定向問(wèn)題，但結(jié)果主要是在模擬簡(jiǎn)單的幾何形狀，無(wú)法拓展到現(xiàn)實(shí)中推廣到新對(duì)象，結(jié)果差強(qiáng)人意。
Tao Chen他們的研究首先在模擬中對(duì)“老師”無(wú)模型強(qiáng)化學(xué)習(xí)（model-free Reinforcement Learning）進(jìn)行有關(guān)物體和機(jī)器人信息的訓(xùn)練，為了確保機(jī)器人可在現(xiàn)實(shí)中運(yùn)作，模擬中缺失的信息如指間的位置，強(qiáng)化學(xué)習(xí)智能體接受的知識(shí)被轉(zhuǎn)化為模擬外可用的數(shù)據(jù)，像攝像機(jī)捕獲的深度圖像等。為了提高性能，機(jī)器人先在零重力空間里學(xué)習(xí)，再在正常的重力環(huán)境中適應(yīng)調(diào)控器?？此七`反直覺(jué)，但單個(gè)控制器可以重新定向大量它以前從未見(jiàn)過(guò)的物體。
作者介紹：
Chen Tao, 麻省理工學(xué)院EECS & CSAIL 博士，師從Pulkit Agrawal教授。本科畢業(yè)于上海交通大學(xué)機(jī)械工程及自動(dòng)化專業(yè)，期間在普渡大學(xué)機(jī)械工程學(xué)院交換。讀研之前，Chen Tao曾是上海LX Robotics的研究工程師，從事目標(biāo)檢測(cè)、圖像分割、機(jī)器人深度強(qiáng)化學(xué)習(xí)、SLAM等方面的研究。研究生畢業(yè)于卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)院，師從Abhinav Gupta 教授。主要研究機(jī)器人學(xué)習(xí)、操作和導(dǎo)航的交叉領(lǐng)域 。
個(gè)人主頁(yè)：https://taochenshh.github.io/
Jie Xu, 麻省理工學(xué)院CSAIL博士，師從計(jì)算設(shè)計(jì)和制造組(CDFG)的Wojciech Matusik教授。本科畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系。
研究主要方向機(jī)器人、仿真、機(jī)器學(xué)習(xí)的交叉領(lǐng)域。感興趣的主題: 機(jī)器人控制、強(qiáng)化學(xué)習(xí)、基于可微分物理的仿真、機(jī)器人控制和設(shè)計(jì)協(xié)同優(yōu)化、模擬現(xiàn)實(shí)。
個(gè)人主頁(yè)：https://people.csail.mit.edu/jiex/
Pulkit Agrawal, 麻省理工學(xué)院EECS助理教授。所在實(shí)驗(yàn)室是計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的一部分，隸屬于信息和決策系統(tǒng)實(shí)驗(yàn)室(LIDS)，并與美國(guó)國(guó)家科學(xué)基金會(huì)人工智能和基本交互研究所(IAIFI)合作。
首要研究興趣是構(gòu)建能夠自動(dòng)且持續(xù)地了解其環(huán)境的機(jī)器。希望這種學(xué)習(xí)的最終結(jié)果將類似于人類所謂的常識(shí)的發(fā)展。Pulkit Agrawal將這方向的工作稱為“計(jì)算感覺(jué)運(yùn)動(dòng)學(xué)習(xí)”，它包括計(jì)算機(jī)視覺(jué)、機(jī)器人技術(shù)、強(qiáng)化學(xué)習(xí)和其他基于學(xué)習(xí)的控制方法。個(gè)人主頁(yè)：https://people.csail.mit.edu/pulkitag/榮獲CoRL 2021最佳系統(tǒng)論文獎(jiǎng)的是：哥倫比亞大學(xué)的《FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding》論文鏈接：https://openreview.net/pdf?id=0QJeE5hkyFZ高速動(dòng)態(tài)動(dòng)作(如，亂扔或用力拋擲)通過(guò)提高自身效率和有效擴(kuò)展物理接觸范圍，在我們與可變形物體的日?；?dòng)中發(fā)揮著至關(guān)重要的作用。但之前的大多數(shù)工作都是使用單臂準(zhǔn)靜態(tài)動(dòng)作處理布料操作，這需要大量的交互來(lái)挑戰(zhàn)初始布料配置，并嚴(yán)格限制機(jī)器人可及范圍的最大布料尺寸。Huy Ha等人使用自監(jiān)督學(xué)習(xí)框架FlingBot演示了布料展開(kāi)動(dòng)態(tài)投擲動(dòng)作的有效性。這個(gè)方法從從視覺(jué)觀察開(kāi)始雙臂設(shè)置，學(xué)習(xí)如何展開(kāi)一塊織物，從任意的初始配置使用拾取，拉伸，并投擲。最終系統(tǒng)在新布料上3個(gè)動(dòng)作就能達(dá)到80%以上的覆蓋范圍，可以展開(kāi)比系統(tǒng)覆蓋范圍更大的布料，雖然只在矩形布料上訓(xùn)練過(guò)，但可以推廣到T恤上等。研究者們還在真實(shí)世界的雙臂機(jī)器人平臺(tái)上對(duì)FlingBot進(jìn)行了微調(diào)。FlingBot的布料覆蓋面積比準(zhǔn)靜態(tài)基線增加了4倍以上。FlingBot的簡(jiǎn)單性和它優(yōu)于準(zhǔn)靜態(tài)基線的性能證明了動(dòng)態(tài)動(dòng)作對(duì)可變形物體操作是十分有效的。Huy Ha, 哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)系博士。師從宋舒然教授，是哥倫比亞人大學(xué)工智能與機(jī)器人 (CAIR) 實(shí)驗(yàn)室的成員。個(gè)人主頁(yè)：https://www.cs.columbia.edu/~huy/宋舒然, 目前是哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)系的助理教授， 本科就讀于香港科技大學(xué)計(jì)算機(jī)工程專業(yè)，碩士和博士均畢業(yè)于普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系。研究重點(diǎn)是計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)的交叉領(lǐng)域，研究興趣是開(kāi)發(fā)能使智能系統(tǒng)在與物理世界的交互中學(xué)習(xí)、并自主獲得執(zhí)行復(fù)雜任務(wù)和協(xié)助人們的感知和操縱技能的算法。個(gè)人主頁(yè)：https://www.cs.columbia.edu/~shurans/- 達(dá)姆施塔特工業(yè)大學(xué)和華為英國(guó)研發(fā)中心合作的《Robot Reinforcement Learning on the Constraint Manifold》
論文鏈接：https://openreview.net/pdf?id=zwo1-MdMl1P作者：Puze Liu, Davide Tateo, Haitham Bou-Ammar and Jan Peters許多實(shí)際問(wèn)題，像安全、機(jī)械約束和磨損等，在機(jī)器人技術(shù)中運(yùn)用強(qiáng)化學(xué)習(xí)十分具有挑戰(zhàn)性。這些問(wèn)題通常在機(jī)器人學(xué)習(xí)文獻(xiàn)中沒(méi)有被充分考慮到。在現(xiàn)實(shí)中應(yīng)用強(qiáng)化學(xué)習(xí)的關(guān)鍵點(diǎn)在于安全探索，在整個(gè)學(xué)習(xí)過(guò)程中滿足物理和安全約束至關(guān)重要。要在這樣的安全環(huán)境中探索，利用諸如機(jī)器人模型和約束條件等已知信息，能更好地提供強(qiáng)有力的安全保障。Puze Liu等人提出了一種在模擬中能有效學(xué)習(xí)機(jī)器人任務(wù)的方法，能滿足學(xué)習(xí)過(guò)程中需要的約束條件。研究提出了作用于約束流形的切線空間新方法（ATACOM），智能體探索約束流形的切線空間，如圖中所示。它可以將約束強(qiáng)化學(xué)習(xí)問(wèn)題轉(zhuǎn)化為典型的無(wú)約束強(qiáng)化學(xué)習(xí)問(wèn)題。這個(gè)方法可以讓我們利用任何無(wú)模型 RL算法，同時(shí)能讓約束保持在容差以下。ATACOM 的優(yōu)點(diǎn)可以概括如下：(i) 它可以處理等式和不等式約束。每個(gè)時(shí)間步的所有約束都保持在容差以下。(ii) 不需要初始可行的策略，智能體可以從零開(kāi)始學(xué)習(xí)。(iii) 不需要手動(dòng)安全備份策略將系統(tǒng)移回安全區(qū)域。(iv)它可以應(yīng)用于任何使用確定性和隨機(jī)策略的無(wú)模型強(qiáng)化學(xué)習(xí)算法。(v) 探索可以集中在低維流形上，而不是探索原始動(dòng)作空間中的等式約束。(vi) 它具有更好的學(xué)習(xí)性能，因?yàn)椴坏仁郊s束僅限于較小的可行狀態(tài)-動(dòng)作空間。- 卡內(nèi)基梅隆大學(xué)的《Learning Off-Policy with Online Planning》
論文鏈接：https://openreview.net/pdf?id=1GNV9SW95eJ作者：Harshit Sikchi, Wenxuan Zhou, David Held低數(shù)據(jù)和風(fēng)險(xiǎn)敏感領(lǐng)域中的強(qiáng)化學(xué)習(xí)需要靈活高性能的部署策略，這些策略可以在部署過(guò)程中輕松整合約束。一類是半?yún)?shù)H步前瞻策略，它使用軌跡優(yōu)化對(duì)具有終值函數(shù)的固定范圍的動(dòng)態(tài)模型進(jìn)行軌跡優(yōu)化選擇動(dòng)作。在這項(xiàng)工作中，Harshit Sikchi等人研究了一種新的 H步前瞻實(shí)例化，其中包含一個(gè)學(xué)習(xí)模型和一個(gè)由無(wú)模型離策略算法學(xué)習(xí)的終端值函數(shù)，名為 Learning Off-Policy with Online Planning (LOOP)。理論分析建議模型誤差和值函數(shù)誤差之間進(jìn)行權(quán)衡，從經(jīng)驗(yàn)而言這種權(quán)衡有利于深度強(qiáng)化學(xué)習(xí)。這篇論文還確定了該框架中的“Actor Divergence”問(wèn)題，提出Actor 正則化控制 (ARC)，這是一種改進(jìn)的軌跡優(yōu)化程序。研究人員在一組用于離線和在線強(qiáng)化學(xué)習(xí)機(jī)器人任務(wù)上評(píng)估LOOP。LOOP 在部署期間展示了將安全約束與導(dǎo)航環(huán)境結(jié)合起來(lái)的靈活性。由此證明 LOOP 是一個(gè)理想的機(jī)器人應(yīng)用框架，基于它在各種重要的強(qiáng)化設(shè)置中的強(qiáng)大性能。- 斯坦福大學(xué)、谷歌機(jī)器人和加州大學(xué)伯克利分校合作的《XIRL: Cross-embodiment Inverse Reinforcement Learning》
論文鏈接：https://openreview.net/pdf?id=RO4DM85Z4P7作者：Kevin Zakka, Andy Zeng, Pete Florence, Jonathan Tompson, Jeannette Bohg, Debidatta Dwibedi本文研究了視覺(jué)跨實(shí)體模仿設(shè)置，其中智能體從其他智能體（例如人類）的視頻中學(xué)習(xí)策略，演示相同的任務(wù)，但他們?cè)趯?shí)施中存有明顯差異——形狀、動(dòng)作、末端效應(yīng)器動(dòng)力學(xué)等。本文證明了從對(duì)差異具有魯棒性的跨實(shí)體演示視頻中自動(dòng)發(fā)現(xiàn)和學(xué)習(xí)基于視覺(jué)的獎(jiǎng)勵(lì)函數(shù)。通過(guò)提出跨實(shí)體逆強(qiáng)化學(xué)習(xí) (XIRL) 的自監(jiān)督學(xué)習(xí)，利用時(shí)間周期一致性約束來(lái)學(xué)習(xí)深度視覺(jué)嵌入，這些嵌入可以從多個(gè)專家代理的離線演示視頻中捕獲任務(wù)進(jìn)展，每個(gè)智能體執(zhí)行相同的任務(wù)因具體化而不同。此前，從自監(jiān)督嵌入產(chǎn)生獎(jiǎng)勵(lì)通常需要與參考軌跡對(duì)齊，在實(shí)施差異下可是很難獲得的。如果嵌入了解任務(wù)進(jìn)度，在學(xué)習(xí)的嵌入空間中簡(jiǎn)單地取當(dāng)前狀態(tài)和目標(biāo)狀態(tài)之間的負(fù)距離作為強(qiáng)化學(xué)習(xí)訓(xùn)練策略的獎(jiǎng)勵(lì)是有作用的。研究證明學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)不僅適用訓(xùn)練期間看到的實(shí)施例，更可以推廣到全新的實(shí)施例。此外，當(dāng)將真實(shí)世界的人類演示轉(zhuǎn)移到模擬機(jī)器人時(shí)，研究發(fā)現(xiàn)XIRL比當(dāng)前的最佳方法更有效果。獲得CoRL 2021最佳系統(tǒng)論文提名的有：- 華盛頓大學(xué)和偉英達(dá)公司合作的《SORNet: Spatial Object-Centric Representations for Sequential Manipulation》
論文鏈接：https://openreview.net/pdf?id=mOLu2rODIJF作者：Wentao Yuan, Chris Paxton, Karthik Desingh順序操作任務(wù)要求機(jī)器人感知環(huán)境狀態(tài)，并計(jì)劃一系列行動(dòng)以達(dá)到預(yù)期的目標(biāo)狀態(tài)，其中從原始傳感器輸入推斷對(duì)象實(shí)體之間空間關(guān)系的能力至關(guān)重要。之前的工作依賴于明確的狀態(tài)估測(cè)，對(duì)新任務(wù)和對(duì)象端到端地學(xué)習(xí)對(duì)抗。在這項(xiàng)工作中，Wentao Yuan等人提出了SORNet(空間對(duì)象中心表示網(wǎng)絡(luò))，它從以興趣對(duì)象的規(guī)范視圖為條件的RGB 圖像中提取以對(duì)象為中心的表示。結(jié)果表明，在空間關(guān)系分類、技能前提分類和相對(duì)方向回歸三種空間推理任務(wù)中，通過(guò)SORNet學(xué)習(xí)的對(duì)象嵌入方法可以將零樣本擴(kuò)展到未見(jiàn)的對(duì)象實(shí)體，并顯著優(yōu)于基線。此外，我們進(jìn)行了真實(shí)世界的機(jī)器人實(shí)驗(yàn)，證明了學(xué)習(xí)對(duì)象嵌入在順序操作任務(wù)規(guī)劃中的使用。- 華盛頓大學(xué)和谷歌機(jī)器人合作的《Fast and Efficient Locomotion via Learned Gait Transitions》
論文鏈接：https://openreview.net/pdf?id=vm8Hr9YJHZ1作者：Yuxiang Yang, Tingnan Zhang, Erwin Coumans, Jie Tan, and Byron Boots本文主要研究四足機(jī)器人節(jié)能控制器的研制問(wèn)題。動(dòng)物可以用不同的速度主動(dòng)切換步態(tài)，以降低能量消耗。在本文中，Yuxiang Yang等人設(shè)計(jì)了一個(gè)層次學(xué)習(xí)框架，在這個(gè)框架中，獨(dú)特的運(yùn)動(dòng)步態(tài)和自然的步態(tài)轉(zhuǎn)換以能量最小化獎(jiǎng)勵(lì)自動(dòng)出現(xiàn)。研究人員使用進(jìn)化策略(ES)訓(xùn)練高級(jí)步態(tài)策略，指定每只腳的步態(tài)模式，而低水平凸MPC控制器優(yōu)化電機(jī)命令，使機(jī)器人可以用期望步態(tài)模式的速度行走。在一個(gè)四足機(jī)器人上測(cè)試了這個(gè)學(xué)習(xí)框架，演示了隨著機(jī)器人速度的增加，從步行到小跑再到飛小跑的自動(dòng)步態(tài)轉(zhuǎn)換。結(jié)果表明，學(xué)習(xí)層次控制器消耗的能量遠(yuǎn)少于基線控制器在大范圍的運(yùn)動(dòng)速度。在CoRL官網(wǎng)，組委會(huì)這樣描述舉辦CoRL的緣由：CoRL是一個(gè)新的以機(jī)器人學(xué)和機(jī)器學(xué)習(xí)為主題的年度國(guó)際會(huì)議。第一次會(huì)議已于2017年11月13日至15日在加利福尼亞州山景城舉行，旨在匯聚約250名從事機(jī)器人學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域的最優(yōu)秀的研究者參會(huì)。機(jī)器人技術(shù)，自主感知和控制領(lǐng)域正在經(jīng)歷一場(chǎng)機(jī)器學(xué)習(xí)革命，現(xiàn)在正是時(shí)候提供一個(gè)將機(jī)器學(xué)習(xí)的基本進(jìn)展與機(jī)器人應(yīng)用和理論的實(shí)證研究相結(jié)合的場(chǎng)所。我們的目標(biāo)是使CoRL成為機(jī)器人（機(jī)器）學(xué)習(xí)研究的首選大會(huì)。
大會(huì)的組織者包括來(lái)自UC Berkrley、Google、Microsoft、CMU、MIT、ETH、Deepmind等知名院校和知名企業(yè)的研究者和從業(yè)者，同時(shí)CoRL大會(huì)的舉辦還得到了機(jī)器人國(guó)際機(jī)構(gòu)“三巨頭”之一的國(guó)際機(jī)器人研究基金會(huì)（IFRR）和機(jī)器學(xué)習(xí)領(lǐng)域最好的期刊之一JMLR（Journal of Machine Learning Research）的支持。機(jī)器人學(xué)習(xí)大會(huì)（CoRL）自2017年推出以來(lái)，已迅速成為機(jī)器人技術(shù)與機(jī)器學(xué)習(xí)交叉領(lǐng)域的全球頂級(jí)學(xué)術(shù)盛會(huì)之一：“針對(duì)機(jī)器人學(xué)習(xí)研究的大會(huì)，涵蓋了機(jī)器人技術(shù)、機(jī)器學(xué)習(xí)和控制等廣泛主題，包括理論和應(yīng)用各方面?！?/span>
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
