0
| 本文作者： 劉潔 | 2024-09-06 11:52 |
斯坦福大學(xué)的 Chelsea Finn 團(tuán)隊(duì)又出新成果了。
Chelsea Finn 團(tuán)隊(duì)一直是斯坦福走在具身智能研究前沿的團(tuán)隊(duì)之一，之前火遍全網(wǎng)的 ALOHA 炒菜機(jī)器人就是出自這個(gè)團(tuán)隊(duì)之手。團(tuán)隊(duì)領(lǐng)頭人 Chelsea Finn 的創(chuàng)業(yè)公司 Pi 更是創(chuàng)立不到一個(gè)月就拿下來自紅杉資本、OpenAI 等公司的7000萬美元融資。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
最近，Chelsea Finn 團(tuán)隊(duì)在研究中發(fā)現(xiàn)，雖然延長動(dòng)作塊能夠提升策略捕捉時(shí)間依賴性的能力，但這樣做會(huì)減少對機(jī)器人近期狀態(tài)的觀察，導(dǎo)致在隨機(jī)環(huán)境中更容易出錯(cuò)。
為了克服這個(gè)難題，他們開發(fā)了一種雙向解碼（Bidirectional Decoding, BID）新型算法。BID 能將動(dòng)作塊化與閉環(huán)操作相結(jié)合，通過在每個(gè)時(shí)間步采樣多個(gè)預(yù)測并尋找最優(yōu)化的一個(gè)，增強(qiáng)擴(kuò)展序列的時(shí)間一致性，同時(shí)在隨機(jī)環(huán)境中實(shí)現(xiàn)自適應(yīng)重新規(guī)劃。
為了驗(yàn)證 BID 算法的效果，他們在 Franka Kitchen 數(shù)據(jù)集上進(jìn)行了模擬測試，發(fā)現(xiàn)機(jī)器人在家庭環(huán)境中的表現(xiàn)還不錯(cuò)。他們還用 Franka Panda 機(jī)器人做了真實(shí)實(shí)驗(yàn)，結(jié)果顯示 BID 顯著提高了機(jī)器人在目標(biāo)移動(dòng)時(shí)的放置成功率。
這些測試不由得讓人聯(lián)想到了他們之前做的炒菜機(jī)器人，也許這個(gè)團(tuán)隊(duì)正計(jì)劃把 BID 應(yīng)用在 ALOHA 上，準(zhǔn)備給家務(wù)機(jī)器人來個(gè)全面的技術(shù)升級。
值得一提的是，這個(gè)團(tuán)隊(duì)中有一半都是華人面孔，之前開發(fā) ALOHA 的也全是華人學(xué)生。
目前，論文已在arXiv公開，相關(guān)代碼也已開源。
論文標(biāo)題：Bidirectional Decoding：Improving Action Chunking via Closed-Loop Resampling
論文地址：https://bid-robot.github.io/static/BID_paper.pdf
項(xiàng)目網(wǎng)站：https://bid-robot.github.io/
代碼地址：https://github.com/YuejiangLIU/bid_diffusion
https://github.com/Jubayer-Hamid/bid_lerobot
本文旨在解決機(jī)器人學(xué)習(xí)中的挑戰(zhàn)，特別關(guān)注動(dòng)作分塊，即在沒有中間重新規(guī)劃的情況下預(yù)測和執(zhí)行動(dòng)作序列的過程，這些序列通常來源于人類示范。面臨的挑戰(zhàn)包括在捕捉時(shí)間依賴性與對隨機(jī)環(huán)境中意外變化的反應(yīng)之間的權(quán)衡，以及不同示范之間的風(fēng)格變異性較大。
該研究的動(dòng)機(jī)在于通過對動(dòng)作分塊進(jìn)行更深入的分析和提供實(shí)用的解碼算法，來增強(qiáng)機(jī)器人系統(tǒng)的學(xué)習(xí)和執(zhí)行過程。所要解決的問題包括：
動(dòng)作分塊中時(shí)間依賴性與反應(yīng)性之間的權(quán)衡
不同示范之間的風(fēng)格變異性較大
需要一種實(shí)用的解碼算法以提升機(jī)器人行為克隆的性能。
本文提出了雙向解碼（BID）方法。
BID 是一種推理算法，將動(dòng)作分塊與機(jī)器人學(xué)習(xí)中的閉環(huán)操作相結(jié)合。它在每個(gè)時(shí)間步采樣多個(gè)預(yù)測，并基于向后一致性（與先前決策的對齊）和向前對比（與更強(qiáng)策略的結(jié)果的接近度）來優(yōu)化選擇。
這種綜合方法增強(qiáng)了長動(dòng)作序列的時(shí)間一致性，同時(shí)保持了適應(yīng)動(dòng)態(tài)環(huán)境變化的靈活性。BID在各種機(jī)器人任務(wù)中顯著優(yōu)于現(xiàn)有的閉環(huán)方法，代表了機(jī)器人系統(tǒng)學(xué)習(xí)和執(zhí)行過程的重大改進(jìn)。
本文在三個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)：Push-T、RoboMimic 和 Franka Kitchen。
對于Push-T數(shù)據(jù)集，本文在七個(gè)任務(wù)上評估了所提出的雙向解碼（BID）算法，包括將物體放入人類手持的杯子中。實(shí)驗(yàn)中使用的機(jī)器人是Franka Panda，配備了兩臺相機(jī)，提供256 x 256像素分辨率的視覺觀察。本文還評估了BID在大批量和現(xiàn)有推理方法下的可擴(kuò)展性和兼容性。
對于RoboMimic數(shù)據(jù)集，本文使用了五個(gè)任務(wù)，即Lift、Can、Square、Transport和Tool Hang。每個(gè)任務(wù)的訓(xùn)練數(shù)據(jù)集包含300個(gè)從多個(gè)人類演示中收集的回合。
對于Franka Kitchen數(shù)據(jù)集，本文在涉及四個(gè)或更多物體的測試案例上評估了學(xué)習(xí)到的策略，這是一個(gè)具有挑戰(zhàn)性但在家庭環(huán)境中實(shí)際應(yīng)用的機(jī)器人操作任務(wù)。
本文還通過兩項(xiàng)現(xiàn)實(shí)世界實(shí)驗(yàn)進(jìn)一步評估了提出的 BID。
他們共收集了150個(gè)演示回合，包括50個(gè)干凈且一致的演示和100個(gè)嘈雜且多樣的演示。實(shí)驗(yàn)中使用的機(jī)器人是 Franka Panda，并采用基于視覺的擴(kuò)散策略進(jìn)行操作。
機(jī)器人的任務(wù)是將其抓手中的物體送入人類手中的杯子中。每次演示包括四個(gè)主要階段：(a) 隨機(jī)初始化機(jī)器人位置，(b) 接近目標(biāo)杯子，(c) 在目標(biāo)杯子附近減速，(d) 釋放物品。目標(biāo)杯子的位置可能會(huì)在演示過程中發(fā)生變化。
值得注意的是，BID 在動(dòng)態(tài)設(shè)置中的成功率與靜態(tài)設(shè)置相似，這表明它有可能將動(dòng)作塊擴(kuò)展到不確定環(huán)境中。
本文評估了不同方法的性能，包括普通的開環(huán)和閉環(huán)采樣、BID 的開環(huán)和閉環(huán)采樣，以及 EMA 的閉環(huán)采樣。
機(jī)器人的任務(wù)是拿起一個(gè)杯子，并將其放在附近的碟子上。四個(gè)主要階段是：(a) 初始化機(jī)器人，(b) 接近目標(biāo)杯子，(c) 抓住目標(biāo)杯子，(d) 拿起杯子，(e) 將杯子放到目標(biāo)碟子上。目標(biāo)杯子的位置可能會(huì)在一個(gè)過程中發(fā)生變化。
結(jié)果表明，在動(dòng)態(tài)環(huán)境中，相比其他方法，BID 的成功率至少提高了2倍，同時(shí)在靜態(tài)環(huán)境中保持了其性能。
動(dòng)作分塊有利于對演示中的時(shí)間依賴性建模，但卻犧牲了對隨機(jī)環(huán)境中意外狀態(tài)的反應(yīng)能力。他們選擇通過閉環(huán)操作銜接長的動(dòng)作塊來解決這一問題。
他們的主要假設(shè)是，雖然任何一對樣本共享相同潛在策略的概率很低，但從大量樣本中找到一致的一對樣本的可能性要高得多。這種直覺促使他們將閉環(huán)動(dòng)作分塊問題理解為在每個(gè)時(shí)間步采樣的一批計(jì)劃中尋找最優(yōu)動(dòng)作。
其中 ? 是動(dòng)作塊集合，?? 和 ?? （B和F都是下標(biāo)，飛書文檔打不出來）是兩個(gè)衡量時(shí)間依賴性的標(biāo)準(zhǔn)，接下來將會(huì)詳細(xì)描述這兩個(gè)標(biāo)準(zhǔn)。
?B 指的是逆向一致性。
這里，ρ 是一個(gè)衰減超參數(shù)，用于解釋不確定性隨時(shí)間增長而增加的情況。這種后向損失鼓勵(lì)相鄰步驟之間采用類似的潛在策略，同時(shí)允許逐步適應(yīng)不可預(yù)見的過渡動(dòng)態(tài)。
?F 指的是正向?qū)Ρ榷取?/p>
其中 ?+=??{?} 是強(qiáng)策略 ? 預(yù)測的正集合，?? 是弱策略 ?′ 預(yù)測的負(fù)集合，而 ? 是樣本大小。
下圖展示了逆向一致性和正向?qū)Ρ榷葮?biāo)準(zhǔn)對樣本選擇的影響。
由于 BID 中的所有步驟都可以并行計(jì)算，因此在現(xiàn)代 GPU 設(shè)備上，總體計(jì)算成本仍然適中。
Chelsea Finn 博士畢業(yè)于加州大學(xué)伯克利分校，師從Sergey Levine。她曾在 Google DeepMind 工作過 6 年，現(xiàn)在擔(dān)任斯坦福大學(xué)計(jì)算機(jī)科學(xué)與電子工程系的助理教授，也是 Pi 的聯(lián)合創(chuàng)始人。
Chelsea Finn 的研究興趣是機(jī)器人和其他代理通過學(xué)習(xí)和交互發(fā)展廣泛智能行為的能力。她的實(shí)驗(yàn)室 IRIS 專注研究大規(guī)模機(jī)器人交互智能，隸屬于 SAIL 和 ML Group。
團(tuán)隊(duì)其他三位華人學(xué)生包括：
Yuejiang Liu 是 IRIS 實(shí)驗(yàn)室的博士后，博士畢業(yè)于瑞士洛桑聯(lián)邦理工學(xué)院。他專注于研究自監(jiān)督學(xué)習(xí)、因果表征學(xué)習(xí)和測試時(shí)間適應(yīng)，并將其應(yīng)用于計(jì)算機(jī)視覺和多代理系統(tǒng)。
Annie Xie 畢業(yè)于加州大學(xué)伯克利分校，曾在伯克利人工智能研究 （BAIR）實(shí)驗(yàn)室和 Sergey Levine 一起工作，現(xiàn)在是 Chelsea Finn 指導(dǎo)的博士生。她的研究重點(diǎn)是開發(fā)在最少人工監(jiān)督下學(xué)習(xí)的機(jī)器人系統(tǒng)。
Maximilian Du 今年學(xué)士畢業(yè)于斯坦福大學(xué)，主修計(jì)算機(jī)科學(xué)、心理學(xué)（輔修）和創(chuàng)意寫作（輔修），在 Chelsea Finn 的 IRIS 實(shí)驗(yàn)室從事機(jī)器人學(xué)習(xí)工作，現(xiàn)在是 Chelsea Finn 即將入學(xué)的博士生。雷峰網(wǎng)雷峰網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
