0
現(xiàn)代化社會(huì)，哪些工作場景最需要機(jī)器人的幫助？
在工業(yè)領(lǐng)域，有著名的機(jī)器人“四大家族”——發(fā)那科、ABB、安川、庫卡，經(jīng)過百余年的發(fā)展技術(shù)越發(fā)成熟，在工業(yè)場景已經(jīng)得到深入而廣泛的應(yīng)用。
相比之下，生活場景中的服務(wù)型機(jī)器人歷史則短得多。
例如在餐飲場景，烹飪過程的標(biāo)準(zhǔn)化程度遠(yuǎn)遠(yuǎn)不如工廠流水線，這為烹飪機(jī)器人的研發(fā)帶來了很大難度，在烹飪流程、烹飪方式、火候控制等環(huán)節(jié)，存在著諸多難題。
直到近年來這一方向才逐漸有所發(fā)展。
在2022年舉辦的北京冬奧會(huì)上，烹飪機(jī)器人已經(jīng)進(jìn)入智慧餐廳，烹飪中餐、西餐的各種菜品。
根據(jù)國外調(diào)研組織Market Research Future 發(fā)布的報(bào)告，2022年~2026年間，全球機(jī)器人烹飪設(shè)備的市場規(guī)模將成長至超1億美元，年復(fù)合增長率近20%。
南佛羅里達(dá)大學(xué)計(jì)算機(jī)科學(xué)與工程系教授孫宇多年來一直致力于機(jī)器人領(lǐng)域相關(guān)研究，早在2015年便已開始嘗試將知識(shí)圖譜應(yīng)用于機(jī)器人任務(wù)規(guī)劃。
大模型技術(shù)出現(xiàn)之后，為人機(jī)的協(xié)同交互帶來了巨大的影響。
雖然與小語言模型的模型架構(gòu)和與訓(xùn)練目標(biāo)類似，但大語言模型在大幅度擴(kuò)展了模型大小、預(yù)訓(xùn)練數(shù)據(jù)和總計(jì)算量（擴(kuò)大倍數(shù)）后，不但能夠更好地理解自然語言，并根據(jù)給定的上下文（例如 prompt）生成高質(zhì)量的文本，還展現(xiàn)出了一項(xiàng)全新的特征：涌現(xiàn)。
涌現(xiàn)為大語言模型帶來的幾種最具代表性的能力——上下文學(xué)習(xí)、指令遵循、循序漸進(jìn)的推理等，使其在機(jī)器人研究發(fā)揮出更大的作用，大語言模型開始成為機(jī)器人任務(wù)規(guī)劃研究中的一項(xiàng)重要工具。
自去年以來，孫宇教授開始嘗試將大語言模型應(yīng)用在烹飪機(jī)器人任務(wù)規(guī)劃之中。
近期，相關(guān)論文之一《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability，上線初創(chuàng)期刊《人工智能與機(jī)器人研究國際期刊》（IJAIRR）。
借此契機(jī)，孫宇教授向雷峰網(wǎng)介紹了該論文的研究過程，以及烹飪機(jī)器人研究中存在的難題。
論文鏈接：
https://gairdao.com/doi/10.1142/S2972335324500029
https://www.worldscientific.com/doi/10.1142/S2972335324500029
機(jī)器人任務(wù)規(guī)劃即根據(jù)機(jī)器人的能力、任務(wù)需求及環(huán)境條件等因素，為其制定一系列詳細(xì)的行動(dòng)方案，使其在復(fù)雜的環(huán)境中，高效、安全、準(zhǔn)確地完成任務(wù)。
在這一過程中，有許多復(fù)雜的因素需要考慮。
例如，機(jī)器人的移動(dòng)路徑需要適應(yīng)工作環(huán)境中障礙物的分布，以避免碰撞；
任務(wù)執(zhí)行的時(shí)間與順序需要根據(jù)實(shí)際情況進(jìn)行優(yōu)化；
在交互方式上，還需要保證機(jī)器人的行為與指令易于理解等等。
早在2015年，孫宇教授及其團(tuán)隊(duì)就開始將知識(shí)網(wǎng)絡(luò)在機(jī)器人任務(wù)規(guī)劃之中，基于網(wǎng)絡(luò)進(jìn)行烹飪領(lǐng)域相關(guān)知識(shí)的采集和整合，指導(dǎo)機(jī)器人執(zhí)行烹飪?nèi)蝿?wù)。
南佛羅里達(dá)大學(xué)孫宇教授
研究中使用的知識(shí)網(wǎng)絡(luò)，正是由孫宇教授所帶領(lǐng)的機(jī)器人概念和行為實(shí)驗(yàn)室（RPAL）所發(fā)明的面向功能對象網(wǎng)絡(luò)（Functional Object-Oriented Network，簡稱 FOON）。
這是一個(gè)存儲(chǔ)功能對象和操作信息的中心知識(shí)網(wǎng)絡(luò)系統(tǒng)，可以通過處理在線視頻、文本獲取功能對象和操作信息。
經(jīng)過一定的標(biāo)注和矯正，這個(gè)知識(shí)網(wǎng)絡(luò)可以很可靠的提供各種烹飪?nèi)蝿?wù)規(guī)劃樹。如果要求的烹飪?nèi)蝿?wù)的功能單元（functional unit）是FOON里有的，F(xiàn)OON可以給出100%正確和高效的任務(wù)規(guī)劃樹。
如果要求的烹飪?nèi)蝿?wù)的功能單元是FOON里沒有的，但很相像，這個(gè)知識(shí)網(wǎng)絡(luò)可以給出非?？煽扛咝У娜蝿?wù)規(guī)劃樹。
但是如果要求的烹飪功能單元與FOON里功能單元沒有任何相關(guān)，F(xiàn)OON就很可能給出錯(cuò)誤的規(guī)劃樹。因?yàn)橹R(shí)網(wǎng)絡(luò)是封閉的，機(jī)器人無法無限延展超出知識(shí)網(wǎng)絡(luò)范圍的內(nèi)容。
直到大語言模型的出現(xiàn)，為這項(xiàng)研究帶來了新的轉(zhuǎn)機(jī)。
烹飪機(jī)器人如何才能生成一個(gè)知識(shí)庫中不存在的任務(wù)？
隨著大模型技術(shù)的發(fā)展，自去年以來，孫宇教授及其學(xué)生Sadman Sakib博士開始嘗試使用大語言模型技術(shù)（LLM）進(jìn)行機(jī)器人任務(wù)規(guī)劃。
Sadman Sakib博士
在自然語言處理、任務(wù)規(guī)劃和執(zhí)行以及人機(jī)交互等方面，GPT-4展現(xiàn)出強(qiáng)大的能力。
論文中以烹飪?nèi)蝿?wù)為例進(jìn)行了介紹。
在接收到用戶關(guān)于烹飪某樣食物的指令后，傳統(tǒng)的機(jī)器人規(guī)劃方法通常只會(huì)生成一個(gè)任務(wù)計(jì)劃，而該論文通過GPT-4這一語言模型的提示工程，生成了多個(gè)不同的高級(jí)任務(wù)規(guī)劃，并以任務(wù)樹的形式進(jìn)行展現(xiàn)。
這些任務(wù)樹為機(jī)器人提供了多種可能的執(zhí)行方案，不同方案的資源需求、并行時(shí)間、風(fēng)險(xiǎn)各有不同。
利用Graph Merger（圖形合并器）將這些任務(wù)樹合并成一個(gè)統(tǒng)一網(wǎng)絡(luò)后，再通過比較和分析剔除其中不可靠的組件，例如執(zhí)行成本過高的節(jié)點(diǎn)，再將篩選出的正確、有效的組件進(jìn)行集成，最終形成一個(gè)最優(yōu)的解決方案，極大地提高了規(guī)劃的準(zhǔn)確性與整體任務(wù)執(zhí)行的效率。
由于機(jī)器人無法直接執(zhí)行高級(jí)任務(wù)計(jì)劃，GPT-4還需要扮演翻譯者的角色，將這一高級(jí)任務(wù)計(jì)劃從自然語言的形式轉(zhuǎn)化為低級(jí)的PDDL計(jì)劃，用PDDL語言來描述并求解規(guī)劃任務(wù)，使人類可以理解的語言轉(zhuǎn)換為機(jī)器人可以理解的指令。
例如，當(dāng)烹飪機(jī)器人收到“制作一碗包括胡蘿卜、卷心菜和豆子的面條”這一任務(wù)后，GPT-4生成了多個(gè)高級(jí)任務(wù)計(jì)劃，并將其合并、篩選得到一個(gè)最優(yōu)的任務(wù)樹，將其轉(zhuǎn)化為PDDL計(jì)劃，把這項(xiàng)工作分解成“拿起瓶子”、“將油蔥瓶子中倒進(jìn)鍋里”等動(dòng)作序列，再由機(jī)器人執(zhí)行。
值得一提的是，孫宇團(tuán)隊(duì)通過研究表明，合并食譜可以通過讓食譜共享信息并學(xué)習(xí)多樣化的子任務(wù)方法，從而發(fā)現(xiàn)創(chuàng)新的烹飪方法。
于是研究團(tuán)隊(duì)創(chuàng)建了多個(gè)食譜及其對應(yīng)的任務(wù)樹，并合并為一個(gè)網(wǎng)絡(luò)后，成功將不同食譜中的烹飪步驟和技巧融合在一起，形成了新的烹飪流程。
這些融合后的任務(wù)樹不僅展示了烹飪?nèi)蝿?wù)的多樣性，還揭示了不同子任務(wù)之間的潛在聯(lián)系和互補(bǔ)性，構(gòu)建出了一個(gè)更為豐富和復(fù)雜的烹飪網(wǎng)絡(luò)。
“也就是說，有了這個(gè)網(wǎng)絡(luò)，不僅能實(shí)現(xiàn)傳統(tǒng)菜肴的制作，還能夠創(chuàng)造出更加新穎、獨(dú)特的菜品，為烹飪藝術(shù)注入了新的活力?！?/p>
孫宇教授指出，對這項(xiàng)研究進(jìn)一步優(yōu)化后，將開發(fā)出更加高效和智能的烹飪機(jī)器人或系統(tǒng)。
孫宇教授從事機(jī)器人領(lǐng)域的研究已二十余年。在USF，孫宇教授帶領(lǐng)的機(jī)器人概念和行為實(shí)驗(yàn)室（RPAL）多年來圍繞機(jī)器臂抓取和操作、人機(jī)交互、醫(yī)學(xué)影像及虛擬現(xiàn)實(shí)、機(jī)器觸覺及力學(xué)傳感控制等諸多方向進(jìn)行了大量研究。
后來在機(jī)器人任務(wù)規(guī)劃研究中得到大量應(yīng)用的FOON這一成果，就是出自RPAL。
孫宇教授與RPAL實(shí)驗(yàn)室成員合照
大語言模型和知識(shí)網(wǎng)絡(luò)FOON有天然的互補(bǔ)性。以GPT-4為代表的大語言模型，雖然能夠從開放的網(wǎng)絡(luò)環(huán)境中學(xué)習(xí)各種任務(wù)規(guī)劃，但產(chǎn)生的規(guī)劃卻未經(jīng)把關(guān)，無法保證其正確性。
而有FOON里整合的任務(wù)規(guī)劃樹是經(jīng)過人工標(biāo)注和驗(yàn)證過100%正確的，但是它是有限的和不完全的。
所以可以用大語言模型來產(chǎn)生多個(gè)不保證正確的任務(wù)樹，然后用FOON的結(jié)構(gòu)特點(diǎn)來合并這些任務(wù)樹，消除不正確的功能單元，由別的樹或FOON里正確的功能單元所取代，來提高正確率。
此外，該研究具有很好的泛化能力，并不局限于烹飪場景，只需調(diào)整少量組件或不調(diào)整組件，即可為許多不同工作場景中的機(jī)器人找到最優(yōu)計(jì)劃。
孫宇教授指出，當(dāng)前的機(jī)器人任務(wù)規(guī)劃研究中仍舊存在許多挑戰(zhàn)。
當(dāng)機(jī)器人遇到任務(wù)規(guī)劃或運(yùn)動(dòng)規(guī)劃錯(cuò)誤、系統(tǒng)故障等情況時(shí)，可能會(huì)導(dǎo)致任務(wù)失敗，如何使機(jī)器人任務(wù)失敗后自助糾正計(jì)劃錯(cuò)誤是一項(xiàng)至關(guān)重要的課題。
團(tuán)隊(duì)未來的研究將進(jìn)一步關(guān)注環(huán)境反饋的影響，嘗試使機(jī)器人借助視覺系統(tǒng)與GPT-4準(zhǔn)確地識(shí)別與更新環(huán)境狀態(tài)，從而減少或避免機(jī)器人糾正計(jì)劃錯(cuò)誤時(shí)的人為干預(yù)，使其自主應(yīng)對任務(wù)失敗的情況。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
