前期先試探周旋幾次，再找機(jī)會(huì)吧。沒(méi)錯(cuò)，就是這個(gè)空隙，爆頭。
怎么樣，AI 拳擊動(dòng)畫效果是不是和真人比賽神相似？基于 AI 深度強(qiáng)化學(xué)習(xí)的拳擊選手身體不僅擁有超高自由度，而且它還掌握了格擋、后退、擺拳等拳擊基本動(dòng)作。Facebook 人工智能研究部門（FAIR）在機(jī)器學(xué)習(xí)領(lǐng)域，總能帶來(lái)一些意想不到的成果，上面的演示正是它們?cè)?strong>《Control Strategies for Physically Simulated Characters Performing Two-player Competitive Sports》（模擬人物進(jìn)行雙人競(jìng)技運(yùn)動(dòng)的控制策略）一文中的部分演示片段。
論文地址：https://research.fb.com/wp-content/uploads/2021/06/Control-Strategies-for-Physically-Simulated-Characters-Performing-Two-player-Competitive-Sports.pdf在這篇論文中，研究人員開發(fā)了一個(gè)學(xué)習(xí)框架，通過(guò)物理模擬角色學(xué)習(xí)基本技能、學(xué)習(xí)回合級(jí)別的策略、深度強(qiáng)化學(xué)習(xí)的步驟方法，來(lái)模擬人們學(xué)習(xí)競(jìng)技體育的訓(xùn)練路線。同時(shí)，它們還開發(fā)了一個(gè)編碼器-解碼器結(jié)構(gòu)的策略模型來(lái)讓物理模擬角色進(jìn)行訓(xùn)練學(xué)習(xí)，該結(jié)構(gòu)包含一個(gè)自回歸潛在變量和一個(gè)專家混合解碼器。為了展示框架的有效性，研究人員通過(guò)拳擊和擊劍兩種運(yùn)動(dòng)，演示了物理模擬角色在框架學(xué)習(xí)到的控制策略，這些策略可以生成戰(zhàn)術(shù)行為，并且讓所有動(dòng)作看起來(lái)更自然。在雙人競(jìng)技運(yùn)動(dòng)中，運(yùn)動(dòng)員經(jīng)常在比賽中展示出高效的戰(zhàn)術(shù)動(dòng)作，如拳擊和擊劍。但創(chuàng)建多人動(dòng)畫場(chǎng)景是一項(xiàng)巨大的挑戰(zhàn)，因?yàn)樗粌H要求每個(gè)人物模型都以自然的方式行事，而且還要求它們彼此之間的互動(dòng)在時(shí)間和空間領(lǐng)域都是同步的，以顯得自然。相互作用的密度越大，問(wèn)題就越具有挑戰(zhàn)性，因?yàn)樵谙嗷プ饔弥g沒(méi)有時(shí)間“重置”。使用物理模擬角色簡(jiǎn)化了問(wèn)題的一部分，因?yàn)榈蛯哟蔚奈锢砘?dòng)（如碰撞）是通過(guò)模擬自動(dòng)生成的。然而，由于學(xué)習(xí)包含比賽的一系列技能，人們還沒(méi)有對(duì)不同技能的協(xié)調(diào)進(jìn)行深入研究，如刺拳、勾拳、等拳擊級(jí)別的反擊和壓力戰(zhàn)斗策略。在競(jìng)技運(yùn)動(dòng)中使用模擬角色的一個(gè)關(guān)鍵挑戰(zhàn)是，需要學(xué)習(xí)基本技能和拳擊級(jí)別的策略，以便它們能夠正確地協(xié)同工作。在這篇論文中，F(xiàn)AIR 探討了訓(xùn)練控制系統(tǒng)的技術(shù)，開發(fā)了一個(gè)框架，為角色之間的互動(dòng)生成控制策略。其中的人形機(jī)器人擁有超高自由度，并由關(guān)節(jié)力矩驅(qū)動(dòng)。研究人員解釋，他們的設(shè)計(jì)靈感源于現(xiàn)實(shí)世界。對(duì)于大多數(shù)運(yùn)動(dòng)來(lái)說(shuō)，人們首先是在沒(méi)有對(duì)手的情況下學(xué)習(xí)基本技能，然后通過(guò)與對(duì)手競(jìng)爭(zhēng)來(lái)學(xué)習(xí)如何結(jié)合和完善這些技能。基于此，F(xiàn)AIR 模仿這兩個(gè)過(guò)程，通過(guò)深度強(qiáng)化學(xué)習(xí)，讓物理模擬角色學(xué)習(xí)基本技能和學(xué)習(xí)比賽級(jí)別的策略。如上文所述，物理模型角色不僅在前期會(huì)訓(xùn)練學(xué)習(xí)基本技能，后期還會(huì)通過(guò)競(jìng)技的方式來(lái)深度學(xué)習(xí)，這里就涉及到了一個(gè)多智能體互相學(xué)習(xí)的問(wèn)題。FAIR 的框架采用一組運(yùn)動(dòng)數(shù)據(jù)，其中包括雙人競(jìng)技運(yùn)動(dòng)的基本技能作為輸入，并生成兩個(gè)物理模擬選手的控制策略。控制策略允許玩家以正確的動(dòng)作和時(shí)間執(zhí)行一系列基本技能，從而贏得比賽。具體來(lái)看，研究人員首先會(huì)收集了一些動(dòng)作數(shù)據(jù)，包括在沒(méi)有對(duì)手的情況下進(jìn)行這項(xiàng)運(yùn)動(dòng)的基本技能。然后采用單智能體深度強(qiáng)化學(xué)習(xí)的方法對(duì)動(dòng)作進(jìn)行單一模仿策略的學(xué)習(xí)。最后，將模仿策略轉(zhuǎn)化為競(jìng)爭(zhēng)策略，每個(gè)參與者通過(guò)帶有競(jìng)爭(zhēng)策略的多智能體深度強(qiáng)化學(xué)習(xí)來(lái)增強(qiáng)自己的策略。為了有效地將模仿策略轉(zhuǎn)換為競(jìng)爭(zhēng)策略，F(xiàn)AIR 使用了一個(gè)由任務(wù)編碼器（如下圖綠色）和運(yùn)動(dòng)解碼器（藍(lán)色）組成的新策略模型，該任務(wù)編碼器的輸出以自回歸的方式更新（灰色）。即使如此，在多智能體環(huán)境中采用動(dòng)作捕捉依然存在不少巨大的難題。當(dāng)我們需要多個(gè)智能體之間密集和豐富的交互時(shí)，由于物理交互過(guò)程中的遮擋和微妙運(yùn)動(dòng)，精確捕捉尤其困難。基于此，F(xiàn)AIR 設(shè)計(jì)一種框架，用于捕捉動(dòng)作數(shù)據(jù)。首先用一個(gè)智能體進(jìn)行動(dòng)作捕獲，并通過(guò)模擬和學(xué)習(xí)創(chuàng)建所需的競(jìng)爭(zhēng)交互。采用這種方法的動(dòng)機(jī)來(lái)自于人們學(xué)習(xí)競(jìng)技運(yùn)動(dòng)的方式——新手玩家先模仿高手玩家的示范，學(xué)習(xí)基本技能，然后在與對(duì)手對(duì)戰(zhàn)的過(guò)程中對(duì)所學(xué)的基本技能進(jìn)行提煉和學(xué)習(xí)戰(zhàn)術(shù)。在這篇論文中，F(xiàn)AIR 通過(guò)創(chuàng)建控制模型，使得兩個(gè)物理模擬角色進(jìn)行競(jìng)技運(yùn)動(dòng)。以拳擊和擊劍為例，盡管這種方法產(chǎn)生了競(jìng)爭(zhēng)性的匹配，但這個(gè)方法仍然具有局限性。首先，該系統(tǒng)需要相當(dāng)數(shù)量的計(jì)算來(lái)生成可信的競(jìng)爭(zhēng)模型。隨著環(huán)境中涉及的變量增加，可能產(chǎn)生的交互也會(huì)以指數(shù)方式增加，因此所需的元組數(shù)量也以類似的方式增加。為了使框架應(yīng)用到更多運(yùn)動(dòng)中，如籃球或足球，更多的樣本數(shù)據(jù)是必要的。這種計(jì)算復(fù)雜性可以通過(guò)學(xué)習(xí)算法（如基于模型的 RL 算法）的突破來(lái)解決，或者收集更多的數(shù)據(jù)來(lái)引導(dǎo)智能體之間的交互。其次，F(xiàn)AIR 開發(fā)的框架中有一個(gè)假設(shè)前提，即運(yùn)動(dòng)的個(gè)人技能可以由單個(gè)智能體掌握，雖然該假設(shè)為角色在后期競(jìng)技中的學(xué)習(xí)做了一個(gè)鋪墊，然而，在一些雙人競(jìng)技運(yùn)動(dòng)中，這種假設(shè)并不成立。例如，在摔跤中，一個(gè)玩家首先需要抓住另一個(gè)玩家的身體，并不斷地利用接觸來(lái)獲得分?jǐn)?shù)，而這其中并不包含特別的技能需要去學(xué)習(xí)。最后，F(xiàn)AIR 的模型雖然能夠生成相互競(jìng)爭(zhēng)的兩個(gè)動(dòng)畫角色，但動(dòng)作表現(xiàn)的自然程度卻取決于輸入?yún)⒖歼\(yùn)動(dòng)的質(zhì)量。例如，在拳擊比賽中，專業(yè)運(yùn)動(dòng)員在比賽中表現(xiàn)出非常敏捷的動(dòng)作，而模擬的運(yùn)動(dòng)員卻移動(dòng)得很慢。研究人員認(rèn)為，造成這種差異的主要原因是實(shí)驗(yàn)中使用的輸入動(dòng)作來(lái)自一個(gè)訓(xùn)練非常有限的拳擊手。雖然 FAIR 的這項(xiàng)研究并非真正成熟，仍有不少局限性，但它發(fā)表的該篇論文具體描述了自動(dòng)生成多個(gè)擁有高自由度的動(dòng)畫角色模型，以及讓它們深度學(xué)習(xí)和相互競(jìng)技的過(guò)程，是一篇十分具有 AI 前沿性質(zhì)的參考文獻(xiàn)。 從長(zhǎng)期來(lái)看，這個(gè)研究方向旨在提供了一種模擬的方式，讓人類能夠通過(guò)控制人工智能進(jìn)行競(jìng)爭(zhēng)/互動(dòng)，在電腦游戲、商業(yè)電影和體育賽事中能開辟新的應(yīng)用形式。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
