Dance Dance Revolution（國(guó)內(nèi)譯為勁舞革命）是一個(gè)風(fēng)靡全球的節(jié)奏類音樂(lè)游戲。大家應(yīng)該都曾經(jīng)玩過(guò)，或者在商場(chǎng)的游戲廳中見(jiàn)到過(guò)它，現(xiàn)在，人工智能也可以玩這款游戲了！

據(jù)雷鋒網(wǎng)，游戲規(guī)則是玩家在跳舞臺(tái)上按照屏幕上的腳步指示圖案調(diào)整腳步，根據(jù)音樂(lè)的節(jié)奏在特定的時(shí)間點(diǎn)上踩在指定的舞臺(tái)按鈕上。最終根據(jù)是否在正確的時(shí)間踩在了正確的按鈕上來(lái)決定得分的多少。不同難度的游戲，腳步指示圖案也不同，難度越高，指示圖案越多，而且有更復(fù)雜的順序。跳舞臺(tái)有上下左右四個(gè)箭頭按鍵，每個(gè)按鍵有四種狀態(tài)：開(kāi)，關(guān)，保持，釋放。四個(gè)箭頭按鍵可以各自獨(dú)立的激活或釋放，所以總共有256中可能的腳步組合。

屏幕上的舞步指示是根據(jù)音樂(lè)結(jié)構(gòu)制作的，不同的音樂(lè)節(jié)奏或旋律對(duì)應(yīng)不同的舞步。雖然DDR相當(dāng)流行，但是玩家也有一些抱怨：比如曲庫(kù)是有限的，玩家有時(shí)候并不能跳他們最喜歡的音樂(lè)的舞蹈，或者即使有這個(gè)音樂(lè)，但是玩家并不喜歡設(shè)定好的舞步。為了解決這個(gè)問(wèn)題，DDR公司開(kāi)源了一些工具，使得玩家們可以自己為音樂(lè)編舞。但實(shí)際上，自己編舞的過(guò)程是很痛苦的，并且需要很多專業(yè)的知識(shí)。下圖為示例的編排過(guò)程。

日前，加州大學(xué)圣地亞哥分校的研究者使用了一種方法可以自動(dòng)生成舞步，可以從原始的音頻中直接生成腳步指示圖案，以此來(lái)學(xué)習(xí)編舞。這種方法通過(guò)模仿人制作的腳步指示圖案的語(yǔ)義信息來(lái)學(xué)習(xí)。這個(gè)問(wèn)題可以被分解為兩個(gè)子任務(wù)：

1. 舞步放置，在歌曲中應(yīng)該放置舞步的位置放置一系列的時(shí)間戳。這個(gè)過(guò)程根據(jù)玩家選擇的難度的不同而產(chǎn)生不同的結(jié)果。

2. 舞步選擇，選擇在時(shí)間戳上面放置哪種舞步（上下左右）。

按順序運(yùn)行這兩個(gè)步驟，會(huì)產(chǎn)生一個(gè)可玩的舞步指示圖案。過(guò)程如下圖。

對(duì)Knife Party feat這首歌的其中四秒進(jìn)行舞步編排的流程，從上到下分別是人工編排的舞步，舞步選擇預(yù)測(cè)，舞步放置預(yù)測(cè)，音頻特征

學(xué)習(xí)編舞的過(guò)程主要是音樂(lè)信息檢索（music information retrieval， MIR）。放置舞步的過(guò)程與起始點(diǎn)檢測(cè)（onset detection）很相似。Onset detection的目標(biāo)是確定音樂(lè)上突出事件的時(shí)間點(diǎn)，例如音符或者鼓點(diǎn)。在編舞的任務(wù)中，并不是所有的音樂(lè)中的所有onset都對(duì)應(yīng)DDR的舞步，但DDR的舞步一定對(duì)應(yīng)著一個(gè)onset。

在數(shù)據(jù)方面，研究者們使用了DDR公司的標(biāo)注好的數(shù)據(jù)：Stepmania Online，它用于超過(guò)100k首的歌曲，總共350Gb的數(shù)據(jù)。此外，研究者還收集整理了另外其他作者所創(chuàng)作的兩個(gè)高質(zhì)量的數(shù)據(jù)集。

在舞步放置階段，研究者采用了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。整個(gè)模型包含了兩個(gè)卷積層和兩個(gè)全連接層。為了提高CNN的性能，研究者又加入了C-LSTM模型，將卷積編碼與RNN結(jié)合，以達(dá)到整合更長(zhǎng)時(shí)間窗口信息的目的。網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)下圖：

在舞步選擇階段，研究者將舞步選擇視為序列生成問(wèn)題。他們使用了在處理語(yǔ)言模型中很常用的RNN模型，因?yàn)镽NN能更好的捕捉長(zhǎng)距離的上下文關(guān)系。網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)下圖：

本篇論文提供了一個(gè)Demo，感興趣的可以自己嘗試一下：http://deepx.ucsd.edu/ddc

也可以在Youtube上觀看官方給出的演示視頻：https://youtu.be/yUc3O237p9M

更多的實(shí)現(xiàn)細(xì)節(jié)請(qǐng)參考原論文：Dance Dance Convolution

雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。