本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

From brain waves to robot movements with deep learning: an introduction.

作者 | Norman Di Palo

翻譯 | 狐不歸              

校對 | 鄧普斯·杰弗        審核 | 醬番梨       整理 | 立魚王

原文鏈接：

https://towardsdatascience.com/from-brain-waves-to-arm-movements-with-deep-learning-an-introduction-3c2a8b535ece

神經(jīng)系統(tǒng)是一個極為復(fù)雜的結(jié)構(gòu)。你整個身體中的神經(jīng)總長度超過十萬公里，它們的每一部分都與你的脊髓和大腦相連。這個“網(wǎng)絡(luò)”傳輸著每一個控制人體運動的電脈沖信號。每一個指令都從你的大腦發(fā)出，大腦是一個由神經(jīng)元構(gòu)成更加神奇的的結(jié)構(gòu)，神經(jīng)元間通過電激活信號進行通信。理解和解釋腦電模式是神經(jīng)科學(xué)家和神經(jīng)生物學(xué)家的最大任務(wù)之一，但它也是一個非常具有挑戰(zhàn)性的任務(wù)。

一種記錄大腦活動的非侵入式的方法是腦電圖（EEG），這項技術(shù)通過放置在病人頭皮上的電極記錄大腦的電壓波動。通常會有大約30個這樣的電極被放置在頭皮周圍，以記錄腦電波的整體波動。總之，大腦活動與EEG信號之間的關(guān)系非常復(fù)雜，除了一些特定的實驗室試驗之外，人們對其了解甚少。由此，產(chǎn)生了一個巨大的挑戰(zhàn)：如何對這些EEG掃描結(jié)果進行“解碼”，從而通過非侵入式的腦機接口（BCI）控制機器人假肢或者其他設(shè)備。

作為一門強數(shù)據(jù)驅(qū)動的學(xué)科，在與深度學(xué)習(xí)相關(guān)的模式識別領(lǐng)域最近有了新的突破，創(chuàng)造出了一種新的使用神經(jīng)網(wǎng)絡(luò)分析這些電信號的新方法。在這篇文章中，我們會看到有關(guān)這個主題的介紹：我們將會看到一個由Kaggle競賽提供的EEG數(shù)據(jù)，該競賽旨在檢測出哪一種EEG模式與特定的胳膊/手的姿勢相關(guān)，比如抓取或舉起物體。接著我們會設(shè)計一個神經(jīng)網(wǎng)絡(luò)，在用不同的方法對數(shù)據(jù)進行預(yù)處理以后，對不同的動作進行分類。我同樣會展示一些大腦活動的數(shù)據(jù)可視化（圖像），使我們對手上的數(shù)據(jù)有大致的了解。這個領(lǐng)域的研究的最終目的是開發(fā)出一種用戶負擔(dān)得起且有用的假肢裝置，通過用大腦控制假體，幫助截肢者重獲輕松完成基本動作的能力。該技術(shù)同樣可以被應(yīng)用于讀取肌肉電信號的活動，通過分析激活狀態(tài)的肌肉，對（使用者）想要進行的那種類型的動作進行解碼。

你可以在這個在線olaboratory Notebook上找到本文中的所有代碼，你可以在你的瀏覽器上直接運行代碼。Github鏈接請閱讀原文。

若你有Kaggle賬號，則可以免費下載數(shù)據(jù)。你即將看到，數(shù)據(jù)只由幾個.csv文件組成，這些文件分別是：

• 作為模型輸入的EGG數(shù)據(jù)，這項數(shù)據(jù)由放置在病人頭皮上的32個電極采集得到。數(shù)據(jù)采集頻率為500Hz。

• 在6中可能的運動中，受試者試圖完成的動作的結(jié)構(gòu)化標(biāo)簽。

這些數(shù)據(jù)記錄了不同的受試者完成一個簡單的動作時的EEG信號，比如抓取或移動物體的動作。因此，數(shù)據(jù)集被劃分為不同的段，也被歸入不同的類目中。我們稍后在精確度預(yù)測時可以看到，腦電波的個體差異性很強，對于同一個人，模型可以以很高的準(zhǔn)確率預(yù)測它所沒有見過的片段，但如果對一個新的受試者進行這樣的預(yù)測卻可能有較大難度。

因此我們的目標(biāo)就是創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)，將讀取到的EEG信號作為輸入，輸出受試者想要完成的6種可能動作的概率分布。由于“沒有動作”本身不是6個類之一，我們可以將它單獨作為一類添加，或者將所有可能的輸出設(shè)定為0到1之間的值，使用一個閾值去決定某類動作是否被檢測到。如果所有動作的預(yù)測值都在閾值以下，我們就認為沒有動作發(fā)生。

[電極的位置，來源： https://www.kaggle.com/c/grasp-and-lift-eeg-detection/data]

我對這些電極上的活動做了一個動畫版的數(shù)據(jù)可視化。由于采樣頻率較高（500Hz），我使用簡單的3階低通濾波器對數(shù)據(jù)進行平滑，并用前100幀做了個動畫，也就是大約0.2秒的時間。

[前1/5秒內(nèi)電極的活動]

我們還可以以2維熱圖的形式對數(shù)據(jù)進行可視化，縱軸是時間（從頂部開始向下），橫軸表示32個電極。

[EEG時態(tài)熱圖（時間從頂部開始一直往下）]

這同樣非常有用，我們即將看到，它會幫助我們完成時空卷積。

為了提升學(xué)習(xí)階段的效果，原始數(shù)據(jù)要先經(jīng)過預(yù)處理。比如，EEG信號的采樣頻率很高，而要完成的動作的變化率在則相對較低，這會造成許多問題：數(shù)據(jù)變化得很快，而動作卻一直保持不變，這樣一來數(shù)據(jù)的波動就都會被視為噪聲。除此之外，時域的模型會接收到大量快速變化的數(shù)據(jù)，與此同時分類的輸出卻保持不變。

第一個可能的步驟是使用低通濾波器對數(shù)據(jù)進行濾波。即使是一個簡單的運行均值也會有效。通過這種方法，我們減少了數(shù)據(jù)的高頻變化，同時保留了更加有用的低頻結(jié)構(gòu)，因為我們要分類的動作變化的頻率非常低（最高1Hz）。在此之后我們可以對數(shù)據(jù)進行下采樣，即每10100個點僅保留一個數(shù)據(jù)。這一操作也有助于降低時間維度和數(shù)據(jù)相關(guān)性，從某種意義上來說，使數(shù)據(jù)更有時間稀疏性。除此之外，許多其他預(yù)處理技術(shù)也可以被應(yīng)用，但是為了這篇介紹的簡潔性，這里不多贅述，現(xiàn)在開始設(shè)計我們的神經(jīng)網(wǎng)絡(luò)。

處理時序數(shù)據(jù)，我們首先想到的結(jié)構(gòu)之一就是循環(huán)神經(jīng)網(wǎng)絡(luò)。

這些網(wǎng)絡(luò)具有動態(tài)結(jié)構(gòu)，因此會有一個能夠?qū)r態(tài)數(shù)據(jù)進行編碼的中間狀態(tài)，因此可以根據(jù)過去的輸入計算輸出。我在Keras中設(shè)計了一個LSTM網(wǎng)絡(luò)，并輸入具有時序結(jié)構(gòu)的訓(xùn)練數(shù)據(jù)。網(wǎng)絡(luò)的效果不錯，但在這個特別的例子里，我更想展示，通常用于圖像處理的卷積神經(jīng)網(wǎng)絡(luò)是如何在時態(tài)數(shù)據(jù)上做得很好的。

如前所述，從某種意義上說，我們實際上在處理的是時空數(shù)據(jù)。上文所展示的熱圖的縱軸表示的是時域上的變化，而橫軸展示的是不同的電極，幾乎所有相鄰的電極在人的頭皮上也是空間相鄰的。這意味著我們可以利用卷積來提取出有用的特征。一個2D的核可以同時對時間和空間上的模式進行編碼。想象一個3*3的卷積核，它能夠在熱圖所描述的矩陣上，通過對三個不同的時間步長（3個核行）以及3和不同的電極（3個核列）進行加權(quán)來提取特征。因此，一個具有多個卷積核的卷積神經(jīng)網(wǎng)絡(luò)可以找到在有限的時間周期里，電極的激活隨著受試者想要做的運動而變化的特征。

我在Keras中實現(xiàn)了一個簡單的CNN網(wǎng)絡(luò)，檢查它在這組數(shù)據(jù)集上的表現(xiàn)。在這個在線Colaboratory Notebook上，你可以找到所有本文中的代碼，并直接在你的瀏覽器上運行。Github鏈接請閱讀原文。

為了檢查我們模型的效果，如Kaggle競賽中所建議的那樣，我們對模型的AUC分數(shù)進行檢查。如果你對AUC不太熟悉，可以查看這個清晰而直觀的解釋（鏈接）。你可以在在線筆記本中自己嘗試，在一個快速的訓(xùn)練階段后，我們能夠達到約0.85的AUC分數(shù)。

通過訓(xùn)練不同的網(wǎng)絡(luò)結(jié)構(gòu)、采用預(yù)處理技術(shù)等手段，可以實現(xiàn)許多改進。但這個介紹性的概念驗證（POC）展示了神經(jīng)網(wǎng)絡(luò)從這類數(shù)據(jù)中進行學(xué)習(xí)的卓越能力。

在這篇文章中，我們對腦電信號EEG做了介紹，這是一種非侵入式的、相對簡單的從使用者的頭皮上采集的有用信號。我們看到了一些直觀的數(shù)據(jù)可視化結(jié)果，以及怎樣使用神經(jīng)網(wǎng)絡(luò)從中提取出諸如運動意圖這樣的特征。我相信這個領(lǐng)域（機器人假體、腦機交互）會因為深度學(xué)習(xí)而有顯著快速的進步，數(shù)據(jù)科學(xué)技術(shù)、平臺和競賽也會更加廣闊、逐年發(fā)展。

這些技術(shù)的影響將是巨大的。擁有能夠以自然的方式控制的低成本的假肢，可以極大地改善數(shù)百萬人的生活。

我建議你們?nèi)タ匆豢础肮采椖俊保@是個最近啟動的項目，一群有才華的人聚在一起，試著造出一個能夠用肌肉的活動控制的低成本智能假臂，以使得這類設(shè)備真正落地、普及。

關(guān)注我的Twitter，獲取我工作上的更多動態(tài)。更多： https://twitter.com/normandipalo

你可以在這個在線Colaboratory Notebook 上找到本文中的所有代碼，并且在你的瀏覽器上直接運行。

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻？

長按鏈接點擊打開或點擊底部【從腦電波到機器人運動——深度學(xué)習(xí)：介紹】：

https://ai.yanxishe.com/page/TextTranslation/1436

AI研習(xí)社每日推薦：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

CMU 2018 秋季《深度學(xué)習(xí)》課程將教你學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，以及它們在眾多 AI 任務(wù)中的應(yīng)用。課程結(jié)束后，期望學(xué)生能對深度學(xué)習(xí)有足夠的了解，并且能夠在眾多的實際任務(wù)中應(yīng)用深度學(xué)習(xí)。

加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/188