2
| 本文作者： 李尊 | 2016-07-11 14:13 |
導(dǎo)讀：2016國(guó)際人工智能聯(lián)合會(huì)議（IJCAI2016）于7月9日至7月15日舉行，今年會(huì)議聚焦于人類(lèi)意識(shí)的人工智能。本文是IJCAI2016接收論文之一，除了論文詳解之外，我們另外邀請(qǐng)到哈爾濱工業(yè)大學(xué)李衍杰副教授進(jìn)行點(diǎn)評(píng)。
聯(lián)合編譯：Blake、陳?ài)?、章?/p>
摘要
普適計(jì)算領(lǐng)域中人類(lèi)活動(dòng)識(shí)別已經(jīng)開(kāi)始使用深度學(xué)習(xí)來(lái)取代以前的依靠手工提取分類(lèi)的分析技術(shù)。但是由于這些深度技術(shù)都是基于不同的應(yīng)用層面，從識(shí)別手勢(shì)到區(qū)分跑步、爬樓梯等一系列活動(dòng)，所以很難對(duì)這些問(wèn)題提出一個(gè)普遍適用的方案。在本文中我們認(rèn)真地探索了深度、卷積、遞歸方式對(duì)三種代表性的包含運(yùn)用可穿戴感應(yīng)器測(cè)得的運(yùn)動(dòng)數(shù)據(jù)組進(jìn)行的實(shí)驗(yàn)。我們將展示怎樣訓(xùn)練遞歸方法并介紹一種創(chuàng)新性的規(guī)范方式，講述它們?nèi)绾卧诖笮突A(chǔ)數(shù)據(jù)集上實(shí)現(xiàn)現(xiàn)有技術(shù)下最好的表現(xiàn)。通過(guò)使用隨機(jī)樣本模型進(jìn)行數(shù)千次實(shí)驗(yàn)，我們對(duì)每個(gè)人類(lèi)活動(dòng)識(shí)別中的不同任務(wù)中的模型適用性進(jìn)行了探究，對(duì)使用fANOVA架構(gòu)的超參數(shù)影響做了探索，為以后想將深度學(xué)習(xí)應(yīng)用到他們的研究中的學(xué)者提供了參考。
1. 引言
過(guò)去幾年里深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域中最流行的研究方向。由于這個(gè)概念的流行導(dǎo)致它的分支已經(jīng)快速擴(kuò)張，且在學(xué)術(shù)界和商業(yè)界的推動(dòng)下勢(shì)必還會(huì)進(jìn)一步推進(jìn)。對(duì)于普通人來(lái)說(shuō)，深度學(xué)習(xí)中像Torch7這一類(lèi)機(jī)器學(xué)習(xí)框架已經(jīng)隨手可及，深度學(xué)習(xí)對(duì)一系列的運(yùn)用層面也有相當(dāng)大的影響。
另外一個(gè)因?yàn)樯疃葘W(xué)習(xí)受益的領(lǐng)域是在普適計(jì)算方面的人類(lèi)活動(dòng)識(shí)別（HAR）。在HAR領(lǐng)域中占主導(dǎo)地位的技術(shù)方法包括用身體佩帶的傳感器，手動(dòng)設(shè)計(jì)特征提取程序，以及各種（監(jiān)督）分類(lèi)方法。在許多情況下這些相對(duì)簡(jiǎn)單的裝置就足夠了，能夠得到令人印象深刻的識(shí)別精度。然而對(duì)于更復(fù)雜的行為，例如在醫(yī)學(xué)應(yīng)用中，這種手動(dòng)調(diào)教方法還是存在顯著挑戰(zhàn)。有些工作還進(jìn)一步進(jìn)行，這也許可以解釋一些明顯的慣性在通過(guò)深度學(xué)習(xí)技術(shù)領(lǐng)域的主要技術(shù)途徑。
深度學(xué)習(xí)在普適計(jì)算方面的人類(lèi)識(shí)別活動(dòng)上有機(jī)會(huì)造成很大影響。它可以替代缺乏有利于其他領(lǐng)域如語(yǔ)音識(shí)別強(qiáng)大的魯棒性，設(shè)計(jì)了手動(dòng)特征提取程序。然而，對(duì)于從業(yè)者來(lái)說(shuō)困難的是選擇為他們的應(yīng)用最合適的深度學(xué)習(xí)方法。促進(jìn)深度學(xué)習(xí)幾乎都提供了最佳的系統(tǒng)，很少有工作包括在其最優(yōu)參數(shù)是如何被發(fā)現(xiàn)等細(xì)節(jié)。由于只有一個(gè)分?jǐn)?shù)報(bào)告，平均性能與峰值性能比較結(jié)果仍不清楚。
在本文中，我們運(yùn)用目前最先進(jìn)的深度學(xué)習(xí)方法對(duì)普適計(jì)算中的人類(lèi)行為識(shí)別中的三種問(wèn)題進(jìn)行了探索。針對(duì)深度、卷積和遞歸模型的訓(xùn)練過(guò)程進(jìn)行了詳細(xì)描述，并且我們針對(duì)遞歸性網(wǎng)絡(luò)介紹一種創(chuàng)新規(guī)劃方法。在4000多個(gè)實(shí)驗(yàn)中，我們探討HAR中每個(gè)超參數(shù)對(duì)不同的影響，為以后想將深度學(xué)習(xí)應(yīng)用到他們的研究中的學(xué)者提供了參考。在這些實(shí)驗(yàn)的過(guò)程中我們發(fā)現(xiàn)，遞歸性網(wǎng)絡(luò)實(shí)現(xiàn)了目前最佳的表現(xiàn)。
圖1 本文中使用的模型
2. 普適計(jì)算中的深度學(xué)習(xí)
通過(guò)穿戴設(shè)備感應(yīng)器獲得的運(yùn)動(dòng)數(shù)據(jù)是多元時(shí)間序列數(shù)據(jù)，這些數(shù)據(jù)都有相關(guān)的高維時(shí)空頻率（20Hz-200Hz）。在普適計(jì)算領(lǐng)域中分析這些數(shù)據(jù)基本上是在Bulling等人所提出的基礎(chǔ)方法上進(jìn)行的。第一步是把時(shí)間序列數(shù)據(jù)分割成相鄰的片段，通常是通過(guò)單個(gè)特點(diǎn)或者是滑動(dòng)窗分割技術(shù)。在分割出一系列特性中，在每一幀最有可能包含的是統(tǒng)計(jì)特性或者頻率域中的詞干。
目前在普適計(jì)算領(lǐng)域中最流行的方法是卷積網(wǎng)絡(luò)，許多作者都用它來(lái)處理活動(dòng)識(shí)別任務(wù)。更進(jìn)一步的是，卷積網(wǎng)絡(luò)已經(jīng)被用來(lái)處理特定領(lǐng)域的問(wèn)題，像在Autism中檢測(cè)常規(guī)運(yùn)動(dòng)等，它們以及能將其提升到目前最佳的水準(zhǔn)。
3. 針對(duì)人類(lèi)活動(dòng)識(shí)別對(duì)深度學(xué)習(xí)進(jìn)行比較
雖然在不同情境的人類(lèi)行為識(shí)別（HAR）方面已經(jīng)有過(guò)一系列的研究探索，但是對(duì)于深度學(xué)習(xí)的兼容性上仍然缺乏一個(gè)系統(tǒng)性的研究。研究者進(jìn)行初步試驗(yàn)對(duì)邊界空間進(jìn)行探索，但通常忽略了細(xì)節(jié)問(wèn)題，這使得整個(gè)過(guò)程仍然不明確且難以重復(fù)。相應(yīng)的，像CNNs這樣的單一網(wǎng)絡(luò)在單一應(yīng)用情境下表現(xiàn)良好。然而，單個(gè)的良好表現(xiàn)并不能代表整體在普適計(jì)算在人類(lèi)行為識(shí)別上的普遍適用性。在限定條件下的探索實(shí)驗(yàn)中，這些結(jié)果有多少代表性？哪些參數(shù)對(duì)于最終表現(xiàn)影響最大？實(shí)驗(yàn)者怎么找到那個(gè)剛好適合他們研究的參數(shù)？這些問(wèn)題對(duì)于研究學(xué)者們十分重要，但是目前這些問(wèn)題仍然沒(méi)有解答。
在本文中我們首先提出了 在三種代表性數(shù)據(jù)集上 最流行的深度學(xué)習(xí)方法的表現(xiàn)。
這些包括幾個(gè)典型的應(yīng)用情境，如控制手勢(shì)、重復(fù)動(dòng)作和帕金森疾病中的醫(yī)學(xué)運(yùn)用。對(duì)三種模型的比較如下。為了探索每種方法的適用性我們選取了一系列合理范圍的超參數(shù)，同時(shí)隨機(jī)模型配置。
為了探討每一種方法的適用性，我們?yōu)槊恳粋€(gè)超參數(shù)和隨機(jī)樣本模型配置都選擇了合理的范圍。并且，通過(guò)上千次的實(shí)驗(yàn)對(duì)它的性能做出報(bào)告，同時(shí)分析超參數(shù)對(duì)每種方法的影響。
3.1深度前饋網(wǎng)絡(luò)（DNN）
我們使用了深度前饋網(wǎng)絡(luò)，它相當(dāng)于五個(gè)有著softmax-group的隱層的神經(jīng)網(wǎng)絡(luò)。DNN代表網(wǎng)絡(luò)輸入數(shù)據(jù)的一個(gè)非線(xiàn)性轉(zhuǎn)換序列。我們遵循規(guī)則，并提出了一個(gè)有著N個(gè)隱層的網(wǎng)絡(luò)作為N層網(wǎng)絡(luò)。每個(gè)隱層都包含有，相同的數(shù)量的單元，對(duì)應(yīng)的線(xiàn)性轉(zhuǎn)換，和一個(gè)激活函數(shù)（ReLU）。我們使用了兩個(gè)不同規(guī)范技術(shù)：（i）Dropout：在訓(xùn)練期間，每一個(gè)隱層的每個(gè)單元都通過(guò)一個(gè)概率Pdrop設(shè)置成0，而在推斷時(shí)，每一個(gè)單元的輸出都通過(guò)1/pdrop進(jìn)行縮放（所有實(shí)驗(yàn)的dropout率都是固定值0.5）。（ii）Max-in準(zhǔn)則：每個(gè)批梯度下降之后，網(wǎng)絡(luò)中每個(gè)單元的輸入量都被放縮到一個(gè)最大歐式長(zhǎng)度din。對(duì)于限制方法中超參數(shù)的數(shù)量，我們選擇不去進(jìn)行任何生成的預(yù)訓(xùn)練，并且只依靠監(jiān)督學(xué)習(xí)的方法。輸入到網(wǎng)絡(luò)中的輸入數(shù)據(jù)相當(dāng)于每個(gè)移動(dòng)數(shù)據(jù)的幀。每個(gè)幀都由Rd中不同數(shù)量的s樣本組成，也就是簡(jiǎn)單地連接到一個(gè)單一的向量FtRs*d。圖1（d）中對(duì)模型進(jìn)行了說(shuō)明。
DNN是用批梯度下降的方法進(jìn)行訓(xùn)練的，其中每一個(gè)批梯度下降包含64個(gè)幀，并且它是根據(jù)測(cè)試集中的階級(jí)分層進(jìn)行分層的。我們使用隨機(jī)梯度下降的方法，盡量減小陰性似然。
3.2卷積網(wǎng)絡(luò)（CNN）
卷積網(wǎng)絡(luò)的目標(biāo)是在輸入數(shù)據(jù)的模式匹配中引入一個(gè)位置，并且確保每個(gè)有運(yùn)動(dòng)數(shù)據(jù)幀的模式的精確位置，的平移不變性（例如，發(fā)生的時(shí)間）。我們研究了卷積網(wǎng)絡(luò)的性能，遵循了[Srivastava等人，2014]在結(jié)構(gòu)方面的建議，并且規(guī)范化了技術(shù)。圖1（c）說(shuō)明CNN的整體結(jié)構(gòu)。每個(gè)CNN包含至少一個(gè)暫存的卷積層，一個(gè)pooling層，和一個(gè)完整的連接層——在最高等級(jí)Softmax-group之前。暫存的卷積層相當(dāng)于有著nf種不同特征圖——寬度為Kw，的輸入序列的卷積。最后的max-pooling，即是尋找寬度為mw范圍中最大值，并對(duì)應(yīng)一個(gè)子采樣，向系統(tǒng)引入平移不變性。整個(gè)實(shí)驗(yàn)中max-pooling的寬度為固定值2。每個(gè)max-pooling層的輸出都通過(guò)一個(gè)激活函數(shù)進(jìn)行轉(zhuǎn)換。隨后的完全連接的部分有效地對(duì)應(yīng)一個(gè)DNN并且遵循上述相同的架構(gòu)。
對(duì)于規(guī)則化，我們應(yīng)用了每一個(gè)max-pooling層/完全連接層的dropout,在整個(gè)實(shí)驗(yàn)中可能的dropout Pidrop在i層中是固定值（p1drop=0.1，p2drop=0.25，pi>2drop=0.5）。類(lèi)似于DNN我們同樣使用了max-in準(zhǔn)則。輸入到CNN的輸入數(shù)據(jù)，如DNN中一樣，對(duì)應(yīng)移動(dòng)數(shù)據(jù)的幀
。然而，并非連接不同的輸入維度，矩陣結(jié)構(gòu)被保留（FtRsxRd）。CNN的訓(xùn)練，使用了批梯度下降法（64幀）和隨機(jī)梯度下降法，以盡量減少陰性似然。
3.3遞歸網(wǎng)絡(luò)
為了研究移動(dòng)數(shù)據(jù)的時(shí)序依賴(lài)，我們使用了遞歸數(shù)據(jù)網(wǎng)絡(luò)，它基于vanilla變型（不包括peephole聯(lián)系）的LSTM單元。當(dāng)網(wǎng)絡(luò)中的一些連接形成定向循環(huán)時(shí)，該結(jié)構(gòu)是遞歸的，其中當(dāng)前的時(shí)間t會(huì)考慮到前面時(shí)間t-1的網(wǎng)絡(luò)狀態(tài)。當(dāng)錯(cuò)誤的衍生物通過(guò)遞歸網(wǎng)絡(luò)中的很多層“通過(guò)時(shí)間”進(jìn)行反向傳播時(shí)，LSTM單元用于抑制梯度下降。每一個(gè)LSTM單元（聯(lián)合）都會(huì)持續(xù)追蹤代表他“記憶”的內(nèi)部狀態(tài)（the constant error carousel）。隨著時(shí)間的推移，該單元學(xué)會(huì)，輸出，覆蓋，或者基于當(dāng)前的輸出和過(guò)去的內(nèi)部狀態(tài)清空他們的內(nèi)存，從而使一個(gè)系統(tǒng)保留數(shù)百個(gè)時(shí)間步長(zhǎng)的信息。
我們實(shí)現(xiàn)了兩個(gè)有特色的LSTM遞歸網(wǎng)絡(luò)：（i）深度前饋LSTMs，它包含多種遞歸單元層，并及時(shí)聯(lián)系“前饋”（見(jiàn)圖1（a））；（ii）雙向LSTMs，它包含了兩個(gè)平行的遞歸層，在一個(gè)連接了它們?cè)跁r(shí)間步長(zhǎng)t時(shí)內(nèi)部狀態(tài)的層之后（見(jiàn)圖1（b）），延伸到當(dāng)前時(shí)間步長(zhǎng)的未來(lái)和過(guò)去中。
實(shí)際上這兩種特色的LSTM，在他們的應(yīng)用要求方面有著很大不同。前饋LSTM聯(lián)系當(dāng)前的時(shí)間步長(zhǎng)，是基于它看到了過(guò)去，并且，在推理時(shí)，“未來(lái)”還不知道的情況下，它本質(zhì)上適合于實(shí)時(shí)應(yīng)用。另一方面雙向LSTMs利用了未來(lái)和過(guò)去的上下文，去解釋時(shí)間t時(shí)的輸入，這使得它更適合于離線(xiàn)分析場(chǎng)合。
在該工作中，我們應(yīng)用了三種不同設(shè)置的遞歸網(wǎng)絡(luò)，每一種都使用adagrad和max-in規(guī)則進(jìn)行訓(xùn)練以便最小化陰性似然。
在第一種情況下，在任何給定的時(shí)間t輸入到網(wǎng)絡(luò)的輸入數(shù)據(jù)，都對(duì)應(yīng)當(dāng)前幀的運(yùn)動(dòng)數(shù)據(jù)，它延伸到一個(gè)特定的時(shí)間長(zhǎng)度，并且維度也被級(jí)聯(lián)（如前面的DNN一樣）。我們將該模型稱(chēng)之為L(zhǎng)STM-F。前饋LSTMs達(dá)到第二種應(yīng)用情況，代表了實(shí)時(shí)的應(yīng)用，其中提出的每一個(gè)移動(dòng)數(shù)據(jù)采樣都是針對(duì)于他們記錄序列中的網(wǎng)絡(luò)，稱(chēng)之為L(zhǎng)STM-S。最后場(chǎng)景中，對(duì)于同樣的樣本到樣本預(yù)測(cè)問(wèn)題，應(yīng)用了雙向LSTMs。我稱(chēng)之為L(zhǎng)STM-S。
3.4對(duì)于HAR訓(xùn)練RNNs
RNNs相同的應(yīng)用，包括演講識(shí)別和自然語(yǔ)言處理。在這種設(shè)定下，輸入的上下文（例如，一個(gè)單詞）受限于它周?chē)膶?shí)體（例如，句子，段落）。訓(xùn)練RNNs時(shí)，通常把上下文的實(shí)體看成一個(gè)整體，例如在一個(gè)完整的句子中訓(xùn)練RNN。
在HAR中，移動(dòng)數(shù)據(jù)個(gè)體樣本的上下文沒(méi)有得到很好的定義，至少，超越了鄰近樣本之間的直接關(guān)系，并且好像還取決于移動(dòng)的類(lèi)型和它更廣泛的行為情景。這是該領(lǐng)域眾所周知的事，并且它會(huì)影響選擇滑動(dòng)窗口分割的窗口長(zhǎng)度。
對(duì)于建立用于訓(xùn)練RNN的b批梯度下降，我們?cè)陂_(kāi)始和結(jié)束訓(xùn)練集中，初始化了多個(gè)位置（pi）b。對(duì)于建立批梯度下降，我們采用了L樣本跟隨（pi）b中的每個(gè)位置，并且增加L步長(zhǎng)的（pi）b，它可能纏繞到該序列結(jié)束。我們發(fā)現(xiàn)隨機(jī)初始化位置以避免梯度振蕩是非常重要的。當(dāng)這個(gè)方法保留對(duì)RNN提出的樣品排序時(shí)，它不允許每一個(gè)批梯度下降層，都關(guān)于類(lèi)-分布。
4.實(shí)驗(yàn)
實(shí)驗(yàn)中研究的不同種類(lèi)的超參數(shù)在表1中列出。最后一列表示了每個(gè)數(shù)據(jù)集采樣的參數(shù)配置的數(shù)目，它們被挑選出來(lái)代表一個(gè)相等量的計(jì)算時(shí)間。我們?cè)谌齻€(gè)代表了HAR典型問(wèn)題的基準(zhǔn)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)（下文進(jìn)行描述）。實(shí)驗(yàn)是在一個(gè)有著3個(gè)GPUs (NVidia GTX980 Ti)的機(jī)器上進(jìn)行，其中除了最大的網(wǎng)絡(luò)，兩個(gè)模型配置都在不同的GPU上運(yùn)行。
在每次訓(xùn)練之后，我們都在驗(yàn)證集中進(jìn)行性能評(píng)估。每個(gè)模型都訓(xùn)練了至少30次，其中最大的是300次。訓(xùn)練30次之后，如果在10次后驗(yàn)證性能沒(méi)有得到提升，便終止訓(xùn)練。我們選擇了顯示最優(yōu)驗(yàn)證集性能的次數(shù)，并且將對(duì)應(yīng)的模型應(yīng)用到測(cè)試集中。
4.1數(shù)據(jù)集
實(shí)驗(yàn)中，我們研究了三個(gè)在普適計(jì)算中具有代表性的HAR數(shù)據(jù)集。每一個(gè)數(shù)據(jù)集都對(duì)應(yīng)一個(gè)HAR的應(yīng)用。第一個(gè)數(shù)據(jù)集，Opportunity，它包含如開(kāi)門(mén)和關(guān)門(mén)的操控手勢(shì)，這種手勢(shì)持續(xù)時(shí)間段，而且是不重復(fù)的。第二個(gè)數(shù)據(jù)集，PAMAP2，它包含了典型的系統(tǒng)特征——長(zhǎng)時(shí)間和重復(fù)的物理運(yùn)動(dòng)，這其目的是描述能源支出。第三個(gè)數(shù)據(jù)集，Daphnet Gait，對(duì)應(yīng)一個(gè)醫(yī)療應(yīng)用，它參與展現(xiàn)了一個(gè)典型帕金森氏病中的運(yùn)動(dòng)并發(fā)癥，眾所周知該疾病有著非常大的整體變化性。接下來(lái)我們?cè)敿?xì)的描述每個(gè)數(shù)據(jù)集。
Opportunity數(shù)據(jù)集（Opp）
Chavarriaga等人，用4個(gè)參與者——被要求進(jìn)行相同的廚房活動(dòng)，身上傳感器的數(shù)據(jù)組成了注釋記錄。數(shù)據(jù)是在頻率為30Hz的情況下，從人體12地方記錄到的，并且用了18個(gè)中級(jí)手勢(shì)進(jìn)行了注釋?zhuān)ɡ?，開(kāi)門(mén)/關(guān)門(mén)）。每個(gè)對(duì)象，都從五個(gè)不同的方式進(jìn)行了數(shù)據(jù)記錄。我們使用的子集，沒(méi)有丟失任何的數(shù)據(jù)包——包括加速的記錄，如抬手臂，放回，和腳部完整的IMU數(shù)據(jù)。最終數(shù)據(jù)是79維度的。我們使用了對(duì)象1中的第2關(guān)作為我們的驗(yàn)證集，并且通過(guò)使用我們測(cè)試集中對(duì)象2和3的第4和第5關(guān)，復(fù)制最流行的識(shí)別挑戰(zhàn)。剩余的數(shù)據(jù)被用于訓(xùn)練。對(duì)于幀到幀的分析，我們創(chuàng)造了持續(xù)時(shí)間為1秒和重疊部分為50%的滑動(dòng)窗口。最終的訓(xùn)練集包含大概650k的樣本（43k的幀）。
PAMAP2數(shù)據(jù)集
Reiss和Strickere，在被要求進(jìn)行12項(xiàng)日常生活的9個(gè)參與者中，進(jìn)行了數(shù)據(jù)記錄，包括家庭活動(dòng)和各種各樣的活動(dòng)（北歐散步，踢足球，等）。加速度計(jì)，陀螺儀，磁力計(jì)，溫度，心率數(shù)據(jù)都是由位于手，胸部和腳踝的慣性測(cè)量單位記錄的（總共超過(guò)了10個(gè)小時(shí)）。最終的數(shù)據(jù)是52維度的。我們?cè)隍?yàn)證集中使用了對(duì)象5的第1和第2關(guān)，在測(cè)試集中使用對(duì)象6的第1和第2關(guān)。剩余的數(shù)據(jù)用于訓(xùn)練。在分析中，我們向下采樣計(jì)算器到33.3Hz，以便與Opportunity數(shù)據(jù)集有一個(gè)時(shí)間分辨率的比較。對(duì)于從幀到幀分析，我們用一個(gè)5.12秒的非重疊滑動(dòng)窗口——它的相鄰窗口之間持續(xù)時(shí)間為一秒（78%重疊），復(fù)制以前的工作。該訓(xùn)練集包括大概473k的樣本（14k的幀）。
Daphnet Gait 數(shù)據(jù)集
（DG）Bachlin等人記錄了帕金森?。≒D）對(duì)于10個(gè)參與者的影響，這意味著開(kāi)展活動(dòng)，可能會(huì)導(dǎo)致步態(tài)凍結(jié)。凍結(jié)是帕金森病常見(jiàn)的運(yùn)動(dòng)并發(fā)癥，它會(huì)影響個(gè)體的移動(dòng)，例如散步。我們的目的是檢測(cè)這些凍結(jié)的事件，以便通知未來(lái)情境激勵(lì)系統(tǒng)。這代表一個(gè)兩級(jí)的識(shí)別問(wèn)題。加速器數(shù)據(jù)是從腳踝以上，膝蓋以上和軀干部位進(jìn)行記錄的。最終的數(shù)據(jù)是9維的。我們?cè)隍?yàn)證集中使用對(duì)象9的第1關(guān)，在測(cè)試集中使用了對(duì)象2的第1和第2關(guān)，并且使用剩余的數(shù)據(jù)進(jìn)行訓(xùn)練。據(jù)我們分析，我們向下采樣加速器數(shù)據(jù)到32Hz，對(duì)于幀到幀的分析，我們創(chuàng)造了持續(xù)1秒且重疊為50%的滑動(dòng)窗口。整個(gè)訓(xùn)練集包含了大概470k的樣本（30k的幀）。
表1：模式的超參數(shù)和實(shí)驗(yàn)的數(shù)值范圍
通過(guò)逐幀分析，我們創(chuàng)造了持續(xù)時(shí)間為1秒且重疊部分為50%的滑動(dòng)窗口。訓(xùn)練集大約包括470K的樣本（30k幀）。
4.2超參數(shù)的影響
為評(píng)價(jià)所有實(shí)驗(yàn)中每一個(gè)參數(shù)的影響，我們運(yùn)用fANOVA框架分析方法。fANOVA會(huì)決定每一個(gè)超參數(shù)對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)的影響程度。它會(huì)就模式的表現(xiàn)建立一個(gè)預(yù)測(cè)模式，并作為超參數(shù)的函數(shù)。這一非線(xiàn)性模式隨即被分解成為超參數(shù)的相互作用函數(shù)。fANOVA曾在遞歸函數(shù)中進(jìn)行超函數(shù)探索。
對(duì)于探索者來(lái)說(shuō)，知道模式的哪一方面對(duì)表現(xiàn)的影響最大是至關(guān)重要的。我們將模式的參數(shù)分成三類(lèi)：（1）學(xué)習(xí)型參數(shù)，控制學(xué)習(xí)過(guò)程；（2）規(guī)則型參數(shù)，限制模式的建模能力以防止過(guò)度重合；（3）構(gòu)建型參數(shù)，影響模式的結(jié)構(gòu)。每一個(gè)超參數(shù)都不一樣，我們估計(jì)歸因于參數(shù)類(lèi)別和不同等級(jí)參數(shù)之間的相互作用。
4.3 表現(xiàn)標(biāo)準(zhǔn)
由于在本次研究中所使用的數(shù)據(jù)集有偏重，所以要求表現(xiàn)標(biāo)準(zhǔn)的類(lèi)別分布是獨(dú)立的。我們傾向于評(píng)估f1數(shù)值的平均值：
相關(guān)研究曾使用加權(quán)f1分值作為主要表現(xiàn)標(biāo)準(zhǔn)。為把我們的結(jié)果和其他先進(jìn)方法進(jìn)行比較，我們會(huì)對(duì)加權(quán)f1分值進(jìn)行評(píng)估：
Nc表示的是在c等級(jí)之內(nèi)的樣本數(shù)量，Ntoatal代表是樣本總數(shù)量。
表2：每一模式和數(shù)據(jù)集所獲得的最好結(jié)果，和一些比較標(biāo)準(zhǔn)。變量增量（表格的下半部分）指代的是所有實(shí)驗(yàn)中上等和中等表現(xiàn)之間的絕對(duì)差別。
5.結(jié)果
結(jié)果在圖2可見(jiàn)。圖（a-c）顯示的是主要表現(xiàn)標(biāo)準(zhǔn)在每一個(gè)數(shù)據(jù)中的累積分布。圖（d）通過(guò)fANOVA 解釋了每一超參數(shù)類(lèi)型的影響。
總的來(lái)說(shuō)，我們觀察了模式在OPP和DG上的優(yōu)秀表現(xiàn)分布，其中在（b-LSTM-S）表現(xiàn)最好f1的平均值超過(guò)了15%，在OPP中表現(xiàn)最差（DG上的平均值為12%）（見(jiàn)圖2）。在PAMAP2上的差別較小，但也有7%。在OPP上表現(xiàn)最好的方法超過(guò)目前的先進(jìn)方法，在f1的平均值上超過(guò)4%（加權(quán)f1值超過(guò)1%）。CNN模式發(fā)現(xiàn)此項(xiàng)研究比之前結(jié)果都要好，因?yàn)閒1的平均值和加權(quán)平均值都超過(guò)5%（見(jiàn)圖2）。遞歸方法表現(xiàn)良好，它能就實(shí)驗(yàn)樣品進(jìn)行建模，能對(duì)HAR進(jìn)行新（實(shí)時(shí)）運(yùn)用，因?yàn)樗鼈兡芫徑夥指顣r(shí)間序列數(shù)據(jù)的壓力。
圖2：(a)-(c)每一個(gè)數(shù)據(jù)集識(shí)別表現(xiàn)的累積分布；(d)從fANOVA分析得出的結(jié)果，并解釋超參數(shù)的種類(lèi)對(duì)于識(shí)別表現(xiàn)的影響（見(jiàn)表1）。
在本次所研究的模式中，表現(xiàn)得分的分布不同。CNNs顯示最有特色的表現(xiàn)：模型配置的一小部分表現(xiàn)較差（例如，在PAMAP的得分為20%），而其余配置在表現(xiàn)上的差別卻不大。在PAMAP2中，例如，最優(yōu)表現(xiàn)和中等表現(xiàn)之間的f1平均值只相差7%（見(jiàn)表2）。DNNs顯示在OPP上所有方法的最優(yōu)和中等表現(xiàn)相差最大值為35。7%。兩個(gè)前置RNNs模式（LSTM-F，LSTM-S）在不同數(shù)據(jù)集上表現(xiàn)相似。尤其在PAMAP2和OPP上進(jìn)行探索的配置識(shí)別表現(xiàn)非凡。
超參數(shù)種類(lèi)對(duì)于識(shí)別表現(xiàn)影響的解釋在圖2(d)中可見(jiàn)。有趣的是，我們觀察的是CNN中，參數(shù)的最一致影響。與我們期待相反的是，圍繞學(xué)習(xí)過(guò)程（見(jiàn)表1）的參數(shù)對(duì)于表現(xiàn)的影響最大。我們希望對(duì)于這一模式而言，擁有多樣選擇結(jié)構(gòu)變體影響會(huì)更大。對(duì)于DNNs，我們不會(huì)觀察任意超參數(shù)種類(lèi)的系統(tǒng)影響。在PAMAP2中，準(zhǔn)確的學(xué)習(xí)參數(shù)會(huì)是最關(guān)鍵的。在OPP中，是模式結(jié)構(gòu)最關(guān)鍵。十分有趣的是，我們觀察到網(wǎng)絡(luò)結(jié)構(gòu)較淺的模式比深度網(wǎng)絡(luò)表現(xiàn)更好。在這一網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)中有下降趨勢(shì)且?guī)в谐^(guò)3層的隱藏層。這可能與我們僅僅只依靠監(jiān)督進(jìn)行訓(xùn)練有關(guān)，因?yàn)樯捎?xùn)練能提深度網(wǎng)絡(luò)的表現(xiàn)。
在OPP中，基于框架的RNN（LSTM-F）的表現(xiàn)受本次研究中的結(jié)轉(zhuǎn)概率影響。由于經(jīng)常保持內(nèi)在狀態(tài)或是忘記內(nèi)部狀態(tài)，這都會(huì)導(dǎo)致表現(xiàn)結(jié)果較差。我們發(fā)現(xiàn)0.5的Pcarry在大多數(shù)情況下都表現(xiàn)良好。我們的發(fā)現(xiàn)值得進(jìn)行對(duì)轉(zhuǎn)結(jié)時(shí)間表進(jìn)行更加深入的研究，這會(huì)提高LSTM的表現(xiàn)。
基于樣本實(shí)驗(yàn)的前向LSTMs(LSTM-S)的研究結(jié)果證明了之前的發(fā)現(xiàn)，因?yàn)閷?duì)于這種模式其學(xué)習(xí)率是至關(guān)重要的參數(shù)。然而，對(duì)于雙向LSTM（b-LSTM-S），我們發(fā)現(xiàn)每一層的單元數(shù)對(duì)表現(xiàn)影響重大，所以實(shí)驗(yàn)者應(yīng)重點(diǎn)關(guān)注此類(lèi)參數(shù)。
6.討論
在本次研究中，我們探索了先進(jìn)深度學(xué)習(xí)方法通過(guò)使用便攜式傳感器對(duì)人類(lèi)活動(dòng)識(shí)別的表現(xiàn)。我們介紹了如何在此設(shè)定中訓(xùn)練遞歸方法并引入新穎的規(guī)則化方法。在數(shù)千次實(shí)驗(yàn)中，我們用隨機(jī)選擇取樣的參數(shù)對(duì)模式的表現(xiàn)進(jìn)行評(píng)估。發(fā)現(xiàn)在Opportunity中雙向LSTMs比目前先進(jìn)的方法表現(xiàn)要好，基準(zhǔn)數(shù)據(jù)庫(kù)要更大，利潤(rùn)更可關(guān)。
但是對(duì)于研究者而言有趣的，不是每一個(gè)模式的峰值性能，而是參數(shù)在適應(yīng)不同HAR任務(wù)時(shí)的探索和理解過(guò)程。對(duì)于時(shí)間較短但是按照時(shí)間順序發(fā)生的時(shí)間理解中，遞歸網(wǎng)絡(luò)模式比卷積模式表現(xiàn)得更好。因?yàn)檫f歸模式有較好的理解語(yǔ)境能力。對(duì)于雙向RNNs，我們發(fā)現(xiàn)在所有的數(shù)據(jù)集中，每一層的單元數(shù)目對(duì)表現(xiàn)的影響都很大。對(duì)于持續(xù)時(shí)間長(zhǎng)且是重復(fù)發(fā)生的動(dòng)作，例如，走路，跑步；我們推薦使用CNNs模式。在此情景中平均表現(xiàn)能讓研究者更容易發(fā)現(xiàn)一個(gè)合適的配置，盡管RNNs模式和CNNs 模式表現(xiàn)差不多，甚至是RNNs有時(shí)表現(xiàn)的更好。我們強(qiáng)烈建議在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)之前要開(kāi)始探索學(xué)習(xí)率，因?yàn)樵谖覀兊脑囼?yàn)中發(fā)現(xiàn)學(xué)習(xí)率對(duì)表現(xiàn)的影響最大。
我們發(fā)現(xiàn)在不同的參數(shù)設(shè)置下，模式的識(shí)別表現(xiàn)都不一樣。Regular DNNs模式對(duì)于研究者來(lái)說(shuō)是最可行的方法，因?yàn)樗枰M(jìn)行大量的參數(shù)探索，并且在優(yōu)良表現(xiàn)和中等表現(xiàn)之間的跨度較大。所以研究者不應(yīng)舍棄在開(kāi)始時(shí)識(shí)別表現(xiàn)較差的模式。更復(fù)雜的方法，例如，CNNs或是RNNs在表現(xiàn)上的差別較小，所以更可能發(fā)現(xiàn)表現(xiàn)較好的參數(shù)并且迭代次數(shù)也少。
點(diǎn)評(píng)
這篇文章主要針對(duì)人類(lèi)行為識(shí)別問(wèn)題，介紹并比較了三類(lèi)不同的模型，包括DNN，CNN和RNN，并運(yùn)用可穿戴傳感器的運(yùn)動(dòng)數(shù)據(jù)和人類(lèi)運(yùn)動(dòng)識(shí)別中的不同任務(wù)（如開(kāi)關(guān)門(mén)、帕金森病等的運(yùn)動(dòng)情況）對(duì)三類(lèi)模型的適用性進(jìn)行了比較研究。
對(duì)于可穿戴設(shè)備收集得數(shù)據(jù)集，可穿戴設(shè)備主要以加速度計(jì)、陀螺儀等傳感器測(cè)得數(shù)據(jù)，精度會(huì)更高，但其應(yīng)用也就有了限制，必須在可以加裝這些傳感器的場(chǎng)景才行。音視頻就更為一般性些，只需要有話(huà)筒和攝像頭，不一定加在被監(jiān)控對(duì)象身上。
文中提到的實(shí)驗(yàn)是深度學(xué)習(xí)在PD檢測(cè)方面的應(yīng)用，用以判斷病情。
via IJCAI 2016
PS : 本文由雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號(hào)關(guān)注)(搜索“雷鋒網(wǎng)”公眾號(hào)關(guān)注)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
