1
| 本文作者： 章敏 | 2016-08-05 14:22 |
聯(lián)合編譯：章敏，陳楊英杰
本論文提出了一種可以將發(fā)育障礙進(jìn)行細(xì)粒度分類的系統(tǒng)，它通過使用多模態(tài)視覺數(shù)據(jù)測量個(gè)人的眼睛-運(yùn)動(dòng)（eye-movements）。雖然設(shè)計(jì)該系統(tǒng)的目的是解決精神問題，但我們相信它的基本原則和一般方法不僅可以吸引精神科醫(yī)生，還可以吸引醫(yī)療機(jī)器視覺方面的研究人員和工程師。其想法是從不同的視覺來源（捕獲的信息不包含在任何一種方式中）中建立未來。通過使用一個(gè)眼睛追蹤器（eye-tracker）和一個(gè)監(jiān)視兩個(gè)人說話過程的攝像頭，我們建立了時(shí)間注意力特征以描述一個(gè)人的語義位置（專注于相對(duì)于對(duì)方的臉）。在我們的臨床背景下，這些時(shí)間注意力特征，描述了病人在就診醫(yī)生面部的精細(xì)離散區(qū)域的目光，并用于分類病人特殊的發(fā)育障礙。
自閉癥譜系障礙（ASD）是增加患病率和實(shí)質(zhì)性社會(huì)影響的重大發(fā)展障礙。在早期的診斷中做出最大努力，是正確治療的關(guān)鍵。此外，ASD也是一種高度異質(zhì)性的疾病，這使診斷過程特別的麻煩。目前，鑒定ASD需要一套認(rèn)知測試和幾個(gè)小時(shí)的臨床評(píng)估，其中了包括廣泛的測試參與者，并且需要觀察他們的行為模式（例如，他們與他人的社會(huì)交往）。用計(jì)算機(jī)輔助技術(shù)識(shí)別自閉癥是重要的目標(biāo)之一，它有可能降低診斷成本和提高標(biāo)準(zhǔn)。
在本次工作中，我們致力于脆性X綜合征（FXS）。FXS是最普遍的由于遺傳造成的自閉癥，在美國大概有100,000人受到了它的影響。個(gè)人FXS具有一系列的發(fā)育和認(rèn)知障礙，包括執(zhí)行功能障礙，視覺記憶和知覺障礙、躲避社交，溝通障礙和重復(fù)行為。尤其是，在ASD比較一般行為中，社交時(shí)回避他人的視線是個(gè)人FXS最突出的行為特征。FXS是學(xué)習(xí)ASD最重要的因素之一，因?yàn)橐粋€(gè)單一的基因突變時(shí)很容易就可以診斷出來。為了達(dá)到我們的目的，集中于FXS意味著真實(shí)的診斷是可用的，并且感染組中癥狀異質(zhì)性也減少了。
對(duì)于語言發(fā)展，情感識(shí)別，社會(huì)參與，和通過分享注意力的一般學(xué)習(xí)等方面，保持適當(dāng)?shù)纳鐣?huì)凝視是關(guān)鍵所在。以前的研究表明，凝視波動(dòng)在個(gè)體自閉癥的特征方面起著重要作用。在這項(xiàng)工作中，我們研究了在二元相互作用期間視覺注視的基本模式。特別的是，我們使用了這些模式描述不同的發(fā)育障礙。
我們解決兩個(gè)問題。第一個(gè)挑戰(zhàn)是，建立新的特征來描述有著發(fā)展性障礙的參與者的優(yōu)良行為。我們利用計(jì)算機(jī)視覺和多模態(tài)數(shù)據(jù)，來捕捉在二元相互作用時(shí)詳細(xì)的視覺注視。第二個(gè)挑戰(zhàn)是，使用這些特征來建立一個(gè)可以鑒別不同發(fā)育障礙的系統(tǒng)。剩下的文章結(jié)構(gòu)如下：在第2節(jié)中，我們討論了以前的工作。在第3節(jié)中，我們描述了原始數(shù)據(jù)：它的收集和傳感器的使用。在第4節(jié)中，我們描述了內(nèi)置的功能，并且進(jìn)行了分析。在第5節(jié)中，我們描述了自己的分類技術(shù)，實(shí)驗(yàn)和結(jié)果。在第6節(jié)中，我們對(duì)于結(jié)果進(jìn)行討論。
圖1.（a）我們使用來自一個(gè)遠(yuǎn)程的眼睛跟蹤器和相機(jī)的多模態(tài)數(shù)據(jù)，研究有著精神障礙的參與一個(gè)采訪者者之間的社會(huì)交往。該系統(tǒng)的目標(biāo)是利用這些數(shù)據(jù)實(shí)現(xiàn)發(fā)育障礙的細(xì)粒度分類。（b）一個(gè)參與者視角的視頻框架（在底部的框架中參與者的頭部是可見的）。用一個(gè)遠(yuǎn)程眼球跟蹤器跟蹤眼球運(yùn)動(dòng)，并將其映射到這個(gè)視頻的空間坐標(biāo)系中。
Rehg等人的開創(chuàng)性工作顯示出了采用粗凝視信息測量ASD兒童相關(guān)行為的潛力。然而，這項(xiàng)工作沒有以自動(dòng)化的方式，解決ASD和其他疾病之間的細(xì)粒度分類問題。因此，我們通過多模態(tài)數(shù)據(jù)，擴(kuò)展了一種障礙分級(jí)的方法。此外，一些之前在發(fā)展障礙方面的努力如癲癇和精神分裂癥，依賴于使用腦電圖（EEG）進(jìn)行記錄。這種方法非常精準(zhǔn)，但它要求進(jìn)行長時(shí)間的記錄；此外，利用腦電探針定位參與者的頭皮和面部會(huì)，會(huì)限制發(fā)育人群的適用性。同時(shí)，眼動(dòng)跟蹤一直被用來研究自閉癥，但我們沒有意識(shí)到，用一個(gè)自動(dòng)化系統(tǒng)使用眼動(dòng)跟蹤進(jìn)行跨障礙的評(píng)估（如這里提出的一樣）。
我們的數(shù)據(jù)集包括70個(gè)臨床醫(yī)生訪談參與者的視頻，覆蓋了參與者的視線（作為通過一個(gè)遠(yuǎn)程眼睛跟蹤器的測量），首次在[ 6 ]進(jìn)行了報(bào)道。
參與者被診斷為特發(fā)性發(fā)育障礙（DD）或脆性X綜合征（FXS）。患有DD的參與者顯示出了與患有FXS參與者相同水平的自閉癥癥狀，但沒有一個(gè)診斷出有FXS或任何其他已知的遺傳綜合征。已知FXS的參與者之間存在性別相關(guān)的行為差異，所以我們進(jìn)一步細(xì)分這一群體的性別為男性（FXS-M）和女性（FXS-F）。在DD組沒有性別相關(guān)的行為差異，而基因測試證實(shí)DD參與者沒有FXS。
參與者的年齡都是在12到28之間，有51個(gè)FXS參與者（32個(gè)男人，19個(gè)女人）和19個(gè)DD參與者。這兩組在時(shí)間和發(fā)育年齡上進(jìn)行了很好的匹配，它們在文蘭適應(yīng)行為量表（VABS）上有著類似的平均得分，一個(gè)發(fā)展功能行之有效的措施。患有FXS的人平均得分是58.5，而控制的人是57.7（SD=16.78），折表明這兩個(gè)群體的認(rèn)知功能水平比典型平均值為低2-3 SDs
參與者會(huì)被臨床培訓(xùn)的實(shí)驗(yàn)者一一采訪。在我們的設(shè)置中，相機(jī)被放置在病人的后面，面對(duì)采訪者。圖1描述了采訪的配置，和物理環(huán)境。眼球運(yùn)動(dòng)使用Tobii X120遠(yuǎn)程角膜反射的眼睛跟蹤進(jìn)行記錄，從場景攝像機(jī)時(shí)間同步輸入。通過病人看著已知采訪者之前的一組位置，眼睛跟蹤被空間校準(zhǔn)到遠(yuǎn)程攝像機(jī)。
我們的工作目標(biāo)是設(shè)計(jì)一個(gè)特征，它可以同時(shí)洞察這些障礙，并可以在他們之間進(jìn)行精準(zhǔn)的分類。這些特征是我們系統(tǒng)的構(gòu)建塊，而關(guān)鍵的挑戰(zhàn)是從原來的眼動(dòng)追蹤器和錄像中，恰當(dāng)?shù)貙⑺麄冏钣幸饬x的部分提取出來。我們捕捉到參與者的目光和它在采訪中臉部的分布，在整個(gè)面試中5次/秒。有6個(gè)相關(guān)的地區(qū)：鼻子，左眼，右眼，嘴巴，下頜，外表。這些細(xì)粒度特征的精確檢測，可以確保我們在更小規(guī)模的變化中研究參與者的注視。對(duì)于每一個(gè)視頻幀，使用基于部分模型，我們在發(fā)現(xiàn)了一組69個(gè)采訪者臉上的標(biāo)志。圖1顯示了具有里程碑意義的檢測實(shí)例。我們總共處理了14414790個(gè)標(biāo)志。分別計(jì)算了DD，F(xiàn)XF-女人，F(xiàn)XS-男人組 59K，56K和156k的幀。我們評(píng)估了1K隨機(jī)選擇的幀樣本，其中只有一個(gè)單一的幀被注釋錯(cuò)誤了。我們用一個(gè)線性轉(zhuǎn)換器，將眼睛跟蹤坐標(biāo)映射到面部的標(biāo)志坐標(biāo)。我們的特征采取的標(biāo)簽的集群（例如顎）是最接近于參與者凝視的標(biāo)志。接下來，我們提出了一些關(guān)于這些數(shù)據(jù)的描述性分析。
圖2.注意臉部的時(shí)間分析。X軸代表幀中的時(shí)間（增量為0.2秒）。Y軸代表每一個(gè)參與者。黑點(diǎn)代表參與者看著采訪者臉部時(shí)的時(shí)間點(diǎn)。白色的空間意味著他們不是。
特征粒度.我們想分析我們的細(xì)粒度注意力特征的相關(guān)性。參與者（尤其是那些患有FXS的人）只花了一小部分的時(shí)間看著采訪者的臉。分析個(gè)人看著采訪者的臉時(shí)的時(shí)間序列數(shù)據(jù)（見圖2），我們觀察到了高組間參與者的差異，例如大多數(shù)FSX-F個(gè)體序列可以很容易與其他組混淆。
臨床醫(yī)生往往認(rèn)為注視的分布，不只是純粹的缺乏臉部注視——似乎和一般的自閉癥癥狀[ 8相關(guān)。圖3中的分布支持了該觀點(diǎn)：DD和FXS-F很相似，而FXS-M是不同的。FXS-M主要集中在嘴（4）和鼻子（1）區(qū)域。
圖片3.各種障礙的視覺注視直方圖。X軸代表注視，從左至右：鼻（1），左眼（2），眼右（3），口腔（4），頜（5）。直方圖計(jì)算了所有參與者的數(shù)據(jù)。為了方便的可視性我們移除了非臉部的注視。
注意轉(zhuǎn)換.除了注視的分布，臨床醫(yī)生也認(rèn)為，注視的順序描述了基本的行為。特別是，F(xiàn)XS參與者經(jīng)?？焖贋g覽臉部，然后移開，或掃描非眼睛的區(qū)域。圖4以熱量的形式顯示了區(qū)域之間的轉(zhuǎn)換。兩個(gè)不同的障礙之間有著標(biāo)志性的不同：患DD的人做出更多的轉(zhuǎn)變，而那些患FXS的人表現(xiàn)明顯更少——與臨床直覺相一致。臉部區(qū)域之間的轉(zhuǎn)換，相比于從非臉部到臉部區(qū)域的轉(zhuǎn)換可以更好地識(shí)別三個(gè)組。FXS-M的參與者傾向于在嘴和鼻子之間頻繁的交換目光，而其他兩個(gè)則不會(huì)。DD的參與者在面部區(qū)域之間表現(xiàn)出更多的運(yùn)動(dòng)，沒有明顯的偏好。FXS-F的模式類似的DD，雖然模式不太明顯。
圖4 矩陣的感知轉(zhuǎn)換障礙。每個(gè)方塊[i j]代表每組參與者的注意力從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的聚合次數(shù)。坐標(biāo)軸代表不同的狀態(tài): 非人臉區(qū)域(0)，鼻子(1)，左眼(2)，右眼(3)，嘴(4)，下巴(5)。
近似熵.我們接下來預(yù)估近似熵(ApEn)的分析結(jié)果，來提供一種可以預(yù)測序列的手段。信號(hào)中的低熵值表示高度規(guī)律性。對(duì)于每個(gè)類別(DD，F(xiàn)XS-Female，F(xiàn)XS-Male),我們挑選15組隨機(jī)的參與者序列。我們通過不同的w (滑動(dòng)窗口長度) 計(jì)算ApEn。圖5描述了這一分析。我們可以看到人與人之間有巨大的差異，許多都與其他組別的參與者有類似的熵。數(shù)據(jù)序列的高可變性使他們難以進(jìn)行分類。
圖5 (a)-(c) 對(duì)每個(gè)不同的數(shù)據(jù)窗口長度參數(shù)w對(duì)應(yīng)數(shù)據(jù)的ApEn分析。Y軸代表ApEn，X軸代表參數(shù)w。每一行代表一位參與者的數(shù)據(jù)。我們觀察到個(gè)體間的巨大差異性。
這項(xiàng)工作的目標(biāo)就是創(chuàng)造一個(gè)用來從原始圖像信息對(duì)發(fā)育障礙進(jìn)行分類的端對(duì)端系統(tǒng)。目前為止，我們已經(jīng)介紹了捕捉社會(huì)感知信息和分析它們瞬時(shí)結(jié)構(gòu)的特性。接下來我們需要構(gòu)造能夠優(yōu)化這些特性的方法，用來預(yù)測病人的具體發(fā)育障礙。
Model (RNN). 遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是一種前反饋神經(jīng)網(wǎng)絡(luò)對(duì)順序的概括。我們的深度學(xué)習(xí)模型是由Hinton等人提出的感知增強(qiáng)型遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自適應(yīng)模型。(LSTM+A). 這個(gè)模型已經(jīng)在其他領(lǐng)域得到了非常矚目的成果，必入語言模型和語音處理。我們的特征序列非常符合數(shù)據(jù)模型。另外，一個(gè)加密解密遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能讓我們有效地試驗(yàn)變化長度的序列。我們的實(shí)際模型與LSTM+A有兩種不同。第一，我們用GRU細(xì)胞代替了LSTM細(xì)胞，他們可以節(jié)省內(nèi)存并更佳符合我們的數(shù)據(jù)。第二，我們的解碼器產(chǎn)生一個(gè)單獨(dú)的輸出值（例如類）。解碼器是一個(gè)有soft-max輸出層的單元多層遞歸神經(jīng)網(wǎng)絡(luò)（未展開）。一般來說它可以被視作多對(duì)一的遞歸神經(jīng)網(wǎng)絡(luò)，但我們常把它表示成基于距離并采用感知機(jī)制的結(jié)構(gòu)。
在我們的實(shí)驗(yàn)中，我們使用三種遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：RNN_128: 3層128單元；RNN_256: 3層256單元；RNN_512: 3層512單元。這些參數(shù)基于我們的GPU內(nèi)存分配限制被選出來。
我們模型的訓(xùn)練總數(shù)達(dá)到一千次，對(duì)系列結(jié)果進(jìn)行分批處理，使用了動(dòng)量最陡梯度下降法（SGD）和最大斜率（0.5）
其他分類器.我們也訓(xùn)練淺基準(zhǔn)分類器，利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方式,可以發(fā)揮出我們數(shù)據(jù)的local-temporal關(guān)系。它是一個(gè)有6個(gè)卷積單位逐點(diǎn)非線性卷曲構(gòu)成的隱藏層。特征向量交叉計(jì)算串聯(lián)單位，并產(chǎn)生由另一個(gè)串聯(lián)功能近似轉(zhuǎn)換得來的輸出層。我們也訓(xùn)練支持向量機(jī)(SVMs),樸素貝葉斯(NB)分類器,和隱馬爾科夫模型(HMMs)。
通過改變在第五節(jié)中描述的分類方法，我們對(duì)系統(tǒng)整體進(jìn)行了定量評(píng)價(jià)。我們假設(shè)病人的性別已知，并選擇臨床相關(guān)的組合對(duì)比分類試驗(yàn)DD vs FXS-F和DD vs FXS-M。實(shí)驗(yàn)中，我們使用32 FXS-male，19 FXS-female和19位DD參與者。為了在訓(xùn)練和測試中保持平等的數(shù)據(jù)分布，我們構(gòu)建了Strain 和Stest 來隨機(jī)打亂每組的參與者，以確保兩個(gè)參與者類別按50% / 50%分布。在每一個(gè)新訓(xùn)練/測試子集中，這個(gè)過程不斷重復(fù)，這樣平均的分類結(jié)果就可以代表整組參與者。我們給定個(gè)體的時(shí)間序列特性數(shù)據(jù)p，對(duì)有發(fā)育障礙的參與者進(jìn)行分類，來評(píng)估我們的系統(tǒng)的精度。對(duì)N而言，所有的參與者，我們創(chuàng)建一個(gè)80% / 20% 培訓(xùn)/測試數(shù)據(jù)集,這樣就不會(huì)有參與者的數(shù)據(jù)的會(huì)被兩個(gè)數(shù)據(jù)集同時(shí)共享。對(duì)于每個(gè)實(shí)驗(yàn)，我們執(zhí)行10級(jí)交叉驗(yàn)證，這里每級(jí)被定義為一個(gè)新的隨機(jī)子集，參與者按80/20分隔—每個(gè)實(shí)驗(yàn)大約有80位參與者被測試。
表1 本系統(tǒng)與其他分類器的精度對(duì)比。列表示參與者對(duì)于DD vs FXS-female和DD vs FXS-male二進(jìn)類分類精度。分類器分別以3秒、10秒和50秒的時(shí)間窗口運(yùn)行。我們將系統(tǒng)分類器，RNN和CNN,SVM,NB,HMM算法進(jìn)行對(duì)比。
指標(biāo).我們把一個(gè)未知參與者的二進(jìn)制分類器視作DD or FXS。我們采用一種投票策略，這里給定一個(gè)病人數(shù)據(jù) p = [f1,f2,....fT]，我們通過時(shí)間窗口的方式，對(duì)所有修正長度w的p的子序列s進(jìn)行分類。在我們的實(shí)驗(yàn)中，w對(duì)應(yīng)3秒、10秒和50秒的視頻步長。為了預(yù)測參與者的障礙，我們對(duì)每種類別采用一種max-voting體系。參與者的預(yù)測類C定義為:
其中C1,C2 ∈ {DD,FXS-F,FXS-M}，Class(s) 是給定輸入s時(shí)分類器的輸出。我們使用十個(gè)交叉認(rèn)證元來計(jì)算分類器平均精度。
結(jié)果顯示在表1中。我們發(fā)現(xiàn)，在50秒的時(shí)間窗口下使用RNN_512模型可得到最高的平均精度。我們懷疑RNN_512產(chǎn)生的矚目結(jié)果與高容納能力和表示復(fù)雜瞬時(shí)結(jié)構(gòu)的能力有關(guān)。
我們闡釋了在一個(gè)高成本效益系統(tǒng)中，使用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)來輔助診斷發(fā)育障礙，在社交中表現(xiàn)出的視覺表型表達(dá)。觀察有發(fā)育障礙的試驗(yàn)者，通過錄像或近距離的眼球捕捉來收集實(shí)驗(yàn)數(shù)據(jù)。我們建立起顆粒感知對(duì)應(yīng)的視覺特征，并利用其發(fā)展出分類模型來FXS和先天發(fā)育障礙。盡管在使用的信號(hào)中發(fā)現(xiàn)了很高的方差和噪聲，我們的高精度意味著數(shù)據(jù)中瞬時(shí)結(jié)構(gòu)的存在。
這項(xiàng)工作在概念上證明了現(xiàn)代計(jì)算機(jī)視覺系統(tǒng)在輔助診斷發(fā)育障礙的能力。我們能夠基于短距離眼動(dòng)記錄，對(duì)具體的發(fā)育障礙診斷提供一個(gè)高概率性預(yù)測。這個(gè)系統(tǒng),以及其它類似的,可以顯著加快個(gè)體篩查。未來的工作將考慮此功能擴(kuò)展到更大的疾病范圍,并提高分類精度。
PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
