雷鋒網(wǎng)AI科技評論按：人是善于通過表情偽裝情緒的動物，但心理學(xué)家卻能夠通過“微表情”來揭示人們試圖隱藏的真實情緒。

所謂微表情，是一種持續(xù)時間極短、在人們試圖掩飾自己真實情緒時泄露出來的面部動作。

如果看過美劇《Lie to Me》，應(yīng)該對微表情不會陌生。男主卡爾?萊特曼是一個微表情專家，他不需要借助測謊儀之類的設(shè)備，也不需要收集各種證據(jù)，甚至不需要對話，只需要觀察細(xì)微的表情變化便可以判斷一個人是否說謊。

之所以能夠這樣，是因為人們在體驗情緒時會有一系列肌肉動作不自覺地表現(xiàn)出來。

例如人們在憤怒時，眉毛會緊皺下垂，，眼瞼和嘴唇緊張：

或者一個人在對事物表示驚訝時，下顎會自然下垂，嘴唇和嘴巴放松，眼睛張大，眼瞼和眉毛會微微上抬：

當(dāng)然，我們知道面部表情是可以受主觀意識控制，例如一個人可能因其知識、閱歷、能力等原因，在內(nèi)心波濤洶涌的時候做到面不改色。然而，微表情是面部肌肉條件反射地表現(xiàn)出情緒所對應(yīng)的行為。正是因為如此，微表情往往能夠揭示人類試圖隱藏的真實情緒。

但正如對微表情的定義，微表情持續(xù)時間短暫、變化幅度微弱和動作區(qū)域較少，很多時候人們很難注意到其存在。只有那些經(jīng)過大量訓(xùn)練的專家才能準(zhǔn)確地檢測，而且不同的專家還往往會判斷不一致?？咳斯碛^察微表情真的是一個耗費人力、耗費時間，而且準(zhǔn)確度低的事情！

停！

耗費人力物力、工作機械、需要大量專家……這不正是機器學(xué)習(xí)所擅長的嗎？事實上，目前已有許多學(xué)者在用機器學(xué)習(xí)的方法進行微表情研究了。

一、方法

對微表情的研究，在方法上事實上類似于人臉識別，一般包含檢測和識別兩個具體問題。

對于人臉識別，一般都是先進行人臉檢測，然后對檢測到的人臉進行識別。這個過程同樣也適用于微表情識別：先從一段長視頻中把發(fā)生微表情的視頻片段檢測出來，然后識別該微表情屬于哪一類微表情。

人臉檢測和微表情檢測

微表情檢測，就是指在一段視頻流中，檢測出是否包含微表情，并標(biāo)記微表情的起點(onset)、峰值(apex)和終點(offset)。起點(onset) 是指微表情出現(xiàn)的時間；峰值(apex) 是指微表情幅度最大的時間; 終點(offset) 是指微表情消失的時間。

微表情識別是指給定一個已經(jīng)分割好的微表情片斷，通過某種算法，識別該微表情的情緒種類（例如厭惡、悲傷、驚訝、憤怒、恐懼、快樂等）。如同三維動態(tài)表情識別一樣，其處理的對象是視頻片斷，而不只是單幅圖像。對其處理過程中，不僅要考慮空間上的模式，還要考慮時間上的模式。所以許多微表情識別的算法都考慮了時空模式。

相對于微表情檢測來說，微表情識別的難度要小一點。所以對微表情的研究一般從微表情識別開始入手。

不過對微表情的檢測和定位往往會更有實用價值。如果能在一段視頻中準(zhǔn)確地檢測和定位到某個時間點有微表情出現(xiàn)，那么就說明這個人在這個時間點上可能會有異常。

二、數(shù)據(jù)集

事實上對于微表情研究，最難的是如何收集足夠多的、質(zhì)量高的微表情數(shù)據(jù)集。

目前微表情數(shù)據(jù)庫并不多，已知的有：USF-HD數(shù)據(jù)庫，Polikovsky數(shù)據(jù)庫， SMIC數(shù)據(jù)庫, CASME數(shù)據(jù)庫, CASME II數(shù)據(jù)庫，SAMM數(shù)據(jù)庫，CAS(ME)2數(shù)據(jù)庫。在這八個數(shù)據(jù)庫中，前兩個都是非自然誘發(fā)的，且非公開的。

另外5個數(shù)據(jù)集，CASME、CASME II、CAS(ME)2是中國科學(xué)院心理研究所傅小蘭團隊所建立，SMIC是由芬蘭奧魯大學(xué)趙國英團隊建立。各個數(shù)據(jù)集的細(xì)節(jié)如下表所示：

五個公開發(fā)表的微表情數(shù)據(jù)庫

需要強調(diào)的是，這些數(shù)據(jù)庫的樣本量都非常小，到目前為止，公開發(fā)表的微表情樣本只有不到800個。是典型的小樣本問題。這就造成當(dāng)前基于深度學(xué)習(xí)的方法在微表情問題上無法完全發(fā)揮出它應(yīng)有的威力。雷鋒網(wǎng)

事實上，微表情數(shù)據(jù)庫的建立非常困難。一個原因是微表情的誘發(fā)很難，研究者往往要求被試觀看情緒視頻，激發(fā)他們的情緒同時要求他們偽裝自己的表情。有些被試可能并沒有出現(xiàn)微表情或者出現(xiàn)得很少。

另一方面，微表情的編碼也十分費時費力。微表情的編碼依賴于肉眼，需要觀察者慢速觀看視頻，并且選擇臉部運動的起始、高峰、結(jié)束并計算他們的時長。而且對于微表情的情緒標(biāo)定，目前沒有統(tǒng)一的標(biāo)準(zhǔn)。

微表情數(shù)據(jù)庫面臨的另外的問題。因為微表情的運動幅度非常小，并且相對于常規(guī)表情常常是局部的運動，導(dǎo)致在情緒分類上并不是很明確，所以不同數(shù)據(jù)庫的情緒標(biāo)定標(biāo)準(zhǔn)不一樣，所以相似的運動被作為不同類的微表情而不同的運動被視作為同類的表情。這一特點導(dǎo)致使用各種數(shù)據(jù)庫進行微表情識別算法訓(xùn)練得出的結(jié)果并不一致。

此外，由于微表情持續(xù)時間短、強度低且經(jīng)常是局部運動，現(xiàn)在的許多微表情數(shù)據(jù)庫視頻質(zhì)量并不能滿足微表情識別分析的需要，這需要具有更高的時間和空間分辨率的視頻片段才能進一步改進目前的識別算法。

一句話：微表情建庫，重要性非常高，問題非常多，困難非常大。

三、現(xiàn)狀

近幾年來，微表情受到越來越多學(xué)者們的關(guān)注。

2009-2016年計算機科學(xué)領(lǐng)域中微表情論文發(fā)文量的統(tǒng)計（數(shù)據(jù)來自Scopus）

上圖對2009-2016年計算機科學(xué)領(lǐng)域中微表情論文發(fā)文量進行了統(tǒng)計?？梢钥闯?，近三年來，有關(guān)微表情論文的發(fā)文量在急劇增長。2009-2016年一共發(fā)文81篇，其中2016年就發(fā)文30篇，占總數(shù)37%。特別是2013年兩個微表情數(shù)據(jù)庫（CASME和SMIC）公開發(fā)布以后，微表情相關(guān)的論文發(fā)文量逐年遞增。

目前，國外做的較好的以芬蘭奧魯大學(xué)趙國英團隊為主，他們?yōu)槲⒈砬樽R別提出了一個系統(tǒng)的框架，并且公開以布了一個微表情數(shù)據(jù)庫SMIC。其他包括馬來西亞Multimedia大學(xué)的John See團隊、英國曼徹斯特都會大學(xué)的Moi Hoon Yap團隊、美國南佛羅里達大學(xué)的Shreve、日本筑波大學(xué)的Polikovsky和日本早稻田大學(xué)Yao等。

而國內(nèi)做微表情檢測和識別的科研機構(gòu)主要有中國科學(xué)院心理研究所傅小蘭團隊，前面提到的三個數(shù)據(jù)庫都是他們建立的。其次還有東南大學(xué)鄭文明團隊、山東大學(xué)賁晛燁團隊、復(fù)旦大學(xué)張軍平團隊、清華大學(xué)劉永進團隊、中山大學(xué)的鄭偉詩團隊等?？梢钥闯?，國內(nèi)在這方面有相對較多的研究隊伍。

從微表情論文發(fā)文數(shù)量可以看出，微表情檢測和識別的研究屬于一個小眾的研究。其限制的主要原因在于大規(guī)模、高質(zhì)量、公開的數(shù)據(jù)資源的稀缺。所以，用機器學(xué)習(xí)方法做微表情研究，面臨的一個重要的問題便是：如何建立大規(guī)模、高質(zhì)量的數(shù)據(jù)庫資源。這面臨著從硬件，到軟件，到標(biāo)準(zhǔn)的一系列嚴(yán)峻挑戰(zhàn)。

四、論道

在國內(nèi)，關(guān)于微表情研究的會議或論壇并不是很多，大多只是小圈子內(nèi)一些研究者之間的相互交流，其他研究人員以及大眾對于這方面的研究進展知之甚少。

為了推廣國內(nèi)學(xué)者以及大眾對該領(lǐng)域的關(guān)注，中科院心理所副研究員、2018年第八屆吳文俊人工智能科學(xué)技術(shù)獎一等獎獲得者王甦菁博士將在CNCC 2019大會上舉辦一場主題為“微表情檢測和識別”的論壇，并邀請現(xiàn)任兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點實驗室主任鄭文明教授、西安交通大學(xué)特聘研究員洪曉鵬博士、京東數(shù)字科技顏文靖副教授、江西中醫(yī)藥大學(xué)申尋兵副教授、山東大學(xué)賁晛燁副教授等，共同論道微表情檢測和識別的現(xiàn)狀及未來，理論與應(yīng)用。論壇上也會介紹中國科學(xué)院心理研究所搭建的微表情編碼與共享平臺（http://mecss.psych.ac.cn/）。

屆時會擦出什么樣的火花呢？值得期待。

論壇概述：微表情是一種持續(xù)時間極短的、在人們試圖掩飾自己真實的情緒時泄露出來的面部動作。這種無法壓制的屬性使微表情成為欺騙檢測的重要線索。人們欺騙他人時，個體會有眾多反映內(nèi)心真正情緒體驗的信號出現(xiàn)（如害怕欺騙被發(fā)現(xiàn)導(dǎo)致的恐懼、愚弄他人的快樂等)。相對于研究較多的持續(xù)時間較長的宏表情，對微表情的產(chǎn)生、識別（自動識別）及相應(yīng)的認(rèn)知神經(jīng)機制都有待進一步探索。微表情不可自主控制的屬性使其可以應(yīng)用到國家安全（安檢）、司法實踐（審訊）、臨床醫(yī)學(xué)（醫(yī)患溝通）、廣告與消費（監(jiān)測消費者的真實態(tài)度）等等各個行業(yè)領(lǐng)域的真實意圖檢測。本論壇邀請心理學(xué)和計算機專家，從兩個學(xué)科的角度對微表情檢測和識別分別給出報告。

主席：王甦菁，IEEE,CCF高級會員。中國科學(xué)院心理研究所副研究員，從事微表情檢測和識別的研究，采用計算機視覺技術(shù)，對微表情檢測和識別展開了卓有成效的工作。通過計算機科學(xué)與心理學(xué)學(xué)科交叉研究，在自發(fā)微表情誘發(fā)、微表情檢測和微表情識別等方面取得了系統(tǒng)性的創(chuàng)新成果?！拔⒈砬樽R別方法”榮獲2018年第八屆吳文俊人工智能科學(xué)技術(shù)獎一等獎。

講者1：賁晛燁

題目：M2MEW：跨源面部宏/微表情數(shù)據(jù)庫

賁晛燁，副教授，碩士\博士生導(dǎo)師，山東大學(xué)未來計劃學(xué)者。主要研究方向為圖像處理、模式識別。 獲得哈爾濱工程大學(xué)優(yōu)秀博士學(xué)位論文獎，黑龍江省優(yōu)秀畢業(yè)生榮譽稱號，入選教育部“全國博士后特別資助計劃”。2010年4月至2012年5月在哈爾濱工業(yè)大學(xué)交通信息與控制專業(yè)流動站做博士后，2011年11月進入山東大學(xué)信息科學(xué)與工程學(xué)院圖像處理與模式識別技術(shù)研究所工作，2015年1月至2015年12月在澳大利亞悉尼科技大學(xué)人工智能中心（全澳排名第一）陶大程教授研究組訪問交流學(xué)習(xí)一年。主持國家自然科學(xué)基金面上、青年基金、科技部國家重點研發(fā)計劃子課題、山東省重點研發(fā)計劃、教育部博士點基金，博士后一等資助項目以及博士后特別資助等項目。

講者2：顏文靖

題目：微表情數(shù)據(jù)庫的現(xiàn)狀與未來

顏文靖，心理學(xué)博士，畢業(yè)于中國科學(xué)院心理研究所。原溫州大學(xué)心理系主任、副教授、碩士生導(dǎo)師、韓國全南大學(xué)兼職博士生導(dǎo)師。長期開展心理學(xué)與計算機的交叉研究，研究興趣主要包括表情與姿態(tài)、欺騙以及心理健康，建立了國際上使用最多的微表情數(shù)據(jù)庫CASME?，F(xiàn)在京東數(shù)字科技開展心理學(xué)與人工智能結(jié)合的應(yīng)用研究。

講者3：鄭文明

題目：人的智能發(fā)展評測與心理生理信息感知計算

鄭文明，二級教授，博士生導(dǎo)師，現(xiàn)任兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點實驗室主任、IEEE高級會員、中國認(rèn)知科學(xué)學(xué)會理事。2004年9月博士畢業(yè)于東南大學(xué)無線電工程系信號與信息處理專業(yè)。先后在微軟亞洲研究院、香港中文大學(xué)、美國伊利諾伊大學(xué)香檳分校、劍橋大學(xué)從事訪問研究。主要研究方向為多模態(tài)情感計算、神經(jīng)信息處理、計算機視覺，機器學(xué)習(xí)。2005年入選教育部新世紀(jì)優(yōu)秀人才支持計劃，先后獲首屆微軟青年教授獎、全國優(yōu)秀博士學(xué)位論文提名獎、江蘇省杰出青年基金等榮譽。擔(dān)任IEEE Transactions on Affective Computing、Neurocomputing、The Visual Computer、《圖學(xué)學(xué)報》等國內(nèi)外期刊編委。主持了科技部973課題、國家自然科學(xué)基金重點項目、江蘇省杰出青年基金項目等，獲國家技術(shù)發(fā)明二等獎1項、教育部自然科學(xué)二等獎2項和江蘇省科技進步二等獎1項。

講者4：申尋兵

題目：欺騙檢測的情緒泄露線索

申尋兵，副教授，碩導(dǎo)，美國邁阿密大學(xué)（牛津）訪問學(xué)者。近五年該同志主持省部級以上項目6項（其中國家自然科學(xué)基金與教育部人文社科項目各1項）；發(fā)表論文16篇 （其中第一作者或通訊作者SCI/SSCI論文4篇、 CSSCI論文2篇、EI論文5篇、CPCI （ISTP）論文1篇）；參與寫作教材或著作3部，參編國家級規(guī)劃教材1部；獲校級教學(xué)成果二等獎1項（排名第1），獲得授權(quán)發(fā)明專利1項（排名第二）。兼任《科學(xué)通報》、《心理學(xué)報》、《心理科學(xué)》審稿人，《Frontiers in Psychology》客座編輯、審稿人，世界中醫(yī)藥聯(lián)合會中醫(yī)心理學(xué)專業(yè)委員會常務(wù)理事，江西省心理學(xué)會常務(wù)理事，江西省社會心理學(xué)會理事，江西省中西醫(yī)結(jié)合學(xué)會循證醫(yī)學(xué)專業(yè)委員會委員，江西省中西醫(yī)結(jié)合學(xué)會循證醫(yī)學(xué)專業(yè)委員會委員，中國人工智能學(xué)會人工心理與人工情感專業(yè)委員會委員，江西省公共資源交易中心評標(biāo)專家，江西省養(yǎng)老服務(wù)標(biāo)準(zhǔn)化技術(shù)委員會委員。

講者5：洪曉鵬

題目：自動微表情分析：從手工特征到深度學(xué)習(xí)

洪曉鵬博士，現(xiàn)為西安交通大學(xué)電信學(xué)部特聘研究員、博導(dǎo)。曾獲得芬蘭奧盧大學(xué)博士生導(dǎo)師(Docent)頭銜。他在高文院士指導(dǎo)下于2010年在哈爾濱工業(yè)大學(xué)獲得計算機應(yīng)用與技術(shù)專業(yè)工學(xué)博士學(xué)位。他目前的研究興趣包括微表情識別、醫(yī)學(xué)檢查、小樣本學(xué)習(xí)及物體跟蹤等。洪曉鵬博士已在包括IEEE T-PAMI、T-IP、CVPR和ACM UbiComp等CCF A類學(xué)術(shù)刊物在內(nèi)的國際權(quán)威期刊和會議上以主要作者身份發(fā)表了逾30篇文章，獲授權(quán)發(fā)明專利一項。所發(fā)表文章Google Scholar引用超過800次，單篇所載刊物最高影響因子9.455。其中在瞬時情感分析方面的相關(guān)工作受到了包括美國《麻省理工技術(shù)評論》和英國《每日郵報》在內(nèi)的國際權(quán)威媒體專文報道。自2011年起主持了芬蘭奧盧市信息技術(shù)學(xué)會(Infotech Oulu) 博士后科研基金項目一項，共同主持芬蘭科學(xué)院ICT2023專題項目一項，并先后參與多項芬蘭科學(xué)院基金項目和中國國家自然科學(xué)基金項目。

參考文章：https://mp.weixin.qq.com/s/bMwVZN6sCcbVdU0F4ulagQ

雷鋒網(wǎng)報道

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。