嘉賓介紹: 趙京雷，閱面科技 ReadSense CEO。上海交通大學(xué)人工智能博士，前WiseNut研究中心算法負(fù)責(zé)人，前阿里北京算法研究中心負(fù)責(zé)人、高級(jí)算法專家。閱面科技專注于深度學(xué)習(xí)和計(jì)算機(jī)視覺，為消費(fèi)級(jí)智能機(jī)器提供最前沿的視覺算法和解決方案。其技術(shù)應(yīng)用領(lǐng)域包括服務(wù)機(jī)器人、智能家電、智能手機(jī)、無(wú)人機(jī)和其他消費(fèi)電子產(chǎn)品行業(yè)。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

隨著最近ADAS的火熱，不少人開始注意到人臉識(shí)別在實(shí)際應(yīng)用中有了更細(xì)分的場(chǎng)景——情緒識(shí)別，它可以在檢測(cè)到駕駛員的憤怒情緒后，命令駕駛員勒緊安全帶，提高制動(dòng)器的反應(yīng)響應(yīng)性，也可以通過(guò)方向盤振動(dòng)及警告聲，將情緒狀態(tài)告知駕駛員。從而讓我們遠(yuǎn)離80%由駕駛員精神不集中及憤怒情緒所導(dǎo)致的交通事故。（據(jù)美國(guó)國(guó)家公路交通安全管理局NHTSA介紹，美國(guó)的交通事故有80%是由駕駛員精神不集中及憤怒情緒所導(dǎo)致的。）

那這個(gè)關(guān)乎生命的檢測(cè)過(guò)程是如何實(shí)現(xiàn)的呢？本期硬創(chuàng)公開課邀請(qǐng)了人工智能算法專家趙京雷從人臉識(shí)別和情緒識(shí)別區(qū)別開始，循序漸進(jìn)到情緒識(shí)別原理，情緒識(shí)別的應(yīng)用場(chǎng)景，最后為我們揭秘這個(gè)過(guò)程是如何實(shí)現(xiàn)的。

人臉識(shí)別和情緒識(shí)別不一樣

首先我先說(shuō)下情緒識(shí)別這個(gè)叫法。情緒識(shí)別廣義上可以通過(guò)表情、語(yǔ)音語(yǔ)調(diào)或者腦電捕捉等進(jìn)行。目前技術(shù)上最成熟、得到廣泛應(yīng)用的是表情識(shí)別技術(shù)，也就是基于計(jì)算機(jī)視覺算法，識(shí)別人臉的表情動(dòng)作和推斷喜怒哀樂等基本情緒。

接下來(lái)，我們講的“情緒識(shí)別”技術(shù)，都是指的狹義上的“表情識(shí)別”技術(shù)。人臉識(shí)別大家都比較熟悉，表情識(shí)別可能接觸較少，兩者之間有很多的聯(lián)系，又有很大的差別。

首先，我們看兩者的不同。

第一，“人臉識(shí)別”是個(gè)去表情的過(guò)程。人臉識(shí)別中，對(duì)同一個(gè)人無(wú)論他做出什么表情，都要想辦法識(shí)別為同一個(gè)人；相反，“表情識(shí)別” 是一個(gè)強(qiáng)調(diào)表情變化的過(guò)程，對(duì)于同一個(gè)人，要把其不同的表情和情緒變化識(shí)別出來(lái)。

第二，人臉識(shí)別偏靜態(tài)，表情識(shí)別偏動(dòng)態(tài)。人臉識(shí)別的最典型問(wèn)題是人臉驗(yàn)證 face verification問(wèn)題，即任給兩張照片中的人臉，判定是不是同一個(gè)人，是個(gè)靜態(tài)的判定問(wèn)題。表情識(shí)別的基本問(wèn)題，是給一個(gè)人臉連續(xù)動(dòng)作幀，判斷這個(gè)時(shí)間段該人臉的基本表情變化，是個(gè)動(dòng)態(tài)的判定問(wèn)題。

上面說(shuō)的是不同，當(dāng)然，另一方面，兩者都是對(duì)面部進(jìn)行視覺處理，又有很強(qiáng)的聯(lián)系。兩者的聯(lián)系有以下方面。

第一，二者都依賴于一些人臉的基礎(chǔ)技術(shù)，比如“人臉檢測(cè)” 和“人臉特征點(diǎn)檢測(cè)”。這兩塊很多朋友應(yīng)該都比較熟悉，人臉檢測(cè)是從照片或者視頻幀中把人臉出現(xiàn)的區(qū)域檢測(cè)出來(lái)。

如圖，人臉特征點(diǎn)檢測(cè)指的是把人臉的一些預(yù)先定義的特征點(diǎn)識(shí)別和標(biāo)注出來(lái)。所以一些人臉方面的基礎(chǔ)技術(shù)，是兩者的共同基礎(chǔ)。

第二，人臉識(shí)別和表情識(shí)別，在識(shí)別的精度上，都會(huì)受光照、人臉姿態(tài)和遮擋的影響。這方面，人類好像感覺沒啥問(wèn)題。但這些客觀條件對(duì)計(jì)算機(jī)識(shí)別算法影響很大，比如極端的側(cè)臉和仰頭等姿態(tài)會(huì)嚴(yán)重影響人臉檢測(cè)的精度，而如果在照片中沒有辦法檢測(cè)到人臉，就不能做人臉識(shí)別和表情識(shí)別了。

另外，從總體的業(yè)界發(fā)展來(lái)看，從識(shí)別的難度上來(lái)講，相對(duì)于人臉識(shí)別，表情識(shí)別在技術(shù)難度的挑戰(zhàn)要更大一些，這和數(shù)據(jù)以及動(dòng)態(tài)不確定性等因素有關(guān)。

能不能識(shí)別虛假表情

目前表情識(shí)別主要識(shí)別的是人類的基本情緒。根據(jù)心理學(xué)的基本情緒理論，人類的基本情緒包括：喜悅、悲傷、憤怒、討厭、害怕、驚奇和中性。

著名心理學(xué)家Paul Ekman教授（美劇lie to me的角色原型）提出了一套面部動(dòng)作編碼理論（FACS），把人類的表情分解為多個(gè)面部動(dòng)作單元(Action Units)。這些面部單元單獨(dú)并不能夠代表任何的情感，但是它們的組合理論上可以表達(dá)人類的任何面部表情。

這一理論在心理學(xué)多年的研究中得到了驗(yàn)證，并在過(guò)去成功應(yīng)用于動(dòng)畫角色的表情建模中。比如阿凡達(dá)之類電影中的動(dòng)畫角色建模時(shí)。動(dòng)畫師不是對(duì)每一個(gè)動(dòng)畫幀的表情都進(jìn)行單獨(dú)刻畫，而是首先對(duì)一些代表局部表情動(dòng)作的Blend Shape進(jìn)行建模。

比如代表眉毛升起或者嘴角上揚(yáng)的 Blend Shape。這些Blend Shape就是某種意義上的面部表情單元。在這基礎(chǔ)上，每一幅動(dòng)畫幀的豐富表情變化都可以通過(guò)這些基本幀加權(quán)來(lái)得到。

近些年，隨著機(jī)器學(xué)習(xí)的發(fā)展，表情單元的編碼系統(tǒng)也被成功的應(yīng)用于表情識(shí)別。這個(gè)自動(dòng)表情識(shí)別過(guò)程是這樣的。首先，機(jī)器學(xué)習(xí)算法會(huì)從很多的表情照片中習(xí)得特定的表情單元是否出現(xiàn)。不同的表情單元組合代表了不同的表情。

比如表情單元12代表嘴角上揚(yáng)，表情單元6代表面頰上升，兩者的結(jié)合在一頂程度上表示了人類喜悅的情緒。

基于表情單元進(jìn)行表情識(shí)別，理論上就可以捕捉人類上千種的不同的情緒。進(jìn)一步可以做到表情映射和遷移，即把人的表情變化實(shí)時(shí)遷移另外一個(gè)人物模型上面去。比如這種

上面是對(duì)表情識(shí)別原理的基本解釋，下面回答“假笑”是否可以識(shí)別。

我們看美劇《Lie to me》，經(jīng)?？吹紼kman教授通過(guò)識(shí)別人的表情來(lái)判斷一個(gè)人是不是在說(shuō)謊。在心理學(xué)理論上，真笑和假笑在一定程度上可以通過(guò)動(dòng)作所涉及到動(dòng)作單元的強(qiáng)度和動(dòng)態(tài)過(guò)程來(lái)區(qū)分。

比如上面講的，如果只是出現(xiàn)了動(dòng)作單元12，沒有出現(xiàn)動(dòng)作單元6，再加上持續(xù)時(shí)間，那么是有可能判斷是否為假笑的。

但關(guān)于這方面，我們將其稱為微表情研究領(lǐng)域。

雖然學(xué)術(shù)屆有些研究，但在應(yīng)用中，目前這種“微表情”的識(shí)別還沒有較成熟的商用系統(tǒng)，實(shí)用性不強(qiáng)。所以，計(jì)算機(jī)領(lǐng)域的“表情識(shí)別”主要還是指對(duì)人類基本情緒的識(shí)別，而不是微表情識(shí)別。

讓計(jì)算機(jī)或者人工智能技術(shù)通過(guò)表情識(shí)別去做《Lie to me》中的微表情測(cè)謊，目前是不太現(xiàn)實(shí)的，這可能會(huì)讓大家失望哈。

主要的原因，不是因?yàn)楝F(xiàn)在的計(jì)算技術(shù)達(dá)不到，而是因?yàn)檫@方面的心理學(xué)理論還缺乏對(duì)“微表情”的清晰定義，從而構(gòu)建相關(guān)數(shù)據(jù)來(lái)指導(dǎo)計(jì)算機(jī)認(rèn)知就非常困難。

情緒識(shí)別會(huì)在哪些場(chǎng)景爆發(fā)

（目前情緒識(shí)別的應(yīng)用場(chǎng)景主要在哪幾個(gè)領(lǐng)域呢？你認(rèn)為哪幾個(gè)領(lǐng)域市場(chǎng)化的速度會(huì)比較快？）

嗯，這個(gè)是人工智能領(lǐng)域的從業(yè)者比較關(guān)心的問(wèn)題。情緒識(shí)別的應(yīng)用場(chǎng)景，典型的有廣告效果評(píng)估、產(chǎn)品評(píng)測(cè)、視頻分析、醫(yī)療康復(fù)、安全駕駛和情感機(jī)器人等。

個(gè)人認(rèn)為“情緒識(shí)別” 在人機(jī)交互領(lǐng)域會(huì)發(fā)展的比較快。包括安全駕駛、情感機(jī)器人。讓機(jī)器更好的理解人、更加智能和人性化的為人類服務(wù)是近期人工智能革命的根本。機(jī)器慢慢的習(xí)得足夠的情感認(rèn)知能力以后，就可以在人機(jī)交互中對(duì)用戶體驗(yàn)進(jìn)行一系列的升級(jí)。

終于到了拯救生命這茬

（最近將情緒識(shí)別技術(shù)應(yīng)用于ADAS的概念很火，從技術(shù)角度來(lái)說(shuō)，這個(gè)過(guò)程具體是如何實(shí)現(xiàn)的呢？）

關(guān)于ADAS的應(yīng)用。比較典型的場(chǎng)景有疲勞駕駛和路怒駕駛的檢測(cè)和預(yù)警。發(fā)現(xiàn)駕駛員有疲勞駕駛和路怒駕駛的狀況后，可以觸發(fā)干預(yù)。從技術(shù)角度，比如疲勞駕駛可以通過(guò)若干動(dòng)作單元以及面部特征的組合來(lái)識(shí)別。比如閉眼超時(shí)、眉頭下垂、睜眼被動(dòng)等。

這個(gè)里面，比較大的技術(shù)挑戰(zhàn)在于，要考慮對(duì)人臉的捕捉角度以及計(jì)算效率。

這種情況下，云服務(wù)不是好的選擇。需要讓計(jì)算機(jī)視覺的識(shí)別算法能夠高精度、高效率的運(yùn)算在本地的adas嵌入式系統(tǒng)上。

（熱心觀眾：想問(wèn)一下本地做識(shí)別往往受到數(shù)據(jù)庫(kù)和算法的限制，為什么說(shuō)云服務(wù)不是一個(gè)很好的選擇的？）

主要看應(yīng)用場(chǎng)景，在應(yīng)用于諸如機(jī)器人和ADAS等系統(tǒng)中，系統(tǒng)需要實(shí)時(shí)計(jì)算，并且不能受到網(wǎng)絡(luò)連接的影響，這個(gè)時(shí)候從產(chǎn)品用戶體驗(yàn)和安全等考慮，云服務(wù)是不太現(xiàn)實(shí)的。需要本地的潛入sdk或者硬件乃至芯片方案。

（熱心觀眾：它對(duì)本地ADAS的系統(tǒng)有什么樣的要求？需要什么樣的硬件配置？）

目前，舉例來(lái)講，閱面科技這邊，基于深度學(xué)習(xí)的表情識(shí)別已經(jīng)可以做到在小米3之類的手機(jī)上，1.6GCPU,不依賴于gpu, 每秒鐘40幀以上。所以理論上，本地ADAS如果具有類似于一個(gè)普通智能手機(jī)的運(yùn)算能力都可以跑。在一般的實(shí)際情況中，ADAS系統(tǒng)還會(huì)結(jié)合行人檢測(cè)等算法，所以一般配置會(huì)高些。當(dāng)然，如果有g(shù)pu，也可以進(jìn)一步提速。 

目前我們閱面科技在這方面也做了很多的工作。讓深度學(xué)習(xí)在嵌入式系統(tǒng)中高精度和高效的運(yùn)轉(zhuǎn)會(huì)是接下來(lái)一些年計(jì)算機(jī)視覺的一個(gè)主題之一。

號(hào)外：

(如果情緒識(shí)別普及，不可避免地會(huì)觸犯到每個(gè)人的隱私。如何在隱私保護(hù)和商業(yè)應(yīng)用之間找到平衡。？

大家都知道，深度學(xué)習(xí)是和大數(shù)據(jù)緊密綁定的。只有有了數(shù)據(jù)，才能利用機(jī)器學(xué)習(xí)的能力去從數(shù)據(jù)中自動(dòng)習(xí)得知識(shí)

從這種意義上講，情緒識(shí)別技術(shù)和其他計(jì)算機(jī)視覺技術(shù)或者說(shuō)更廣義的人工智能技術(shù)都依賴于數(shù)據(jù)的采集和處理。當(dāng)然，只要有數(shù)據(jù)采集，就有可能觸犯?jìng)€(gè)人的隱私。

數(shù)據(jù)的隱私問(wèn)題可以說(shuō)和互聯(lián)網(wǎng)相伴而生。我們每天瀏覽網(wǎng)頁(yè)、搜索信息和在線購(gòu)物過(guò)程中，我們的偏好數(shù)據(jù)都在網(wǎng)絡(luò)中曝光。而也正是這些數(shù)據(jù)，讓我們更加準(zhǔn)確搜索到信息，更加快速的發(fā)現(xiàn)自己喜歡的商品

如何最大限度的保護(hù)個(gè)人的隱私，同時(shí)合理的利用個(gè)人數(shù)據(jù)，是個(gè)兩難問(wèn)題。 我們目前在這方面，可以讓我們的客戶選擇只是回傳服務(wù)端關(guān)鍵點(diǎn)等數(shù)據(jù)，而不是原始圖像，是一種折中的方案吧。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。