當你用耳機聽歌時，有人已經在用它表達情緒了。

這聽起來有點神奇，不過它真的被AI實現(xiàn)了。最近小編發(fā)現(xiàn)了一款AI黑科技-C-Face耳機，它可以在虛擬環(huán)境中傳遞人的“喜怒哀樂”。

到底怎么傳遞？先來看一張效果圖。

當你微信聊的正嗨，不用辛苦去找表情包，系統(tǒng)就會根據面部表情自動匹配發(fā)送出去。

皺個眉頭也能一秒識別，感覺聊天效率都高了。

重要的是，它的功能還不止于此。當你攤在沙發(fā)上聽音樂，懶得動還想切歌或暫停時，只需要隔空說一句“Stop”或者“Next Song”，播放設備就會自動執(zhí)行。

有網友可能會說，耳機的語音喚醒功能早已經不是新鮮事了。但是C-Face采用的并不是語音識別技術，用戶只需要動動嘴唇，無需發(fā)出聲音，系統(tǒng)就能夠自動識別。

看到這里，細心的網友可能已經發(fā)現(xiàn)，無論情緒識別和語音喚醒功能，都有一個共同的特點，即人臉面部肌肉的移動。

事實上，C-Face正是通過跟蹤面部肌肉的“人臉識別”技術來識別情緒或無聲語音命令的。

“人臉識別”AI耳機

提到人臉識別，大家可能再熟悉不過了，很多智能可穿戴設備都融入了這項技術。

但特地的是，C-Face可以說是其中最便捷且功能強大的一個。它沒有安裝復雜的傳感器設備，也不僅限于識別部分離散面部表情。

到底是一款怎樣的黑科技產品呢？

C-Face，全稱Contour-Face，是一款耳掛式可穿戴傳感設備，有耳塞式和頭掛式兩種。這兩種設備中均內置了兩個微型RGB攝像頭，一種用于捕獲紅色，綠色和光帶的數碼相機。

當我們做出面部表情時，會引起面部肌肉的拉伸和收縮，從耳朵的角度來看，這種效果會使臉頰輪廓發(fā)生變化。C-Face內置微型相機正是用來記錄佩戴者這種臉頰輪廓變化的。

至于效果怎么樣，我們先來看一組3D動圖。

雖然看起來稍有遲緩，但幾乎能夠與佩戴者的唇形和面部表情保持一致。

那如果帶上口罩呢？畢竟疫情之下，口罩和耳機成了出行時的標配。但從結果來看也并沒有什么影響。

據了解，C-Face之所以能夠準確最終面部移動，是采用了計算機視覺和深度學習模型。

在微型相機捕獲圖像后，視覺技術和深度學習模型會對其進行重建。在重建的過程中，卷積神經網絡卷積網絡進一步將面部特征轉換為42個面部關鍵點，包括佩戴者的嘴巴，眼睛以及眉毛的位置和形狀。

這些關鍵點將主要決定面部情緒的所屬類型。

據了解，C-Face可以將這些關鍵點識別為八個表情符號，比如自然、生氣、親親、大哭等，涵蓋了愉快、中性以及憤怒三種情緒類型。另外，8個表情符號也可以用來控制音樂設備上的播放選項，例如“播放” ，“下一首”或者“音量增大”。而其他的用途，還可能包括在虛擬游戲中使用來化身表達情感，幫助老師在云課堂中了解學生狀態(tài)等。

目前，這些情緒的識別效果已經過實際檢測。在9位參與檢測者提供的數據中，C-Face的表情識別準確度超過了88％，無聲語音的準確度接近85％。

康奈爾大學出品，華人教授參與研究

C-Face黑科技產品出自康奈爾大學的研究團隊，談起這項研究的初衷，負責人 Francois Guimbretiere表示，

遠程辦公或學習逐漸成為一種主流趨勢，他們希望利用最常用的耳掛式設備，能夠協(xié)助人們在虛擬環(huán)境中進行無障礙的交流、協(xié)作或表達情感。

從該校未來智能交互與計算機接口實驗室（SciFi Lab）官網顯示來看，關于這項研究的論文《C-Face：通過深度學習面部輪廓重建面部表情》，將會在10月20日至23日舉行的計算機用戶界面軟件和技術研討會（UIST2020）上發(fā)表。

論文地址：https://ad164934-109c-47d8-a0fd-ee214ece47db.filesusr.com/ugd/2311aa_832c9241fdd74d7296976cefeccb43b4.pdf

值得關注的是，這篇論文的作者還包括一名華人教授張鋮。他目前是康奈爾大學計算機與信息科學學院助理教授，也是未來交互智能計算機接口實驗室（SciFi Lab）的負責人。

他的研究方向是智能傳感系統(tǒng)與人機交互（HCI）。具體地說，是研究如何收集有關人體及周圍信息來應對各應用領域的現(xiàn)實挑戰(zhàn)，比如智能交互、健康感知和活動識別等。

張鋮最先接觸這一領域是在南開大學和中國科學院讀書期間，在這里他積累了有形用戶接口、兒童人機接口、音樂接口等方面的研究經驗。

之后他進入佐治亞理工學院讀博，期間研究了10多種不同的可穿戴設備的新輸入技術，涉及自下而上構建傳感系統(tǒng)、物理建模、硬件原型設計、數據及算法處理等。

目前，他已經在人機交互和普適計算領域的頂級會議和期刊上發(fā)表了十多篇論文（包括兩個最佳論文獎），獲得了超過10項的美國和國際專利。

對于C-Face設備，張鋮表示還存在一定的局限性，比如耳機的電池容量，之后團隊會計劃開發(fā)更低功耗的傳感技術，同時也會進行更多實際應用場景的測試。

引用鏈接：

https://news.cornell.edu/stories/2020/10/earphone-tracks-facial-expressions-even-face-mask

https://techxplore.com/news/2020-10-earphone-tracks-facial-mask.html

https://www.engadget.com/earphone-facial-expression-mask-emoji-emotion-175327792.html?utm_campaign=fullarticle&utm_medium=referral&utm_source=inshorts

雷鋒網雷鋒網雷鋒網  

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。