0
| 本文作者： 貝爽 | 2020-10-14 17:01 |
當(dāng)你用耳機(jī)聽歌時(shí)，有人已經(jīng)在用它表達(dá)情緒了。
這聽起來有點(diǎn)神奇，不過它真的被AI實(shí)現(xiàn)了。最近小編發(fā)現(xiàn)了一款A(yù)I黑科技-C-Face耳機(jī)，它可以在虛擬環(huán)境中傳遞人的“喜怒哀樂”。
到底怎么傳遞？先來看一張效果圖。
當(dāng)你微信聊的正嗨，不用辛苦去找表情包，系統(tǒng)就會(huì)根據(jù)面部表情自動(dòng)匹配發(fā)送出去。
皺個(gè)眉頭也能一秒識別，感覺聊天效率都高了。
重要的是，它的功能還不止于此。當(dāng)你攤在沙發(fā)上聽音樂，懶得動(dòng)還想切歌或暫停時(shí)，只需要隔空說一句“Stop”或者“Next Song”，播放設(shè)備就會(huì)自動(dòng)執(zhí)行。
有網(wǎng)友可能會(huì)說，耳機(jī)的語音喚醒功能早已經(jīng)不是新鮮事了。但是C-Face采用的并不是語音識別技術(shù)，用戶只需要?jiǎng)觿?dòng)嘴唇，無需發(fā)出聲音，系統(tǒng)就能夠自動(dòng)識別。
看到這里，細(xì)心的網(wǎng)友可能已經(jīng)發(fā)現(xiàn)，無論情緒識別和語音喚醒功能，都有一個(gè)共同的特點(diǎn)，即人臉面部肌肉的移動(dòng)。
事實(shí)上，C-Face正是通過跟蹤面部肌肉的“人臉識別”技術(shù)來識別情緒或無聲語音命令的。
提到人臉識別，大家可能再熟悉不過了，很多智能可穿戴設(shè)備都融入了這項(xiàng)技術(shù)。
但特地的是，C-Face可以說是其中最便捷且功能強(qiáng)大的一個(gè)。它沒有安裝復(fù)雜的傳感器設(shè)備，也不僅限于識別部分離散面部表情。
到底是一款怎樣的黑科技產(chǎn)品呢？
C-Face，全稱Contour-Face，是一款耳掛式可穿戴傳感設(shè)備，有耳塞式和頭掛式兩種。這兩種設(shè)備中均內(nèi)置了兩個(gè)微型RGB攝像頭，一種用于捕獲紅色，綠色和光帶的數(shù)碼相機(jī)。
當(dāng)我們做出面部表情時(shí)，會(huì)引起面部肌肉的拉伸和收縮，從耳朵的角度來看，這種效果會(huì)使臉頰輪廓發(fā)生變化。C-Face內(nèi)置微型相機(jī)正是用來記錄佩戴者這種臉頰輪廓變化的。
至于效果怎么樣，我們先來看一組3D動(dòng)圖。
雖然看起來稍有遲緩，但幾乎能夠與佩戴者的唇形和面部表情保持一致。
那如果帶上口罩呢？畢竟疫情之下，口罩和耳機(jī)成了出行時(shí)的標(biāo)配。但從結(jié)果來看也并沒有什么影響。
據(jù)了解，C-Face之所以能夠準(zhǔn)確最終面部移動(dòng)，是采用了計(jì)算機(jī)視覺和深度學(xué)習(xí)模型。
在微型相機(jī)捕獲圖像后，視覺技術(shù)和深度學(xué)習(xí)模型會(huì)對其進(jìn)行重建。在重建的過程中，卷積神經(jīng)網(wǎng)絡(luò)卷積網(wǎng)絡(luò)進(jìn)一步將面部特征轉(zhuǎn)換為42個(gè)面部關(guān)鍵點(diǎn)，包括佩戴者的嘴巴，眼睛以及眉毛的位置和形狀。
這些關(guān)鍵點(diǎn)將主要決定面部情緒的所屬類型。
據(jù)了解，C-Face可以將這些關(guān)鍵點(diǎn)識別為八個(gè)表情符號，比如自然、生氣、親親、大哭等，涵蓋了愉快、中性以及憤怒三種情緒類型。另外，8個(gè)表情符號也可以用來控制音樂設(shè)備上的播放選項(xiàng)，例如“播放” ，“下一首”或者“音量增大”。而其他的用途，還可能包括在虛擬游戲中使用來化身表達(dá)情感，幫助老師在云課堂中了解學(xué)生狀態(tài)等。
目前，這些情緒的識別效果已經(jīng)過實(shí)際檢測。在9位參與檢測者提供的數(shù)據(jù)中，C-Face的表情識別準(zhǔn)確度超過了88％，無聲語音的準(zhǔn)確度接近85％。
C-Face黑科技產(chǎn)品出自康奈爾大學(xué)的研究團(tuán)隊(duì)，談起這項(xiàng)研究的初衷，負(fù)責(zé)人 Francois Guimbretiere表示，
遠(yuǎn)程辦公或?qū)W習(xí)逐漸成為一種主流趨勢，他們希望利用最常用的耳掛式設(shè)備，能夠協(xié)助人們在虛擬環(huán)境中進(jìn)行無障礙的交流、協(xié)作或表達(dá)情感。
從該校未來智能交互與計(jì)算機(jī)接口實(shí)驗(yàn)室（SciFi Lab）官網(wǎng)顯示來看，關(guān)于這項(xiàng)研究的論文《C-Face：通過深度學(xué)習(xí)面部輪廓重建面部表情》，將會(huì)在10月20日至23日舉行的計(jì)算機(jī)用戶界面軟件和技術(shù)研討會(huì)（UIST2020）上發(fā)表。
論文地址：https://ad164934-109c-47d8-a0fd-ee214ece47db.filesusr.com/ugd/2311aa_832c9241fdd74d7296976cefeccb43b4.pdf
值得關(guān)注的是，這篇論文的作者還包括一名華人教授張鋮。他目前是康奈爾大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院助理教授，也是未來交互智能計(jì)算機(jī)接口實(shí)驗(yàn)室（SciFi Lab）的負(fù)責(zé)人。
他的研究方向是智能傳感系統(tǒng)與人機(jī)交互（HCI）。具體地說，是研究如何收集有關(guān)人體及周圍信息來應(yīng)對各應(yīng)用領(lǐng)域的現(xiàn)實(shí)挑戰(zhàn)，比如智能交互、健康感知和活動(dòng)識別等。
張鋮最先接觸這一領(lǐng)域是在南開大學(xué)和中國科學(xué)院讀書期間，在這里他積累了有形用戶接口、兒童人機(jī)接口、音樂接口等方面的研究經(jīng)驗(yàn)。
之后他進(jìn)入佐治亞理工學(xué)院讀博，期間研究了10多種不同的可穿戴設(shè)備的新輸入技術(shù)，涉及自下而上構(gòu)建傳感系統(tǒng)、物理建模、硬件原型設(shè)計(jì)、數(shù)據(jù)及算法處理等。
目前，他已經(jīng)在人機(jī)交互和普適計(jì)算領(lǐng)域的頂級會(huì)議和期刊上發(fā)表了十多篇論文（包括兩個(gè)最佳論文獎(jiǎng)），獲得了超過10項(xiàng)的美國和國際專利。
對于C-Face設(shè)備，張鋮表示還存在一定的局限性，比如耳機(jī)的電池容量，之后團(tuán)隊(duì)會(huì)計(jì)劃開發(fā)更低功耗的傳感技術(shù)，同時(shí)也會(huì)進(jìn)行更多實(shí)際應(yīng)用場景的測試。
引用鏈接：
https://news.cornell.edu/stories/2020/10/earphone-tracks-facial-expressions-even-face-mask
https://techxplore.com/news/2020-10-earphone-tracks-facial-mask.html
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
