5
| 本文作者： 陳哲 | 2016-06-22 16:41 |
雷鋒網(wǎng)按：本文作者陳哲，現(xiàn)谷歌眼鏡部門(mén)高級(jí)軟件工程師。
去年的Google I/O上，谷歌神秘的ATAP部門(mén)（(Advanced Technologies and Projects)曾經(jīng)展示過(guò)非?？犰诺腜roject Soli。因?yàn)楫?dāng)時(shí)技術(shù)還在早期階段，只是小范圍里給60位開(kāi)發(fā)者發(fā)放了開(kāi)發(fā)套件，用于內(nèi)部測(cè)試。在今年的I/O 2016里，谷歌除了帶來(lái)Daydream，Android N等重磅更新，ATAP也低調(diào)展示了Project Soli的最新進(jìn)展。我們今天就來(lái)扒一扒Project Soli的來(lái)龍去脈，讓我們深入了解這項(xiàng)技術(shù)的原理和應(yīng)用。
Soli是一項(xiàng)運(yùn)用微型雷達(dá)監(jiān)測(cè)空中手勢(shì)動(dòng)作的新型傳感技術(shù)。這種特殊設(shè)計(jì)的雷達(dá)傳感器可以追蹤亞毫米精準(zhǔn)度的高速運(yùn)動(dòng)，然后將雷達(dá)信號(hào)進(jìn)行各種處理之后，識(shí)別成一系列通用的交互手勢(shì)，方便控制各種可穿戴和微型設(shè)備。
目前谷歌設(shè)計(jì)的這些通用交互手勢(shì)，是基于人們平時(shí)所熟悉的一些物理工具和動(dòng)作，比如按鈕，轉(zhuǎn)盤(pán)和滑桿：
雖然這些動(dòng)作都是虛擬的，但是因?yàn)槭嵌鄠€(gè)手指之間的相互動(dòng)作，它可以給用戶(hù)很好的觸覺(jué)感應(yīng)和物理反饋。也因?yàn)槿祟?lèi)有精準(zhǔn)的小肌肉運(yùn)動(dòng)技能（fine motor skills），它可以讓這些虛擬工具通過(guò)我們手勢(shì)運(yùn)動(dòng)實(shí)現(xiàn)很高的流暢性和精準(zhǔn)度。
谷歌相信這些有物理反饋與觸感的交互方式是比平面的觸摸屏或者語(yǔ)音識(shí)別技術(shù)更自然的控制方式，為人機(jī)界面引入了新的思維與機(jī)會(huì)。
目前關(guān)于手掌與手指運(yùn)動(dòng)識(shí)別與追蹤的技術(shù)，市面上已經(jīng)有好種不同的解決方案：
微軟Kinect為代表的深度感應(yīng)技術(shù)（結(jié)構(gòu)光和飛行時(shí)間兩種）
LeapMotion為代表的紅外線投影與成像
uSense為代表的光學(xué)立體成像技術(shù)
相比這幾種常見(jiàn)的解決方案，采用毫米波雷達(dá)的Soli技術(shù)有以下幾種優(yōu)點(diǎn)：
依賴(lài)紅外線的深度感應(yīng)和投影技術(shù)在室外紅外線干擾多的環(huán)境可靠性很差，毫米波雷達(dá)則無(wú)這方面問(wèn)題。
基于光學(xué)立體成像的技術(shù)需要相當(dāng)大的計(jì)算量獲取深度數(shù)據(jù)，高的分辨率較難實(shí)現(xiàn)，功耗不低；同時(shí)由于依賴(lài)可見(jiàn)光，在低光亮環(huán)境無(wú)法使用，毫米雷達(dá)波也無(wú)這方面問(wèn)題。
同時(shí)因?yàn)楹撩撞ɡ走_(dá)的頻率遠(yuǎn)低于紅外線和可見(jiàn)光，相比基于紅外線的時(shí)間飛行技術(shù)，毫米波雷達(dá)可以計(jì)算相移（Phase shift）和多普勒效應(yīng)（Doppler Effect），從而以很低的計(jì)算量獲取物體的運(yùn)動(dòng)與方向。
毫米波雷達(dá)對(duì)于一些材料還有很好的穿透性，不受光路遮擋的影響。
因?yàn)樘炀€技術(shù)近年來(lái)有不小提高，不到一平方厘米的面積谷歌就可以把傳感器和天線陣集成到一起，這方便了該技術(shù)應(yīng)用到可穿戴設(shè)備和手機(jī)上，而其他的解決方案目前還不能如此小巧：
這次I/O 2016大會(huì)上，谷歌就帶來(lái)了跟LG合作的智能手表，在表帶處繼承了Soli技術(shù)，用于捕捉用戶(hù)指尖的微小動(dòng)作。這樣的體積與功耗，傳統(tǒng)手勢(shì)感應(yīng)技術(shù)是無(wú)法想象。
在這個(gè)demo里，展示著用手指的按鍵與滑動(dòng)兩種動(dòng)作可以發(fā)送不同的指令：
在Soli項(xiàng)目的視頻介紹里，也出現(xiàn)了跟智能手表相關(guān)的設(shè)計(jì)概念：
是不是很酷炫？智能手表受限于屏幕大小，如果觸控操作直接在屏幕上進(jìn)行的話，手指就會(huì)遮擋屏幕；如果設(shè)計(jì)物理按鍵或者撥盤(pán)也很難操作。而這種空中手勢(shì)有望解決上面這些問(wèn)題。
目前Soli項(xiàng)目公開(kāi)的技術(shù)細(xì)節(jié)非常少，目前我們知道的是它可能采取了單發(fā)射，多接收的天線設(shè)計(jì)。在天線前面的障礙物會(huì)反射電波回到雷達(dá)天線，而反射信號(hào)的能量，延時(shí)以及多普勒效應(yīng)則對(duì)應(yīng)了物體的各項(xiàng)特征，包括物體的大小、形狀、材料、距離以及速度。
谷歌在介紹Soli的時(shí)候?qū)ｉT(mén)強(qiáng)調(diào)Soli不像傳統(tǒng)的雷達(dá)傳感器，并沒(méi)有需要很大的帶寬和空間解析度。事實(shí)上Soli的解析度比手指可以實(shí)現(xiàn)的精細(xì)動(dòng)作更低，所以對(duì)手指運(yùn)動(dòng)的捕捉需要分析反射信號(hào)在時(shí)間上的動(dòng)態(tài)變化，這也對(duì)手勢(shì)識(shí)別的算法提了更高要求。
從原始的雷達(dá)信號(hào)到最終的手勢(shì)控制需要經(jīng)歷下面幾步：
1、捕捉原始反射信號(hào)
2、將接收的時(shí)序信號(hào)處理和轉(zhuǎn)換到Range Doppler Map
3、特征提取，識(shí)別，定位與追蹤
4、從提取的特征實(shí)現(xiàn)手勢(shì)識(shí)別
Soli SDK為第三方開(kāi)發(fā)者提供了上面每一步的程序接口，同時(shí)兼容不同類(lèi)型的雷達(dá)，支持從每秒100到10000的采樣幀數(shù)。
Soli的雷達(dá)采用了調(diào)頻連續(xù)波Frequency Modulated Continuous Wave (FMCW)的調(diào)制格式。這項(xiàng)技術(shù)目前已經(jīng)用在汽車(chē)自動(dòng)巡航等應(yīng)用，可以同時(shí)實(shí)現(xiàn)對(duì)物體距離和速度的感應(yīng)。下面我們結(jié)合NVDIA最近發(fā)表的一篇論文(Short-range FMCW monopulse radar for hand-gesture sensing) 來(lái)解釋下這項(xiàng)技術(shù)的原理：
FMCW這種格式是由周期性鋸齒波函數(shù)調(diào)制。雷達(dá)發(fā)射的信號(hào)從物體反射回后產(chǎn)生了時(shí)間與頻率上的差異。其中時(shí)間的延時(shí)τ是電波往返的時(shí)間，頻率上的變化fd則是物體運(yùn)動(dòng)導(dǎo)致的多普勒效應(yīng)。
我們把接收到的信號(hào)跟原信號(hào)相乘，然后在模擬信號(hào)領(lǐng)域進(jìn)行低通過(guò)濾，這樣就可以產(chǎn)生明顯的beat信號(hào)。然后把二維的時(shí)序信號(hào)各自做FFT轉(zhuǎn)換，減去靜止不變的背景環(huán)境，就可以獲得所需的Range Doppler Map (RDM):
RDM的每一格都對(duì)應(yīng)著目標(biāo)的目前的距離和運(yùn)動(dòng)速度。因?yàn)椴煌奈矬w可以在不同距離或者在相似的距離但是各自有不同的速度，RDM便實(shí)現(xiàn)了同時(shí)追蹤多個(gè)物體的效果。比如下圖是一個(gè)正在移動(dòng)的手掌，每一個(gè)綠框可以是被識(shí)別出來(lái)的手指。
如果我們有多個(gè)接收天線，通過(guò)比較每個(gè)天線之間RDM的相位差，我們可以計(jì)算出每個(gè)物體的到達(dá)角度（Angle of Arrival），配合上之前算出的距離，這樣就實(shí)現(xiàn)了對(duì)物體的空間定位。如果跟傳統(tǒng)的深度感應(yīng)器進(jìn)行校準(zhǔn)之后，則可以獲得三維深度圖。
我們可以把四維的矢量信號(hào)（三維空間位置加上徑向速度）映射到一個(gè)手掌模型上，導(dǎo)入后端的手勢(shì)學(xué)習(xí)模型中進(jìn)行識(shí)別。
這是五個(gè)不同用戶(hù)進(jìn)行四種手勢(shì)產(chǎn)生的RDM，可以明顯看出手勢(shì)之間的差異是明顯的，而不同用戶(hù)在進(jìn)行同一手勢(shì)時(shí)是有很多相似點(diǎn)的。
所以FMCW這種格式相比其他雷達(dá)有以下這些優(yōu)點(diǎn)：
1、同時(shí)計(jì)算速度與距離，距離信息準(zhǔn)確度高。
2、Beat頻率不高，對(duì)應(yīng)采樣率也低，降低了模擬電路與數(shù)字信號(hào)處理的難度，整個(gè)算法可以嵌入在低功耗芯片上實(shí)現(xiàn)。
3、最短測(cè)量距離跟信號(hào)波長(zhǎng)相關(guān)，所以物體可以離天線非常近，甚至可以貼到天線上。
由此可見(jiàn)，Soli采用的這種FMCW技術(shù)是它實(shí)現(xiàn)微型化雷達(dá)和極低功耗的基礎(chǔ)。谷歌網(wǎng)站上展示的2014年的早期產(chǎn)品原型還是一個(gè)巨大的機(jī)盒，然后僅僅一年多之后就把系統(tǒng)縮小到了不到一平方厘米的面積，其中包含了多種天線和感應(yīng)器。
谷歌對(duì)Soli的目標(biāo)是制造出成本低廉，可以大規(guī)模量產(chǎn)并且功耗極低的微型雷達(dá)芯片，期望可以集成到最小的移動(dòng)設(shè)備里面。通過(guò)這兩年的發(fā)展可以說(shuō)谷歌離這個(gè)目標(biāo)已經(jīng)非常近了。
下面整理了一些過(guò)去一年早期開(kāi)發(fā)者在使用dev kit進(jìn)行的各種有趣的應(yīng)用：
因?yàn)楹撩撞ɡ走_(dá)對(duì)部分材質(zhì)有一定的穿透作用，反射信號(hào)也有一些差別，有開(kāi)發(fā)者據(jù)此設(shè)計(jì)出材質(zhì)探測(cè)器，不僅可以識(shí)別塑料和多種金屬，還能識(shí)別水跟牛奶。
車(chē)內(nèi)手勢(shì)是一項(xiàng)有意思的應(yīng)用，相比可見(jiàn)光和紅外光的技術(shù)，Soli可以完美解決不同光照環(huán)境下傳統(tǒng)技術(shù)不穩(wěn)定的問(wèn)題，而且雷達(dá)對(duì)捕捉細(xì)微運(yùn)動(dòng)有很強(qiáng)的優(yōu)勢(shì)。
在Soli的幫助下我們對(duì)手機(jī)觸屏的交互又多了新的一個(gè)維度，Hover在屏幕上的手指現(xiàn)在也可以精確地捕捉和預(yù)測(cè)了。
既然Soli可以掃描和計(jì)算出深度圖，為何不拿來(lái)做成3D掃描與成像的應(yīng)用？
這個(gè)應(yīng)用很酷炫，手指空中劃出3D密碼，抽屜自動(dòng)開(kāi)啟！
利用Soli對(duì)手勢(shì)的捕捉設(shè)計(jì)出一套樂(lè)器如何？
一個(gè)類(lèi)似的項(xiàng)目號(hào)稱(chēng)用Soli設(shè)計(jì)了全世界最小的小提琴！ 精確捕捉手指的每一點(diǎn)動(dòng)作然后映射到音符上。
從2014年項(xiàng)目開(kāi)始，到去年I/O上發(fā)布的初期原型到今年I/O帶來(lái)的各種創(chuàng)意應(yīng)用，這兩年Soli進(jìn)展很快。谷歌宣稱(chēng)相比去年的版本，目前芯片面積縮小了70%，功耗下降了22倍，從本來(lái)就不高的1.2瓦進(jìn)一步下降到了0.054瓦，算法也得到了256倍的效率提升。
據(jù)媒體報(bào)道，谷歌年底或者明年會(huì)有全新的dev kit提供給更多開(kāi)發(fā)者，相信在不遠(yuǎn)的未來(lái)我們將會(huì)看到采用Soli技術(shù)的智能手表，VR/AR設(shè)備以及智能家電出現(xiàn)在市場(chǎng)中。
另外一個(gè)巨大的市場(chǎng)就是可穿戴設(shè)備，事實(shí)上ATAP的另外一個(gè)神奇項(xiàng)目Project Jacquard正在跟Levi牛仔合作一種可觸摸布料，用于制造智能外套。Soli采用的雷達(dá)技術(shù)正好可以穿透許多傳統(tǒng)的紡織材料，很可能成為來(lái)為智能服裝標(biāo)配的交互途徑。Soli這種新穎的雷達(dá)技術(shù)以后也可以跟其他射頻與傳感技術(shù)進(jìn)行融合，或許可以創(chuàng)造出更多意想不到的應(yīng)用。
雷鋒網(wǎng)此前針對(duì)Soli雷達(dá)成像技術(shù)也有解讀：
《解讀英偉達(dá)芯的雷達(dá)手勢(shì)識(shí)別，我們對(duì)Project Soli有了更多了解》
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
