0
| 本文作者： camsense | 2017-08-02 16:27 |
雷鋒網(wǎng)按：本文作者周琨，深圳市歡創(chuàng)科技有限公司CEO，清華大學(xué)深圳研究生院碩士生導(dǎo)師，師從973首席科學(xué)家，長江學(xué)者戴瓊海教授。雷鋒網(wǎng)特約文章。
本文分為上、下兩篇，重點介紹基于計算機(jī)視覺的空間測量與定位這一技術(shù)，包括其應(yīng)用領(lǐng)域與市場前景，常見方案對比，并重點介紹單目空間定位的原理與難點，AI技術(shù)在位置追蹤上的應(yīng)用等
伴隨著智能家居、工業(yè)4.0、計算機(jī)輔助醫(yī)療以及VR/AR的蓬勃興起，越來越多的場景需要高精度、低成本的三維空間測量與定位技術(shù)。
這一技術(shù)最主要的應(yīng)用場景有兩類：第一類是解決對物體的尺寸、方位、姿態(tài)進(jìn)行高精度測量，這個在工業(yè)、醫(yī)療以及對精度要求比較高的商業(yè)級應(yīng)用領(lǐng)域會特別多，第二類是在需要方便、快捷、準(zhǔn)確的人機(jī)交互領(lǐng)域提供高性價比的人機(jī)交互技術(shù)，這個在工業(yè)機(jī)器人控制、以及VR/AR領(lǐng)域是非常重要的。
具體而言，常見的應(yīng)用場景包括：
1）工業(yè)領(lǐng)域中，需要對生產(chǎn)線上的零部件進(jìn)行三維尺寸測量，以確定其幾何尺寸、位置偏差是否合格；
圖1：飛機(jī)風(fēng)洞測試中的位置測量
2）計算機(jī)輔助手術(shù)中，需要對手術(shù)刀的三維空間位置進(jìn)行精確測量和定位，以配合計算機(jī)輔助成像，幫助醫(yī)生完成各種手術(shù)；
圖2：計算機(jī)輔助手術(shù)中對手術(shù)刀進(jìn)行測量定位
3）安防監(jiān)控領(lǐng)域中，需要對移動物體進(jìn)行準(zhǔn)確的測量，以提供準(zhǔn)確的motion detction報警，不能虛報，更不能漏報。
圖3：安防攝像頭的motion dection
4）工業(yè)機(jī)器人標(biāo)配的示教系統(tǒng)中，通過提供一種方便、快捷的人機(jī)交互方式，實現(xiàn)對機(jī)器人的示教，從而對現(xiàn)有的編程的示教方式形成更加有效率的補(bǔ)充；
圖4：傳統(tǒng)工業(yè)機(jī)器人示教系統(tǒng)
5）VR領(lǐng)域中，無論是inside-out追蹤方案，還是outside-in追蹤方案，都需要對controller進(jìn)行實時定位和追蹤。這個定位和追蹤，要求無論controller的移動速度有多快，有沒有被遮擋，都要準(zhǔn)確定位、穩(wěn)定追蹤、不能丟失。
圖5：HTC空間定位系統(tǒng)
上述領(lǐng)域中，對于物體的三維空間尺寸、方位、姿態(tài)的測量都有非常強(qiáng)烈的需求，是屬于剛性需求。
目前，在工業(yè)領(lǐng)域中，代表性的三維空間測量與定位方案是加拿大NDI公司的OptoTrack系統(tǒng)。該系統(tǒng)需要在被測量物體上貼上發(fā)光標(biāo)記點，并采用視覺方案來進(jìn)行空間定位，其測量和定位精度可達(dá)到0.1mm。但由于需要在被測量物體上貼標(biāo)記點，所以其適用于離線測量，不適用于在線測量。在工業(yè)生產(chǎn)的在線測量領(lǐng)域，測量的準(zhǔn)確性與實時性都是非常重要的，這就要求在被測量物體上不能貼標(biāo)記，這樣才會有更為廣泛的應(yīng)用空間。
在智能安防領(lǐng)域中，目前的芯片廠商都提供了最為基礎(chǔ)的，基于計算機(jī)視覺的motion detection方案，但這種方案由于僅僅檢測圖像的像素級亮度，不能識別高層圖像語義，所以會引起很多誤報，例如天空中陽光被云層遮擋等，都可能引起虛報。而基于熱釋電的檢測方案，也會由于外界發(fā)熱物體的經(jīng)過（例如汽車），從而造成誤報。所以，目前智能安防領(lǐng)域一個比較迫切的需求就是，如何采用一個更加穩(wěn)定、可靠的方案來進(jìn)行移動物體檢測。
在VR領(lǐng)域中，目前HTC、Oculus和索尼都提供了基于激光、單目視覺和雙目視覺的outside-in controller及其追蹤方案，微軟的Holographic項目也提供了inside-out的controller及其追蹤方案。雖然目前的方案中，已經(jīng)對定位精度做的比較好了，但是成本一直居高不下，那么，如何在保持現(xiàn)有定位精度不降低甚至還要進(jìn)一步增加的情況下，提供更低成本的定位方案，就是目前VR業(yè)內(nèi)巨頭們正在努力做的事情。
從以上的應(yīng)用場景中，可以看到，能根據(jù)相應(yīng)的應(yīng)用場景，提供合適的精度、成本、便捷性和高魯棒性的方案，一定能夠獲得市場的親睞。請注意，這里的“合適”非常重要，因為，凡是脫離了應(yīng)用場景，脫離了成本談性能和便捷性都是“耍流氓”。所以，對于空間測量和定位技術(shù)來講，方案一定要有靈活性，要能根據(jù)客戶和應(yīng)用場景的需要，而進(jìn)行相應(yīng)的調(diào)節(jié)，使得在垂直領(lǐng)域中擁有最強(qiáng)的競爭力。
常見的三維空間測量與定位方案大致分為激光和視覺兩大類，里面細(xì)分來看，包括：ToF、結(jié)構(gòu)光、雙目、單目測量等。其中，前三種在很多分析文章中都已經(jīng)介紹過，但對于單目測量介紹得不多，本節(jié)將重點介紹單目測量的原理與性能。
ToF測量實際上是屬于激光測量，它的原理是測量激光發(fā)射之后遇到物體反射并射入接收器的飛行時間來計算三維空間信息的。典型代表是Kinect 2，以及將在今年下半年上市的iphone 8的后置深度傳感器。由于光速太快，所以測量飛行時間極其短暫，所以其傳感器的像素尺寸都很大，這樣造成傳感器分辨率不高，因此，其測量精度也就不高，只能達(dá)到厘米級。
結(jié)構(gòu)光與雙目測量的原理實際上類似，它們都是利用三角法測量，本質(zhì)上是將某兩幅圖案進(jìn)行對比，通過測量對比的差異來計算深度。不同的是，結(jié)構(gòu)光對比的是投射圖案和預(yù)設(shè)圖案的差別，而雙目對比的是左右兩只攝像頭拍攝到的圖像。結(jié)構(gòu)光和雙目測量的精度一般也是在厘米級，他們比較大的問題是在于運(yùn)算量比較大，對于消費(fèi)級、移動設(shè)備來講是個考驗。另外，雙目測量還有個問題就是測量精度和雙目的基線距離有很大關(guān)系，基線距離越近，測量精度越差，目標(biāo)物體距離越遠(yuǎn)，其測量精度也越差。在國際上，做得比較好的雙目測量設(shè)備中，如果雙目基線距離為25mm，在1m遠(yuǎn)處，其深度誤差為0.45cm，在3m遠(yuǎn)處，其誤差將達(dá)到4.05cm，而到了4m遠(yuǎn)處，誤差將達(dá)到7.2cm。結(jié)構(gòu)光的代表產(chǎn)品就是Kinect 1。而雙目視覺的代表，無論在國內(nèi)國外的公司都非常多，代表性公司包括以色列的inuitive。相對來講，雙目視覺的進(jìn)入門檻最低，算法相對簡單，最容易做，但精度、成本等方面就不盡如人意了。
單目測量比起上面的測量方式來講，難度是最大的。因為其沒有激光那么高精度的測量元件，同時，其采集的信息量又不如雙目或結(jié)構(gòu)光那么多，所以要實現(xiàn)三維空間定位，必然要有一些不同的方法。一般來講，要實現(xiàn)單目定位，有兩種方式，一是采用結(jié)合IMU傳感器的多幀定位方法，讓攝像頭在運(yùn)動過程中，連續(xù)不斷的采集多幀信息，通過IMU信息和多幀圖像對比，來計算攝像頭自身的運(yùn)動參數(shù)，并估計物體位置，常見的單目SLAM算法都是這么來做的。二是進(jìn)行單幀測量，這個就是基于PnP原理來進(jìn)行定位和測量的。單幀測量不需要借助IMU作為輔助傳感器，而是使用PnP原理來進(jìn)行測量和定位，這個需要預(yù)先知道被測量物體的幾何模型，這個幾何模型掌握的越精確，定位精度就越精確。測量時，首先需要提取出被測量物體上至少4個不共面的interesting point，然后可以根據(jù)這幾個point之間的幾何模型約束，從而唯一反解出物體的空間位置、姿態(tài)以及幾何尺寸。
圖6：基于單幀的單目空間測量與定位
相比前面幾種測量方式，由于基于單幀的單目測量需要預(yù)先知道被測量物體的幾何模型，從而在計算過程中可以引入約束進(jìn)行校驗，因此可以非常精確的測量出物體的空間位置、姿態(tài)。例如，Oculus的定位系統(tǒng)，其定位精度就可以達(dá)到2-3mm，比起Sony PSVR的雙目攝像頭來講，精度提高了一個數(shù)量級。下面是我們做的一個仿真實驗，對比了單目和雙目定位精度：
圖7：單目和雙目的定位精度對比仿真
但也是因為這個優(yōu)點，所以其使用時，也有一定的限制，需要預(yù)先估計或者掌握被測量物體的幾何模型。但這個在很多場景下，也不是問題。例如，在工業(yè)領(lǐng)域中，被測量物體都是預(yù)先知道的，甚至在家用環(huán)境下，如果被測量物體是一個已知的大致的模型，也可以用于估計位置和姿態(tài)，只是精度沒有那么高而已。但單目的好處會很多，包括：運(yùn)算量相對比較小，FoV視場角大，不像雙目視覺會有盲區(qū)。
圖8：單目和雙目視場范圍對比
本文是高精度三維空間測量的上文，在下文中，我們將重點介紹單目空間測量與定位要解決的問題，以及AI技術(shù)在位置追蹤中的應(yīng)用。
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
