雷鋒網(wǎng)按：本文作者周琨，深圳市歡創(chuàng)科技有限公司CEO，清華大學(xué)深圳研究生院碩士生導(dǎo)師，師從973首席科學(xué)家，長(zhǎng)江學(xué)者戴瓊海教授。雷鋒網(wǎng)特約文章。

本文分為上、下兩篇，重點(diǎn)介紹基于計(jì)算機(jī)視覺的空間測(cè)量與定位這一技術(shù)，包括其應(yīng)用領(lǐng)域與市場(chǎng)前景，常見方案對(duì)比，并重點(diǎn)介紹單目空間定位的原理與難點(diǎn)，AI技術(shù)在位置追蹤上的應(yīng)用等 

一、業(yè)界需要高精度、低成本三維空間測(cè)量與定位

伴隨著智能家居、工業(yè)4.0、計(jì)算機(jī)輔助醫(yī)療以及VR/AR的蓬勃興起，越來(lái)越多的場(chǎng)景需要高精度、低成本的三維空間測(cè)量與定位技術(shù)。

 這一技術(shù)最主要的應(yīng)用場(chǎng)景有兩類：第一類是解決對(duì)物體的尺寸、方位、姿態(tài)進(jìn)行高精度測(cè)量，這個(gè)在工業(yè)、醫(yī)療以及對(duì)精度要求比較高的商業(yè)級(jí)應(yīng)用領(lǐng)域會(huì)特別多，第二類是在需要方便、快捷、準(zhǔn)確的人機(jī)交互領(lǐng)域提供高性價(jià)比的人機(jī)交互技術(shù)，這個(gè)在工業(yè)機(jī)器人控制、以及VR/AR領(lǐng)域是非常重要的。

 具體而言，常見的應(yīng)用場(chǎng)景包括：

1）工業(yè)領(lǐng)域中，需要對(duì)生產(chǎn)線上的零部件進(jìn)行三維尺寸測(cè)量，以確定其幾何尺寸、位置偏差是否合格；

圖1：飛機(jī)風(fēng)洞測(cè)試中的位置測(cè)量

2）計(jì)算機(jī)輔助手術(shù)中，需要對(duì)手術(shù)刀的三維空間位置進(jìn)行精確測(cè)量和定位，以配合計(jì)算機(jī)輔助成像，幫助醫(yī)生完成各種手術(shù)；

圖2：計(jì)算機(jī)輔助手術(shù)中對(duì)手術(shù)刀進(jìn)行測(cè)量定位

3）安防監(jiān)控領(lǐng)域中，需要對(duì)移動(dòng)物體進(jìn)行準(zhǔn)確的測(cè)量，以提供準(zhǔn)確的motion detction報(bào)警，不能虛報(bào)，更不能漏報(bào)。

圖3：安防攝像頭的motion dection 

4）工業(yè)機(jī)器人標(biāo)配的示教系統(tǒng)中，通過(guò)提供一種方便、快捷的人機(jī)交互方式，實(shí)現(xiàn)對(duì)機(jī)器人的示教，從而對(duì)現(xiàn)有的編程的示教方式形成更加有效率的補(bǔ)充；

圖4：傳統(tǒng)工業(yè)機(jī)器人示教系統(tǒng)

5）VR領(lǐng)域中，無(wú)論是inside-out追蹤方案，還是outside-in追蹤方案，都需要對(duì)controller進(jìn)行實(shí)時(shí)定位和追蹤。這個(gè)定位和追蹤，要求無(wú)論controller的移動(dòng)速度有多快，有沒(méi)有被遮擋，都要準(zhǔn)確定位、穩(wěn)定追蹤、不能丟失。

圖5：HTC空間定位系統(tǒng)

上述領(lǐng)域中，對(duì)于物體的三維空間尺寸、方位、姿態(tài)的測(cè)量都有非常強(qiáng)烈的需求，是屬于剛性需求。

目前，在工業(yè)領(lǐng)域中，代表性的三維空間測(cè)量與定位方案是加拿大NDI公司的OptoTrack系統(tǒng)。該系統(tǒng)需要在被測(cè)量物體上貼上發(fā)光標(biāo)記點(diǎn)，并采用視覺方案來(lái)進(jìn)行空間定位，其測(cè)量和定位精度可達(dá)到0.1mm。但由于需要在被測(cè)量物體上貼標(biāo)記點(diǎn)，所以其適用于離線測(cè)量，不適用于在線測(cè)量。在工業(yè)生產(chǎn)的在線測(cè)量領(lǐng)域，測(cè)量的準(zhǔn)確性與實(shí)時(shí)性都是非常重要的，這就要求在被測(cè)量物體上不能貼標(biāo)記，這樣才會(huì)有更為廣泛的應(yīng)用空間。

在智能安防領(lǐng)域中，目前的芯片廠商都提供了最為基礎(chǔ)的，基于計(jì)算機(jī)視覺的motion detection方案，但這種方案由于僅僅檢測(cè)圖像的像素級(jí)亮度，不能識(shí)別高層圖像語(yǔ)義，所以會(huì)引起很多誤報(bào)，例如天空中陽(yáng)光被云層遮擋等，都可能引起虛報(bào)。而基于熱釋電的檢測(cè)方案，也會(huì)由于外界發(fā)熱物體的經(jīng)過(guò)（例如汽車），從而造成誤報(bào)。所以，目前智能安防領(lǐng)域一個(gè)比較迫切的需求就是，如何采用一個(gè)更加穩(wěn)定、可靠的方案來(lái)進(jìn)行移動(dòng)物體檢測(cè)。

在VR領(lǐng)域中，目前HTC、Oculus和索尼都提供了基于激光、單目視覺和雙目視覺的outside-in controller及其追蹤方案，微軟的Holographic項(xiàng)目也提供了inside-out的controller及其追蹤方案。雖然目前的方案中，已經(jīng)對(duì)定位精度做的比較好了，但是成本一直居高不下，那么，如何在保持現(xiàn)有定位精度不降低甚至還要進(jìn)一步增加的情況下，提供更低成本的定位方案，就是目前VR業(yè)內(nèi)巨頭們正在努力做的事情。

從以上的應(yīng)用場(chǎng)景中，可以看到，能根據(jù)相應(yīng)的應(yīng)用場(chǎng)景，提供合適的精度、成本、便捷性和高魯棒性的方案，一定能夠獲得市場(chǎng)的親睞。請(qǐng)注意，這里的“合適”非常重要，因?yàn)?，凡是脫離了應(yīng)用場(chǎng)景，脫離了成本談性能和便捷性都是“耍流氓”。所以，對(duì)于空間測(cè)量和定位技術(shù)來(lái)講，方案一定要有靈活性，要能根據(jù)客戶和應(yīng)用場(chǎng)景的需要，而進(jìn)行相應(yīng)的調(diào)節(jié)，使得在垂直領(lǐng)域中擁有最強(qiáng)的競(jìng)爭(zhēng)力。

二、常見三維空間測(cè)量與定位方案各自的優(yōu)劣勢(shì)

常見的三維空間測(cè)量與定位方案大致分為激光和視覺兩大類，里面細(xì)分來(lái)看，包括：ToF、結(jié)構(gòu)光、雙目、單目測(cè)量等。其中，前三種在很多分析文章中都已經(jīng)介紹過(guò)，但對(duì)于單目測(cè)量介紹得不多，本節(jié)將重點(diǎn)介紹單目測(cè)量的原理與性能。

1、 ToF測(cè)量

ToF測(cè)量實(shí)際上是屬于激光測(cè)量，它的原理是測(cè)量激光發(fā)射之后遇到物體反射并射入接收器的飛行時(shí)間來(lái)計(jì)算三維空間信息的。典型代表是Kinect 2，以及將在今年下半年上市的iphone 8的后置深度傳感器。由于光速太快，所以測(cè)量飛行時(shí)間極其短暫，所以其傳感器的像素尺寸都很大，這樣造成傳感器分辨率不高，因此，其測(cè)量精度也就不高，只能達(dá)到厘米級(jí)。

2、 結(jié)構(gòu)光與雙目測(cè)量

結(jié)構(gòu)光與雙目測(cè)量的原理實(shí)際上類似，它們都是利用三角法測(cè)量，本質(zhì)上是將某兩幅圖案進(jìn)行對(duì)比，通過(guò)測(cè)量對(duì)比的差異來(lái)計(jì)算深度。不同的是，結(jié)構(gòu)光對(duì)比的是投射圖案和預(yù)設(shè)圖案的差別，而雙目對(duì)比的是左右兩只攝像頭拍攝到的圖像。結(jié)構(gòu)光和雙目測(cè)量的精度一般也是在厘米級(jí)，他們比較大的問(wèn)題是在于運(yùn)算量比較大，對(duì)于消費(fèi)級(jí)、移動(dòng)設(shè)備來(lái)講是個(gè)考驗(yàn)。另外，雙目測(cè)量還有個(gè)問(wèn)題就是測(cè)量精度和雙目的基線距離有很大關(guān)系，基線距離越近，測(cè)量精度越差，目標(biāo)物體距離越遠(yuǎn)，其測(cè)量精度也越差。在國(guó)際上，做得比較好的雙目測(cè)量設(shè)備中，如果雙目基線距離為25mm，在1m遠(yuǎn)處，其深度誤差為0.45cm，在3m遠(yuǎn)處，其誤差將達(dá)到4.05cm，而到了4m遠(yuǎn)處，誤差將達(dá)到7.2cm。結(jié)構(gòu)光的代表產(chǎn)品就是Kinect 1。而雙目視覺的代表，無(wú)論在國(guó)內(nèi)國(guó)外的公司都非常多，代表性公司包括以色列的inuitive。相對(duì)來(lái)講，雙目視覺的進(jìn)入門檻最低，算法相對(duì)簡(jiǎn)單，最容易做，但精度、成本等方面就不盡如人意了。

3、 單目測(cè)量

單目測(cè)量比起上面的測(cè)量方式來(lái)講，難度是最大的。因?yàn)槠錄](méi)有激光那么高精度的測(cè)量元件，同時(shí)，其采集的信息量又不如雙目或結(jié)構(gòu)光那么多，所以要實(shí)現(xiàn)三維空間定位，必然要有一些不同的方法。一般來(lái)講，要實(shí)現(xiàn)單目定位，有兩種方式，一是采用結(jié)合IMU傳感器的多幀定位方法，讓攝像頭在運(yùn)動(dòng)過(guò)程中，連續(xù)不斷的采集多幀信息，通過(guò)IMU信息和多幀圖像對(duì)比，來(lái)計(jì)算攝像頭自身的運(yùn)動(dòng)參數(shù)，并估計(jì)物體位置，常見的單目SLAM算法都是這么來(lái)做的。二是進(jìn)行單幀測(cè)量，這個(gè)就是基于PnP原理來(lái)進(jìn)行定位和測(cè)量的。單幀測(cè)量不需要借助IMU作為輔助傳感器，而是使用PnP原理來(lái)進(jìn)行測(cè)量和定位，這個(gè)需要預(yù)先知道被測(cè)量物體的幾何模型，這個(gè)幾何模型掌握的越精確，定位精度就越精確。測(cè)量時(shí)，首先需要提取出被測(cè)量物體上至少4個(gè)不共面的interesting point，然后可以根據(jù)這幾個(gè)point之間的幾何模型約束，從而唯一反解出物體的空間位置、姿態(tài)以及幾何尺寸。

 

圖6：基于單幀的單目空間測(cè)量與定位 

相比前面幾種測(cè)量方式，由于基于單幀的單目測(cè)量需要預(yù)先知道被測(cè)量物體的幾何模型，從而在計(jì)算過(guò)程中可以引入約束進(jìn)行校驗(yàn)，因此可以非常精確的測(cè)量出物體的空間位置、姿態(tài)。例如，Oculus的定位系統(tǒng)，其定位精度就可以達(dá)到2-3mm，比起Sony PSVR的雙目攝像頭來(lái)講，精度提高了一個(gè)數(shù)量級(jí)。下面是我們做的一個(gè)仿真實(shí)驗(yàn)，對(duì)比了單目和雙目定位精度：

 

圖7：?jiǎn)文亢碗p目的定位精度對(duì)比仿真

但也是因?yàn)檫@個(gè)優(yōu)點(diǎn)，所以其使用時(shí)，也有一定的限制，需要預(yù)先估計(jì)或者掌握被測(cè)量物體的幾何模型。但這個(gè)在很多場(chǎng)景下，也不是問(wèn)題。例如，在工業(yè)領(lǐng)域中，被測(cè)量物體都是預(yù)先知道的，甚至在家用環(huán)境下，如果被測(cè)量物體是一個(gè)已知的大致的模型，也可以用于估計(jì)位置和姿態(tài)，只是精度沒(méi)有那么高而已。但單目的好處會(huì)很多，包括：運(yùn)算量相對(duì)比較小，FoV視場(chǎng)角大，不像雙目視覺會(huì)有盲區(qū)。

圖8：?jiǎn)文亢碗p目視場(chǎng)范圍對(duì)比

 本文是高精度三維空間測(cè)量的上文，在下文中，我們將重點(diǎn)介紹單目空間測(cè)量與定位要解決的問(wèn)題，以及AI技術(shù)在位置追蹤中的應(yīng)用。

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。