0
你試過閉上一只眼看周圍的世界嗎？
用一只眼睛看世界的時(shí)候，總感覺整個(gè)世界沒有那么豐富了，卻又說不上究竟少了什么；當(dāng)睜開另一只眼時(shí)，你會覺得，這個(gè)世界才是你認(rèn)識的那個(gè)世界。
兩只眼睛和一只眼睛看到的雖然都是二維的世界，卻還是差了一個(gè)信息維度，這個(gè)信息維度由“視差”造成——視差會影響深度（景深），人的大腦通過分析視差可以得到深度信息，從而腦補(bǔ)出3D立體畫面。
這也是隨著視覺AI技術(shù)火起來后出現(xiàn)的單目視覺和雙目視覺兩類方案的本質(zhì)區(qū)別。
2020年，雙目視覺方案輻射到掃地機(jī)器人領(lǐng)域，在推出基于沿用了四年的LDS激光雷達(dá)定位導(dǎo)航技術(shù)的掃地機(jī)器人新品“T7”后，石頭科技（以下簡稱：石頭）緊接著又發(fā)布了一款被定位到“科技創(chuàng)新”的“T7 Pro”，而后者，正是加入了雙目視覺方案。
這讓石頭變得有點(diǎn)不同，也讓掃地機(jī)器人變得有點(diǎn)不同。
當(dāng)掃地機(jī)器人越過“隨機(jī)碰撞”的鴻溝，標(biāo)配了激光雷達(dá)和SLAM算法后，掃地機(jī)器人開始批量走入正在迅速城市化、缺少“家務(wù)勞力”的中國家庭。
在進(jìn)入家庭后，掃地機(jī)器人卻并未能如所有人期望那樣自己掃地、擦地，仍會時(shí)不時(shí)地被插線板絆一下、被這個(gè)網(wǎng)線那個(gè)電線掛一下而被迫罷工。這是因?yàn)?，設(shè)置在掃地機(jī)器人頂部的激光雷達(dá)無法識別近地空間中的雜物，畢竟，機(jī)器人不是人，設(shè)置在頂部凸起的大眼睛無法低頭看路。
“我們掃地機(jī)器人頂部的LDS單線激光雷達(dá)的探測范圍在8~10cm高度內(nèi)的空間，”Tommy告訴雷鋒網(wǎng)。
如何實(shí)現(xiàn)8cm以下近地空間的避障就成了一個(gè)問題。
為了解決這一問題，現(xiàn)在市面上出現(xiàn)了諸多方案，諸如3D結(jié)構(gòu)光、單目視覺、3D ToF等，石頭在推出的首款掃地機(jī)器人產(chǎn)品——「米家掃地機(jī)器人」時(shí)也有加入超聲波傳感器來解決這一問題，不過，當(dāng)時(shí)的超聲波方案較為簡單，由于獲得的信號有限，探測到障礙物時(shí)，無法準(zhǔn)確判別其大小位姿，故而無法較好的解決避障的問題。
“所以，我們想用一個(gè)技術(shù)方案來識別插線板、塑料袋這類會卡死掃地機(jī)器人的物品，并進(jìn)行避障，”Tommy這樣解釋加入雙目視覺方案的初衷。Tommy是石頭科技的產(chǎn)品總監(jiān)，參與了T7 Pro從立項(xiàng)到研發(fā)的全過程。
在選用雙目方案前，石頭調(diào)研了市面上可用于室內(nèi)掃地機(jī)器人避障的技術(shù)，得出的結(jié)論是：
3D結(jié)構(gòu)光和3D ToF缺少圖像信息，識別能力有限；單目視覺由于缺少視差信息，空間感知能力不足；而ToF+單目視覺的方案則在成本上較為昂貴。雙目視覺技術(shù)能夠提供圖像信息進(jìn)行輔助避障的同時(shí)，也能通過視差信息補(bǔ)充深度信息。于是，石頭最終敲定用雙目視覺方案來為T7 Pro解決近地空間避障問題。
對此，Tommy也向雷鋒網(wǎng)進(jìn)行了詳細(xì)解釋：
3D結(jié)構(gòu)光或3D ToF的等深度成像技術(shù)，由于缺少顏色信息，同時(shí)分辨率（特別是ToF）受限，無法達(dá)成識別的效果，不足以讓我們區(qū)分障礙物種類、該不該躲避，所以我們需要有圖像信息來輔助判斷。例如，在3D ToF的“眼”中，地毯和臺階看起來是差不多的，特征可能沒有那么明顯，所以我們需要引入圖像信息來輔助判斷；
單目視覺方案無法提供深度信息——如果前面有雙鞋，我要避開它，就一定要知道那雙鞋離掃地機(jī)有多遠(yuǎn)。單目視覺方案測距對于識別技術(shù)具有較強(qiáng)的依賴性：一般而言，首先需要識別出面前的物體（如鞋子），然后根據(jù)先驗(yàn)信息（如地面平面約束、鞋子一般尺寸大?。?通過識別到的感知域（ROI）位置、大小信息估算物體離自己有多遠(yuǎn)。當(dāng)然，基于CNN的單目深度感知技術(shù)也已發(fā)展到了一定程度，但就今天來看，尚存在復(fù)雜度高、泛化性低（特別是對于掃地機(jī)視角室內(nèi)場景）等問題。
另外，像是單目視覺+3D ToF這類方案成本又較高，我們需要找一個(gè)在技術(shù)上既能解決近地場景避障需求，成本又比較適中的方案。最終，我們選擇了雙目視覺方案。
2018年年底，T7 Pro立項(xiàng)，為掃地機(jī)加雙目視覺方案這件事兒正式提上日程。
雙目視覺方案并不是什么新方案，此前在自動(dòng)駕駛、無人機(jī)，以及商用機(jī)器人領(lǐng)域已有廣泛應(yīng)用，不過，應(yīng)用在家庭場景中的掃地機(jī)器人中的方案還是與此前其他應(yīng)用方案有所不同。
“我們經(jīng)常開玩笑說，大家不要把掃地機(jī)器人當(dāng)作一個(gè)人在看這個(gè)世界，掃地機(jī)器人的視角更像是小倉鼠看這個(gè)世界的視角?！睂τ?jì)算機(jī)視覺技術(shù)有深入研究的John這樣理解掃地機(jī)器人的視角。
正因如此，John所在的石頭科技上海AI研究院為T7 Pro自研了一個(gè)適合掃地機(jī)器人近地視角場景應(yīng)用的雙目視覺方案。
為適應(yīng)近地面視角，石頭自研的雙目視覺方案選用了兩顆大仰角、大FOV（視場角）的500W像素、120°廣角攝像頭。
市面上大量雙目模組一般不會有100°以上的FOV，這樣的方案對于掃地機(jī)器人來說其實(shí)并不適用。
石頭為掃地機(jī)器人配的雙目視覺方案主要用于避障。針對避障這一功能，John也特別提到，掃地機(jī)器人的測距范圍其實(shí)并不會很大?！皰叩貦C(jī)器人實(shí)際需要的一般是幾十公分到1米的一個(gè)近距離的測距避障，對于掃地機(jī)器人的雙目視覺方案的要求也是在這個(gè)范圍內(nèi)要有良好的空間感知和識別能力，再結(jié)合成本，綜合考慮各種方案，我們研發(fā)出一個(gè)較優(yōu)的雙目視覺方案。”
設(shè)計(jì)出適合掃地機(jī)器人視角的雙目視覺方案后，在實(shí)際產(chǎn)品化過程中，第一次為掃地機(jī)器人加視覺方案的石頭仍然面臨著諸多挑戰(zhàn)，例如密封問題、1500小時(shí)穩(wěn)定測距問題等。
不同于汽車或其他商用機(jī)器人，掃地機(jī)器人是一個(gè)“吃灰”的設(shè)備，因此，如何讓攝像頭這一對工作環(huán)境要求較高的光學(xué)器件在工作1500小時(shí)（全生命周期）后仍能保持清潔，以避免對其成像、測距精度下降就成了一個(gè)必須考慮的問題。
為此，石頭為T7 Pro重新設(shè)計(jì)了“前撞”的密封：
為了實(shí)現(xiàn)比較大的FOV，T7 Pro在設(shè)計(jì)時(shí)，將攝像頭往內(nèi)收了一些；
為了確保攝像頭長期工作的精度和測距穩(wěn)定性，石頭為掃地機(jī)器人的“前撞”設(shè)計(jì)了特殊的密封結(jié)構(gòu)；
為了保證掃地機(jī)器人受到撞擊后，不會影響攝像頭的位置和結(jié)構(gòu)（保證攝像頭的標(biāo)定和精度），密封結(jié)構(gòu)又要設(shè)計(jì)成“活動(dòng)件”；
……
“我們做T7 Pro的密封結(jié)構(gòu)方案花了將近半年的時(shí)間，反復(fù)調(diào)整了很多版，”對于密封結(jié)構(gòu)的調(diào)校難度，Tommy深有體會。
密封結(jié)構(gòu)最大的問題不在于設(shè)計(jì)，其實(shí)設(shè)計(jì)還是比較簡單的，但是要保證上萬臺設(shè)備批量生產(chǎn)時(shí)不會出現(xiàn)問題、要保證用戶在用T7 Pro一年后，其雙目視覺方案測距精度和識別能力仍能有新買時(shí)的效果，難度就很大了。
為此，我們在測試過程中會將T7 Pro原型機(jī)放在鋪有大量滑石粉的半平米密閉空間內(nèi)跑三天，然后拿出來檢測，快速驗(yàn)證哪里會進(jìn)灰，然后反復(fù)進(jìn)行測試和方案修正。
經(jīng)過一年半的研發(fā)和測試，石頭自研的雙目視覺方案最終為T7 Pro提供了“家庭常見的寬大于5cm、高3cm-8cm之間的近地空間避障能力”。
視覺方案一直有一個(gè)繞不過去的BUG——暗光識別能力差。
這就像是你的手機(jī)白天可以拍出清晰的照片，但到了夜間拍照，雙攝、三攝都難以拍出令人滿意的照片一樣，不少手機(jī)廠商為了讓自家手機(jī)能夠勝任夜間拍照下了不少功夫，其中各大手機(jī)廠商最早用到的、也是最直接的方案是——加入一個(gè)LED補(bǔ)光燈。
同樣，為了提升諸如夜間或沙發(fā)下等暗光場景的識別、避障能力，石頭也為T7 Pro的雙目方案配了個(gè)補(bǔ)光燈。
“為了提高用戶體驗(yàn)，不產(chǎn)生晃眼的效果，實(shí)際上我們用到的是一個(gè)IR LED補(bǔ)光燈（紅外補(bǔ)光燈），由此也讓我們在結(jié)構(gòu)設(shè)計(jì)、鏡頭適配、圖像處理算法、導(dǎo)航策略上都需要進(jìn)行相應(yīng)的適配和調(diào)整?！盝ohn告訴雷鋒網(wǎng)。
往往一個(gè)器件的加入會讓整個(gè)產(chǎn)品方案在軟硬件上都要重新考慮適配問題，這對于產(chǎn)品研發(fā)團(tuán)隊(duì)來說，也是常有的事兒。
我們平時(shí)見到各類設(shè)備上的普通攝像頭內(nèi)部其實(shí)有一個(gè)IR-cut filter（紅外截止濾光片），這一器件主要是為了把紅外光濾掉，以提高圖像生成質(zhì)量。T7 Pro在加入紅外補(bǔ)光燈后，同時(shí)同時(shí)對攝像頭進(jìn)行了適配，使其可接收IR頻譜的光線。之后，掃地機(jī)器人具體工作過程中：
白天強(qiáng)光下，紅外補(bǔ)光燈不打開，攝像頭ISP（圖像信號處理器）主要接收可見光；夜晚或暗光環(huán)境下，紅外補(bǔ)光燈自動(dòng)打開，攝像頭ISP適配接收紅外光。
其實(shí)如果將補(bǔ)光燈設(shè)計(jì)成可見光補(bǔ)光燈，方案復(fù)雜度會降低不少，但由于家庭環(huán)境中，可見光會比較刺眼，會影響用戶實(shí)際體驗(yàn)，也因此，石頭在最終方案選擇上，排除了可見光補(bǔ)光燈的方案。
解決了暗光避障的問題，這一方案的實(shí)用性也提高了不少。
不過，要通過雙目視覺實(shí)現(xiàn)避障，甚至是實(shí)現(xiàn)物體識別能力、配合LDS實(shí)現(xiàn)完整的定位導(dǎo)航功能，就需要John所在的AI研究院提供AI算法以及算法融合應(yīng)用方面的炮火支援。
無論是激光雷達(dá)方案、3D結(jié)構(gòu)光方案，還是視覺方案，其實(shí)在導(dǎo)航定位能力上都能有不俗的表現(xiàn)，但是掃地機(jī)器人路徑規(guī)劃或定位導(dǎo)航能力最終能實(shí)現(xiàn)多少、實(shí)際工作過程中有怎樣的表現(xiàn)，其背后有怎樣的AI算法、如何為掃地機(jī)器人的多傳感器做搭建“融合算法”就成了關(guān)鍵。
石頭在2017年年初成立的上海AI研究院主要做的就是這件事兒。
據(jù)雷鋒網(wǎng)了解，石頭這一研究院很低調(diào)，此前也不曾見網(wǎng)上有過相關(guān)報(bào)道。也正是這一低調(diào)的AI研究院，決定了石頭掃地機(jī)器人的能力邊界，決定了石頭的最終“射程”。
John正是石頭科技AI研究院研發(fā)總監(jiān)，他告訴雷鋒網(wǎng)，包括最早在石頭掃地機(jī)器人T6上應(yīng)用的基于CNN網(wǎng)絡(luò)設(shè)計(jì)的房間分割算法就是產(chǎn)自上海AI研究院。此次雙目視覺方案的研發(fā)工作，主要也是交由了上海AI研究院完成。
在方案設(shè)計(jì)初期，AI研究院對單雙目方案也進(jìn)行了深入研究。
如果我們?nèi)タ碈NN網(wǎng)絡(luò)的一些研究會發(fā)現(xiàn)，一些學(xué)術(shù)流派已經(jīng)放棄了用單目進(jìn)行完整的測距，因?yàn)樗挠?jì)算成本相對較高、測距能力對識別能力有較強(qiáng)的依賴性、測距的精度也有待提高。而單目能夠?qū)崿F(xiàn)的，雙目一定都能實(shí)現(xiàn)；
此外，3D ToF+單目視覺方案雖然是一個(gè)很誘人的idea，但是成本相對也會更高；
我們最終發(fā)現(xiàn)，雙目方案雖然在算法實(shí)現(xiàn)上有一定挑戰(zhàn)，但卻是一個(gè)既能有空間信息、又能有圖像信息，同時(shí)也是成本較低的方案。
具體在雙目視覺方案算法上，石頭為T7 Pro加入了Reactive AI算法。
John向雷鋒網(wǎng)介紹稱，AI算法的長遠(yuǎn)應(yīng)用趨勢得益于兩項(xiàng)技術(shù)的發(fā)展：
一個(gè)是自2012年后，神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展和應(yīng)用落地，包括CNN網(wǎng)絡(luò)從最初的RCNN、Yolo、SSD、MobileNet、CenterNet等一系列的發(fā)展，算法效果不僅越來越好，軟件的輕量化也越來越好，落地的可能性和成本也越來越低；
另一個(gè)是室內(nèi)機(jī)器人相關(guān)技術(shù)的發(fā)展與成熟。AI技術(shù)在掃地機(jī)平臺的使用是一個(gè)系統(tǒng)工程，其中涉及了成像、圖像處理、多感知融合、定位、導(dǎo)航等諸多技術(shù)。以AI為核心，以室內(nèi)機(jī)器人為依托，系統(tǒng)地實(shí)現(xiàn)AI在掃地機(jī)平臺地落地，達(dá)成更好的用戶體驗(yàn)，這是我們研究院的努力方向。
正因如此，集成了機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、計(jì)算機(jī)視覺、SLAM等領(lǐng)域技術(shù)，通過系統(tǒng)地解決雙目視覺相關(guān)，標(biāo)定、成像及圖像處理、CNN識別、導(dǎo)航?jīng)Q策適配，綜合形成了我們現(xiàn)在T7 Pro上應(yīng)用的Reactive AI的算法能力。
為適配掃地機(jī)器人現(xiàn)有的多傳感器融合技術(shù)，石頭今年還首次對外公布了應(yīng)用于石頭掃地機(jī)器人T7上的mason 7.0算法系統(tǒng)，T7 Pro上則針對雙目視覺方案的應(yīng)用在這一算法系統(tǒng)中加入了3D信息和視覺能力，形成了3D版的「RR mason 7.0算法系統(tǒng)」。
據(jù)官方介紹，這一算法系統(tǒng)具體工作流程為：
「實(shí)時(shí)數(shù)據(jù)管理算法」負(fù)責(zé)管理分發(fā)傳感器采集的環(huán)境數(shù)據(jù)，然后交由「感知與建圖算法」進(jìn)行數(shù)據(jù)融合與分析，最后「導(dǎo)航與運(yùn)動(dòng)算法」根據(jù)分析結(jié)果進(jìn)行動(dòng)態(tài)導(dǎo)航及規(guī)劃。
加入雙目視覺的T7 Pro還具備了識別能力。據(jù)官方數(shù)據(jù)顯示，目前T7 Pro已經(jīng)能夠識別體重秤、風(fēng)扇底座、鞋子、插線板、線團(tuán)、寵物糞便6類物體，隨后可通過OTA升級識別能力——后續(xù)第一期計(jì)劃新增襪子、簸箕、U型椅3類物體。
由此，石頭得以針對不同的物體為T7 Pro在算法上設(shè)計(jì)了不同的避讓策略，例如，電線團(tuán)——很危險(xiǎn)——約5cm開始避障；拖鞋——很安全——約3cm開始避障。
據(jù)Tommy介紹稱，雙目攝像頭實(shí)時(shí)識別出的障礙物也會實(shí)時(shí)反饋到手機(jī)地圖中。雷鋒網(wǎng)在實(shí)測中也發(fā)現(xiàn)，對于T7 Pro目前尚不支持識別的物體，掃地機(jī)器人會錯(cuò)誤地識別為鞋子或插線板之類物體實(shí)時(shí)顯示到地圖中，據(jù)悉，這些識別上的錯(cuò)誤不會影響避障，識別能力也會在T7 Pro后期OTA升級優(yōu)化過程中逐步得到改善。
5月20日，配有雙目視覺方案的石頭掃地機(jī)器人T7 Pro正式上線發(fā)布。至此，包括LDS激光雷達(dá)、3D結(jié)構(gòu)光、3D ToF、單目視覺、雙目視覺這些市面上比較成熟的定位避障方案都在掃地機(jī)器人這一家庭消費(fèi)品上得到了應(yīng)用。
iRobot的3D結(jié)構(gòu)光方+視覺方案、科沃斯的3D ToF+AIVI方案、石頭的雙目視覺方案……，各掃地機(jī)器人廠商也都為自己今年發(fā)布的新品配上了一個(gè)拿得出手的定位避障“新”方案。
雷鋒網(wǎng)也注意到，在T7 Pro發(fā)布時(shí)，石頭還為這款產(chǎn)品打了一個(gè)標(biāo)簽——科技探索新品。
為什么會有“科技探索”這個(gè)叫法？
Tommy告訴雷鋒網(wǎng)，“其實(shí)這款產(chǎn)品并不是什么預(yù)研產(chǎn)品，而是我們的量產(chǎn)機(jī)型，不過由于我們的T7 Pro是第一個(gè)將雙目視覺方案用到了掃地機(jī)器人上的產(chǎn)品，想的是謙虛點(diǎn)吧，所以團(tuán)隊(duì)最終決定稱它為'科技探索'版本?！?/p>
配有雙目視覺方案的“科技探索版”石頭掃地機(jī)器人T7 Pro在提升避障能力、間接提升了清潔能力這一主功能的同時(shí)，也加入了遠(yuǎn)程實(shí)時(shí)視頻功能，由此，用掃地機(jī)器人來看家、巡邏，甚至“云吸貓”也都成為可能。
現(xiàn)在行業(yè)中有一種說法，像是智能手機(jī)、智能電飯煲、洗碗機(jī)等家用消費(fèi)品已經(jīng)成為懶人經(jīng)濟(jì)中“用了就回不去”的產(chǎn)品。那么，雙目視覺能讓掃地機(jī)器人成為下一個(gè)“用了就回不去”的家用消費(fèi)品嗎？
關(guān)注AIoT、機(jī)器人、智能硬件，新聞爆料或?qū)で髨?bào)道，歡迎添加作者微信交流：18210039208。
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
