0
你試過閉上一只眼看周圍的世界嗎？
用一只眼睛看世界的時候，總感覺整個世界沒有那么豐富了，卻又說不上究竟少了什么；當(dāng)睜開另一只眼時，你會覺得，這個世界才是你認識的那個世界。
兩只眼睛和一只眼睛看到的雖然都是二維的世界，卻還是差了一個信息維度，這個信息維度由“視差”造成——視差會影響深度（景深），人的大腦通過分析視差可以得到深度信息，從而腦補出3D立體畫面。
這也是隨著視覺AI技術(shù)火起來后出現(xiàn)的單目視覺和雙目視覺兩類方案的本質(zhì)區(qū)別。
2020年，雙目視覺方案輻射到掃地機器人領(lǐng)域，在推出基于沿用了四年的LDS激光雷達定位導(dǎo)航技術(shù)的掃地機器人新品“T7”后，石頭科技（以下簡稱：石頭）緊接著又發(fā)布了一款被定位到“科技創(chuàng)新”的“T7 Pro”，而后者，正是加入了雙目視覺方案。
這讓石頭變得有點不同，也讓掃地機器人變得有點不同。
當(dāng)掃地機器人越過“隨機碰撞”的鴻溝，標(biāo)配了激光雷達和SLAM算法后，掃地機器人開始批量走入正在迅速城市化、缺少“家務(wù)勞力”的中國家庭。
在進入家庭后，掃地機器人卻并未能如所有人期望那樣自己掃地、擦地，仍會時不時地被插線板絆一下、被這個網(wǎng)線那個電線掛一下而被迫罷工。這是因為，設(shè)置在掃地機器人頂部的激光雷達無法識別近地空間中的雜物，畢竟，機器人不是人，設(shè)置在頂部凸起的大眼睛無法低頭看路。
“我們掃地機器人頂部的LDS單線激光雷達的探測范圍在8~10cm高度內(nèi)的空間，”Tommy告訴雷鋒網(wǎng)。
如何實現(xiàn)8cm以下近地空間的避障就成了一個問題。
為了解決這一問題，現(xiàn)在市面上出現(xiàn)了諸多方案，諸如3D結(jié)構(gòu)光、單目視覺、3D ToF等，石頭在推出的首款掃地機器人產(chǎn)品——「米家掃地機器人」時也有加入超聲波傳感器來解決這一問題，不過，當(dāng)時的超聲波方案較為簡單，由于獲得的信號有限，探測到障礙物時，無法準確判別其大小位姿，故而無法較好的解決避障的問題。
“所以，我們想用一個技術(shù)方案來識別插線板、塑料袋這類會卡死掃地機器人的物品，并進行避障，”Tommy這樣解釋加入雙目視覺方案的初衷。Tommy是石頭科技的產(chǎn)品總監(jiān)，參與了T7 Pro從立項到研發(fā)的全過程。
在選用雙目方案前，石頭調(diào)研了市面上可用于室內(nèi)掃地機器人避障的技術(shù)，得出的結(jié)論是：
3D結(jié)構(gòu)光和3D ToF缺少圖像信息，識別能力有限；單目視覺由于缺少視差信息，空間感知能力不足；而ToF+單目視覺的方案則在成本上較為昂貴。雙目視覺技術(shù)能夠提供圖像信息進行輔助避障的同時，也能通過視差信息補充深度信息。于是，石頭最終敲定用雙目視覺方案來為T7 Pro解決近地空間避障問題。
對此，Tommy也向雷鋒網(wǎng)進行了詳細解釋：
3D結(jié)構(gòu)光或3D ToF的等深度成像技術(shù)，由于缺少顏色信息，同時分辨率（特別是ToF）受限，無法達成識別的效果，不足以讓我們區(qū)分障礙物種類、該不該躲避，所以我們需要有圖像信息來輔助判斷。例如，在3D ToF的“眼”中，地毯和臺階看起來是差不多的，特征可能沒有那么明顯，所以我們需要引入圖像信息來輔助判斷；
單目視覺方案無法提供深度信息——如果前面有雙鞋，我要避開它，就一定要知道那雙鞋離掃地機有多遠。單目視覺方案測距對于識別技術(shù)具有較強的依賴性：一般而言，首先需要識別出面前的物體（如鞋子），然后根據(jù)先驗信息（如地面平面約束、鞋子一般尺寸大?。?， 通過識別到的感知域（ROI）位置、大小信息估算物體離自己有多遠。當(dāng)然，基于CNN的單目深度感知技術(shù)也已發(fā)展到了一定程度，但就今天來看，尚存在復(fù)雜度高、泛化性低（特別是對于掃地機視角室內(nèi)場景）等問題。
另外，像是單目視覺+3D ToF這類方案成本又較高，我們需要找一個在技術(shù)上既能解決近地場景避障需求，成本又比較適中的方案。最終，我們選擇了雙目視覺方案。
2018年年底，T7 Pro立項，為掃地機加雙目視覺方案這件事兒正式提上日程。
雙目視覺方案并不是什么新方案，此前在自動駕駛、無人機，以及商用機器人領(lǐng)域已有廣泛應(yīng)用，不過，應(yīng)用在家庭場景中的掃地機器人中的方案還是與此前其他應(yīng)用方案有所不同。
“我們經(jīng)常開玩笑說，大家不要把掃地機器人當(dāng)作一個人在看這個世界，掃地機器人的視角更像是小倉鼠看這個世界的視角?！睂τ嬎銠C視覺技術(shù)有深入研究的John這樣理解掃地機器人的視角。
正因如此，John所在的石頭科技上海AI研究院為T7 Pro自研了一個適合掃地機器人近地視角場景應(yīng)用的雙目視覺方案。
為適應(yīng)近地面視角，石頭自研的雙目視覺方案選用了兩顆大仰角、大FOV（視場角）的500W像素、120°廣角攝像頭。
市面上大量雙目模組一般不會有100°以上的FOV，這樣的方案對于掃地機器人來說其實并不適用。
石頭為掃地機器人配的雙目視覺方案主要用于避障。針對避障這一功能，John也特別提到，掃地機器人的測距范圍其實并不會很大?！皰叩貦C器人實際需要的一般是幾十公分到1米的一個近距離的測距避障，對于掃地機器人的雙目視覺方案的要求也是在這個范圍內(nèi)要有良好的空間感知和識別能力，再結(jié)合成本，綜合考慮各種方案，我們研發(fā)出一個較優(yōu)的雙目視覺方案?！?/p>
設(shè)計出適合掃地機器人視角的雙目視覺方案后，在實際產(chǎn)品化過程中，第一次為掃地機器人加視覺方案的石頭仍然面臨著諸多挑戰(zhàn)，例如密封問題、1500小時穩(wěn)定測距問題等。
不同于汽車或其他商用機器人，掃地機器人是一個“吃灰”的設(shè)備，因此，如何讓攝像頭這一對工作環(huán)境要求較高的光學(xué)器件在工作1500小時（全生命周期）后仍能保持清潔，以避免對其成像、測距精度下降就成了一個必須考慮的問題。
為此，石頭為T7 Pro重新設(shè)計了“前撞”的密封：
為了實現(xiàn)比較大的FOV，T7 Pro在設(shè)計時，將攝像頭往內(nèi)收了一些；
為了確保攝像頭長期工作的精度和測距穩(wěn)定性，石頭為掃地機器人的“前撞”設(shè)計了特殊的密封結(jié)構(gòu)；
為了保證掃地機器人受到撞擊后，不會影響攝像頭的位置和結(jié)構(gòu)（保證攝像頭的標(biāo)定和精度），密封結(jié)構(gòu)又要設(shè)計成“活動件”；
……
“我們做T7 Pro的密封結(jié)構(gòu)方案花了將近半年的時間，反復(fù)調(diào)整了很多版，”對于密封結(jié)構(gòu)的調(diào)校難度，Tommy深有體會。
密封結(jié)構(gòu)最大的問題不在于設(shè)計，其實設(shè)計還是比較簡單的，但是要保證上萬臺設(shè)備批量生產(chǎn)時不會出現(xiàn)問題、要保證用戶在用T7 Pro一年后，其雙目視覺方案測距精度和識別能力仍能有新買時的效果，難度就很大了。
為此，我們在測試過程中會將T7 Pro原型機放在鋪有大量滑石粉的半平米密閉空間內(nèi)跑三天，然后拿出來檢測，快速驗證哪里會進灰，然后反復(fù)進行測試和方案修正。
經(jīng)過一年半的研發(fā)和測試，石頭自研的雙目視覺方案最終為T7 Pro提供了“家庭常見的寬大于5cm、高3cm-8cm之間的近地空間避障能力”。
視覺方案一直有一個繞不過去的BUG——暗光識別能力差。
這就像是你的手機白天可以拍出清晰的照片，但到了夜間拍照，雙攝、三攝都難以拍出令人滿意的照片一樣，不少手機廠商為了讓自家手機能夠勝任夜間拍照下了不少功夫，其中各大手機廠商最早用到的、也是最直接的方案是——加入一個LED補光燈。
同樣，為了提升諸如夜間或沙發(fā)下等暗光場景的識別、避障能力，石頭也為T7 Pro的雙目方案配了個補光燈。
“為了提高用戶體驗，不產(chǎn)生晃眼的效果，實際上我們用到的是一個IR LED補光燈（紅外補光燈），由此也讓我們在結(jié)構(gòu)設(shè)計、鏡頭適配、圖像處理算法、導(dǎo)航策略上都需要進行相應(yīng)的適配和調(diào)整。”John告訴雷鋒網(wǎng)。
往往一個器件的加入會讓整個產(chǎn)品方案在軟硬件上都要重新考慮適配問題，這對于產(chǎn)品研發(fā)團隊來說，也是常有的事兒。
我們平時見到各類設(shè)備上的普通攝像頭內(nèi)部其實有一個IR-cut filter（紅外截止濾光片），這一器件主要是為了把紅外光濾掉，以提高圖像生成質(zhì)量。T7 Pro在加入紅外補光燈后，同時同時對攝像頭進行了適配，使其可接收IR頻譜的光線。之后，掃地機器人具體工作過程中：
白天強光下，紅外補光燈不打開，攝像頭ISP（圖像信號處理器）主要接收可見光；夜晚或暗光環(huán)境下，紅外補光燈自動打開，攝像頭ISP適配接收紅外光。
其實如果將補光燈設(shè)計成可見光補光燈，方案復(fù)雜度會降低不少，但由于家庭環(huán)境中，可見光會比較刺眼，會影響用戶實際體驗，也因此，石頭在最終方案選擇上，排除了可見光補光燈的方案。
解決了暗光避障的問題，這一方案的實用性也提高了不少。
不過，要通過雙目視覺實現(xiàn)避障，甚至是實現(xiàn)物體識別能力、配合LDS實現(xiàn)完整的定位導(dǎo)航功能，就需要John所在的AI研究院提供AI算法以及算法融合應(yīng)用方面的炮火支援。
無論是激光雷達方案、3D結(jié)構(gòu)光方案，還是視覺方案，其實在導(dǎo)航定位能力上都能有不俗的表現(xiàn)，但是掃地機器人路徑規(guī)劃或定位導(dǎo)航能力最終能實現(xiàn)多少、實際工作過程中有怎樣的表現(xiàn)，其背后有怎樣的AI算法、如何為掃地機器人的多傳感器做搭建“融合算法”就成了關(guān)鍵。
石頭在2017年年初成立的上海AI研究院主要做的就是這件事兒。
據(jù)雷鋒網(wǎng)了解，石頭這一研究院很低調(diào)，此前也不曾見網(wǎng)上有過相關(guān)報道。也正是這一低調(diào)的AI研究院，決定了石頭掃地機器人的能力邊界，決定了石頭的最終“射程”。
John正是石頭科技AI研究院研發(fā)總監(jiān)，他告訴雷鋒網(wǎng)，包括最早在石頭掃地機器人T6上應(yīng)用的基于CNN網(wǎng)絡(luò)設(shè)計的房間分割算法就是產(chǎn)自上海AI研究院。此次雙目視覺方案的研發(fā)工作，主要也是交由了上海AI研究院完成。
在方案設(shè)計初期，AI研究院對單雙目方案也進行了深入研究。
如果我們?nèi)タ碈NN網(wǎng)絡(luò)的一些研究會發(fā)現(xiàn)，一些學(xué)術(shù)流派已經(jīng)放棄了用單目進行完整的測距，因為它的計算成本相對較高、測距能力對識別能力有較強的依賴性、測距的精度也有待提高。而單目能夠?qū)崿F(xiàn)的，雙目一定都能實現(xiàn)；
此外，3D ToF+單目視覺方案雖然是一個很誘人的idea，但是成本相對也會更高；
我們最終發(fā)現(xiàn)，雙目方案雖然在算法實現(xiàn)上有一定挑戰(zhàn)，但卻是一個既能有空間信息、又能有圖像信息，同時也是成本較低的方案。
具體在雙目視覺方案算法上，石頭為T7 Pro加入了Reactive AI算法。
John向雷鋒網(wǎng)介紹稱，AI算法的長遠應(yīng)用趨勢得益于兩項技術(shù)的發(fā)展：
一個是自2012年后，神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展和應(yīng)用落地，包括CNN網(wǎng)絡(luò)從最初的RCNN、Yolo、SSD、MobileNet、CenterNet等一系列的發(fā)展，算法效果不僅越來越好，軟件的輕量化也越來越好，落地的可能性和成本也越來越低；
另一個是室內(nèi)機器人相關(guān)技術(shù)的發(fā)展與成熟。AI技術(shù)在掃地機平臺的使用是一個系統(tǒng)工程，其中涉及了成像、圖像處理、多感知融合、定位、導(dǎo)航等諸多技術(shù)。以AI為核心，以室內(nèi)機器人為依托，系統(tǒng)地實現(xiàn)AI在掃地機平臺地落地，達成更好的用戶體驗，這是我們研究院的努力方向。
正因如此，集成了機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、計算機視覺、SLAM等領(lǐng)域技術(shù)，通過系統(tǒng)地解決雙目視覺相關(guān)，標(biāo)定、成像及圖像處理、CNN識別、導(dǎo)航?jīng)Q策適配，綜合形成了我們現(xiàn)在T7 Pro上應(yīng)用的Reactive AI的算法能力。
為適配掃地機器人現(xiàn)有的多傳感器融合技術(shù)，石頭今年還首次對外公布了應(yīng)用于石頭掃地機器人T7上的mason 7.0算法系統(tǒng)，T7 Pro上則針對雙目視覺方案的應(yīng)用在這一算法系統(tǒng)中加入了3D信息和視覺能力，形成了3D版的「RR mason 7.0算法系統(tǒng)」。
據(jù)官方介紹，這一算法系統(tǒng)具體工作流程為：
「實時數(shù)據(jù)管理算法」負責(zé)管理分發(fā)傳感器采集的環(huán)境數(shù)據(jù)，然后交由「感知與建圖算法」進行數(shù)據(jù)融合與分析，最后「導(dǎo)航與運動算法」根據(jù)分析結(jié)果進行動態(tài)導(dǎo)航及規(guī)劃。
加入雙目視覺的T7 Pro還具備了識別能力。據(jù)官方數(shù)據(jù)顯示，目前T7 Pro已經(jīng)能夠識別體重秤、風(fēng)扇底座、鞋子、插線板、線團、寵物糞便6類物體，隨后可通過OTA升級識別能力——后續(xù)第一期計劃新增襪子、簸箕、U型椅3類物體。
由此，石頭得以針對不同的物體為T7 Pro在算法上設(shè)計了不同的避讓策略，例如，電線團——很危險——約5cm開始避障；拖鞋——很安全——約3cm開始避障。
據(jù)Tommy介紹稱，雙目攝像頭實時識別出的障礙物也會實時反饋到手機地圖中。雷鋒網(wǎng)在實測中也發(fā)現(xiàn)，對于T7 Pro目前尚不支持識別的物體，掃地機器人會錯誤地識別為鞋子或插線板之類物體實時顯示到地圖中，據(jù)悉，這些識別上的錯誤不會影響避障，識別能力也會在T7 Pro后期OTA升級優(yōu)化過程中逐步得到改善。
5月20日，配有雙目視覺方案的石頭掃地機器人T7 Pro正式上線發(fā)布。至此，包括LDS激光雷達、3D結(jié)構(gòu)光、3D ToF、單目視覺、雙目視覺這些市面上比較成熟的定位避障方案都在掃地機器人這一家庭消費品上得到了應(yīng)用。
iRobot的3D結(jié)構(gòu)光方+視覺方案、科沃斯的3D ToF+AIVI方案、石頭的雙目視覺方案……，各掃地機器人廠商也都為自己今年發(fā)布的新品配上了一個拿得出手的定位避障“新”方案。
雷鋒網(wǎng)也注意到，在T7 Pro發(fā)布時，石頭還為這款產(chǎn)品打了一個標(biāo)簽——科技探索新品。
為什么會有“科技探索”這個叫法？
Tommy告訴雷鋒網(wǎng)，“其實這款產(chǎn)品并不是什么預(yù)研產(chǎn)品，而是我們的量產(chǎn)機型，不過由于我們的T7 Pro是第一個將雙目視覺方案用到了掃地機器人上的產(chǎn)品，想的是謙虛點吧，所以團隊最終決定稱它為'科技探索'版本?！?/p>
配有雙目視覺方案的“科技探索版”石頭掃地機器人T7 Pro在提升避障能力、間接提升了清潔能力這一主功能的同時，也加入了遠程實時視頻功能，由此，用掃地機器人來看家、巡邏，甚至“云吸貓”也都成為可能。
現(xiàn)在行業(yè)中有一種說法，像是智能手機、智能電飯煲、洗碗機等家用消費品已經(jīng)成為懶人經(jīng)濟中“用了就回不去”的產(chǎn)品。那么，雙目視覺能讓掃地機器人成為下一個“用了就回不去”的家用消費品嗎？
關(guān)注AIoT、機器人、智能硬件，新聞爆料或?qū)で髨蟮溃瑲g迎添加作者微信交流：18210039208。
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
