0
雷鋒網(wǎng)按：9 月 26 日，機(jī)器人領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議 IROS 2017 進(jìn)入第二日。上午，著名華人計(jì)算機(jī)視覺專家、斯坦福副教授李飛飛，在溫哥華會(huì)議中心面向全體與會(huì)專家學(xué)者作了長達(dá)一小時(shí)的專題報(bào)告。
根據(jù)Guide2Research的排名，IROS是計(jì)算機(jī)視覺領(lǐng)域排名第四的學(xué)術(shù)會(huì)議，前三名分別為CVPR、ICCV、ECCV。計(jì)算機(jī)視覺在機(jī)器人的發(fā)展史中起著非常重要的作用，與之相關(guān)的“感知”也正是歷年IROS大會(huì)上的重要內(nèi)容，隨著機(jī)器人研究的發(fā)展和“越來越接近人類”這個(gè)目標(biāo)的進(jìn)一步深入，越來越多的學(xué)者更深刻認(rèn)識(shí)到了計(jì)算機(jī)視覺對(duì)機(jī)器人整個(gè)行業(yè)發(fā)展的重要性。雷鋒網(wǎng)認(rèn)為，隨著近幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的突破，計(jì)算機(jī)視覺在機(jī)器人領(lǐng)域的應(yīng)用也將會(huì)迎來一個(gè)新的時(shí)期，這也是今年的IROS大會(huì)邀請(qǐng)李飛飛教授到IROS做大會(huì)報(bào)告的原因。
如李飛飛開場(chǎng)所言，這是她第一回參加IROS，但她希望和做機(jī)器人研究的朋友們進(jìn)行交流，分享在她眼中計(jì)算機(jī)視覺對(duì)機(jī)器人意味著什么，并介紹她在ImageNet后，與其斯坦福研究團(tuán)隊(duì)正在從事的其他研究項(xiàng)目，而這些項(xiàng)目對(duì)未來機(jī)器人的感知和認(rèn)識(shí)我們所處的環(huán)境尤為重要。
“希望可以說服做機(jī)器人研究的朋友，（計(jì)算機(jī)）視覺是機(jī)器人的殺手級(jí)應(yīng)用?！痹谘葜v前一天，李飛飛在Twitter上這么說。
由于篇幅限制，報(bào)告分為上下兩篇。在上半部分，李飛飛解釋了為什么計(jì)算機(jī)視覺會(huì)是機(jī)器人的殺手級(jí)應(yīng)用，雷鋒網(wǎng)作了不改變?cè)敢獾膭h減。
李飛飛在 IROS 2017
李飛飛：我會(huì)與大家分享最近在做的視覺工作，聊一聊計(jì)算機(jī)視覺與視覺智能領(lǐng)域的歷史背景。這些都是仍在進(jìn)行中的研究，歡迎自由討論。
朋友建議我，在機(jī)器人大會(huì)演講至少要放一張機(jī)器人的圖片。我挑了一張最喜歡的：
問題來了：為什么在這幅兒童畫里，機(jī)器人是有眼睛的？
我認(rèn)為這與進(jìn)化演進(jìn)有關(guān)。不管是智慧動(dòng)物還是智能體，眼睛/視覺/視力都是最基本的東西（兒童在潛意識(shí)里也這么認(rèn)為）。讓我們回到 5.4 億年前的寒武紀(jì)——在寒武紀(jì)生物大爆發(fā)之前，地球上的生物種類算不上多，全都生活在水里，被動(dòng)獲取食物。但在距今約 5.4 億年的時(shí)候，非常奇怪的事情發(fā)生了（如下圖）：短短一千萬年的時(shí)間內(nèi)，各種各樣的新物種紛紛涌現(xiàn)，這便是“寒武紀(jì)大爆發(fā)”。
這背后的原因是什么？
最近，一名澳大利亞學(xué)者提出了一套非常有影響力的理論，把寒武紀(jì)大爆發(fā)歸功于——視覺。在寒武紀(jì)，最早的三葉蟲進(jìn)化出了一套非常原始的視力系統(tǒng)，就像最原始的德科相機(jī)，能捕捉到一丁點(diǎn)光。但這改變了一切：能“看”之后，動(dòng)物開始主動(dòng)捕食。獵手和獵物之間從此開始了持續(xù)數(shù)億年的“追蹤—躲藏”游戲，行為越來越復(fù)雜。從這個(gè)節(jié)點(diǎn)往后，幾乎地球上所有動(dòng)物都進(jìn)化出了某種形式上的視覺系統(tǒng)。5.4 億年之后的今天，對(duì)于人類，眼睛已成為我們最重要的傳感器，超過一半的大腦都會(huì)參與視覺功能。
在地球生物向更高智慧水平進(jìn)化的過程中，視覺真的是非常重要的推動(dòng)力量。
這套如此神奇的感知系統(tǒng)，便是我今天想要講的主題。這也是我們對(duì)機(jī)器的追求——讓機(jī)器擁有人類這樣的視覺智能。
下面，我講一個(gè)小故事，關(guān)于人類視覺系統(tǒng)的令人驚嘆之處。
在 1960 年代的好萊塢，誕生了一個(gè)非常有里程碑意義的歷史電影《The Pawnbroker》（首部以幸存者角度表現(xiàn)二戰(zhàn)中猶太人大屠殺的美國電影） 。隨著這部電影誕生了一種全新的為電影插入視頻剪輯的技術(shù)，導(dǎo)演 Sidney Lumet 對(duì)此做了個(gè)很有意思的實(shí)驗(yàn)——插入的畫面需要顯示多久才能讓觀眾抓住內(nèi)容。
他不斷縮短畫面播放的時(shí)間，從十幾秒到幾秒，最后到三分之一秒——他發(fā)現(xiàn)這是一個(gè)相當(dāng)好的時(shí)長，足夠觀眾看清楚并且充分理解畫面。
心理學(xué)家和認(rèn)識(shí)科學(xué)家們受此啟發(fā)，開展了更進(jìn)一步的實(shí)驗(yàn)：向參與者播放連續(xù)多幀畫面，每幀的顯示時(shí)間僅有 100 微秒。其中，僅有一幅畫面里有一個(gè)人，要求參與者找出這個(gè)人。
而大家確實(shí)都能夠找出來。這非常令人驚嘆，只需 100 微秒，我們的視覺系統(tǒng)就能檢測(cè)到從來沒見過的人。
1996 年，神經(jīng)心理學(xué)家 Simon J. Thorpe 在 《自然》發(fā)表了一項(xiàng)研究，通過腦電波觀察人腦對(duì)復(fù)雜圖像進(jìn)行分類的速度。他發(fā)現(xiàn)，僅需 150 微秒，大腦就會(huì)發(fā)出一道區(qū)分信號(hào)，對(duì)畫面中的物體是否為動(dòng)物做出判斷。
后來，哈佛人體視覺學(xué)者 Jeremy Wolfe 在論文中寫道，雖然很難去衡量一個(gè)人究竟看到了什么、對(duì)某個(gè)畫面達(dá)到了什么程度的理解，但直覺告訴我們，畫面中的物體應(yīng)當(dāng)是我們觀察的對(duì)象之一。
看起來很顯而易見，但這提醒我們，對(duì)物體的識(shí)別是視覺最基礎(chǔ)的部分之一，計(jì)算機(jī)視覺也在這個(gè)領(lǐng)域攻關(guān)了許多年。從 2010 到 2017，ImageNet 挑戰(zhàn)賽的目標(biāo)識(shí)別（object recognition）錯(cuò)誤率一直在下降。到 2015 年，錯(cuò)誤率已經(jīng)達(dá)到甚至低于人類水平。
我不會(huì)說目標(biāo)識(shí)別是個(gè)已經(jīng)攻克的領(lǐng)域。許多關(guān)鍵問題尚待研究，其中不少和機(jī)器人息息相關(guān)。比如 3D 輪廓理解，目標(biāo)局部理解，對(duì)材料、紋理的理解等等。這些方面的研究非?；钴S，我也感覺到做這些比組織 ImageNet 分類任務(wù)挑戰(zhàn)賽更有意思。
接下來，我想分享一些新的、探索性的工作，而不是列出識(shí)別對(duì)象清單（inventory list of objects）這樣的基礎(chǔ)研究。讓我們回到 Jeremy Wolfe 的論文，他繼續(xù)寫道：“物體之間的關(guān)系，必須寫進(jìn) gist。”
假設(shè)有兩張圖片：把一盒牛奶倒進(jìn)玻璃杯；把一盒牛奶倒出來（倒在空中），旁邊放著一只玻璃杯。兩者不是一回事。兩張圖片中的物體都一樣，但它們之間的關(guān)系不同。
僅憑圖片的對(duì)象清單，無法完整傳遞其內(nèi)容。下面是另一個(gè)例子：
兩張照片都是人和羊駝，但是發(fā)生的事情完全不同。當(dāng)然，過去在這方面也有不少研究，包括空間關(guān)系，行為關(guān)系，概率關(guān)系等等，就不一一闡述了。這些工作基本都在小型封閉環(huán)境中開發(fā)測(cè)試，探索的也不過十幾、二十幾種關(guān)系。而我們希望把視覺關(guān)系的研究推向更大的尺度。
我們的工作基于視覺表達(dá)和 leverage model 的結(jié)合，通過把圖像空間的 embedding 以及關(guān)于對(duì)象關(guān)系的自然語言描述以巧妙的方式結(jié)合起來，避免了在對(duì)象和對(duì)象之間的關(guān)系做乘法帶來的計(jì)算負(fù)擔(dān)。
上圖展示的便是可視化結(jié)果的質(zhì)量。給定該照片，我們的算法能找出空間關(guān)系、比較關(guān)系、不對(duì)稱空間關(guān)系、動(dòng)詞關(guān)系、行為關(guān)系以及介詞關(guān)系。
更有意思的是，我們的算法能實(shí)現(xiàn) zero-shot （零樣本學(xué)習(xí)）對(duì)象關(guān)系識(shí)別。舉個(gè)例子，用一張某人坐在椅子上、消防栓在旁邊的圖片訓(xùn)練算法。然后再拿出另一張圖片，一個(gè)人坐在消防栓上。雖然算法沒見過這張圖片，但能夠表達(dá)出這是“一個(gè)人坐在消防栓上”。
類似的，算法能識(shí)別出“一匹馬戴著帽子”，雖然訓(xùn)練集里只有“人騎馬”以及“人戴著帽子”的圖片。當(dāng)然，這個(gè)算法還很不完美。例如當(dāng)兩個(gè)類似的對(duì)象（如兩個(gè)人）部分重疊在一起，算法就容易判斷失誤。如下圖，算法錯(cuò)誤得認(rèn)為是左邊的人在扔飛碟：
這是一個(gè)計(jì)算機(jī)視覺下面飛速發(fā)展的領(lǐng)域。在我們團(tuán)隊(duì)的 ECCV 2016 論文之后，今年有一大堆相關(guān)論文發(fā)表了出來，一些甚至已經(jīng)接近了我們的模型效果。我非常欣喜能看到該領(lǐng)域繁榮起來。
（未完待續(xù)，這是飛飛老師 IROS 報(bào)告的上半部分，更多關(guān)于 Visual Genome Dataset 敬請(qǐng)期待）
相關(guān)文章：
李飛飛：我把今天AI所處的發(fā)展階段稱為“AI in vivo” | Google I/O 2017
李飛飛在 IJCV 吐露心聲：崛起的亞洲 AI 力量伴我成長 | CVPR 2017
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
