雷鋒網(wǎng) AI 科技評(píng)論按：計(jì)算機(jī)視覺(jué)頂會(huì) CVPR 2019 上舉辦了首屆「Computer Vision After 5 Years - CVPR Workshop」，領(lǐng)域內(nèi)的多位知名學(xué)者受邀演講，和大家分享他們對(duì)于 5 年后的計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)展的看法。

在上篇中，雷鋒網(wǎng) AI 科技評(píng)論已經(jīng)介紹了 Cordelia Schmid、Alexei Efros 兩位的演講內(nèi)容。這篇中我們繼續(xù)帶來(lái)其他幾位講者的內(nèi)容。

演講三

Facebook 人工智能研究院（FAIR）的研究科學(xué)家、目標(biāo)檢測(cè)界的領(lǐng)軍人物 Ross Girshick 上午還在教學(xué)講座，下午就在這個(gè)研討會(huì)進(jìn)行又一個(gè)演講。

就在 Ross Girshick 之前演講的 Alexei Efros 說(shuō)到有四件我們需要改變看法的事情，Ross 一開(kāi)場(chǎng)也就說(shuō)，他的演講相當(dāng)于只針對(duì)其中的第四點(diǎn)數(shù)據(jù)集的一點(diǎn)想法。他的演講主題是「Big Little Data」。

目前在深度學(xué)習(xí)時(shí)代，可以說(shuō)「大規(guī)模、類(lèi)別均衡的數(shù)據(jù)集+手工標(biāo)簽+神經(jīng)網(wǎng)絡(luò)=不錯(cuò)的表現(xiàn)」，不過(guò)這也是我們唯一掌握的模式，所有不符合這個(gè)模式的都是還沒(méi)解決的問(wèn)題。

在這個(gè)演講里，Ross 打算討論的是一個(gè)和這個(gè)模式非常類(lèi)似，但是還沒(méi)被解決的問(wèn)題。

從命名說(shuō)起，人類(lèi)和機(jī)器之間交流、機(jī)器和機(jī)器之間的交流會(huì)打開(kāi)一個(gè)很大的新挑戰(zhàn)：實(shí)體命名。自然場(chǎng)景中的物體非常多非常細(xì)，對(duì)它們的命名是一個(gè)尚未得到充分研究的挑戰(zhàn)，這也將是未來(lái)的重要發(fā)展方向。

相比于當(dāng)前的數(shù)據(jù)集、當(dāng)前的對(duì)象識(shí)別任務(wù)中只檢測(cè)主要的一些物體，如果要檢測(cè)場(chǎng)景中的所有物體，這有一系列不同：首先需要大幅擴(kuò)充詞匯庫(kù)，其次，如果希望能服務(wù)更豐富的行為的話也需要更豐富的表征。實(shí)際上，要檢測(cè)所有的物體，其實(shí)并不僅僅是檢測(cè)更多類(lèi)別而已，它會(huì)啟發(fā)很多全新的研究課題。

很明顯的，第一個(gè)問(wèn)題：是要如何評(píng)價(jià)分類(lèi)結(jié)果；第二個(gè)問(wèn)題是，如何應(yīng)對(duì)數(shù)據(jù)效率、長(zhǎng)尾數(shù)據(jù)的狀況。

長(zhǎng)尾數(shù)據(jù)的狀況其實(shí)遠(yuǎn)比我們一般印象里的糟糕，他們統(tǒng)計(jì)了 COCO 數(shù)據(jù)集中的類(lèi)別分布比例，并同步嘗試了用更少的數(shù)據(jù)訓(xùn)練模型。在減少到只有 1k 訓(xùn)練樣本時(shí)，超過(guò) 90% 的類(lèi)別都仍然有至少 20 個(gè)樣本，甚至還沒(méi)有到小樣本學(xué)習(xí)的范疇，但模型的準(zhǔn)確率已經(jīng)出現(xiàn)了大幅下降。

而如果統(tǒng)計(jì)更大范圍的圖片內(nèi)的類(lèi)別分布，總的類(lèi)別數(shù)目越大時(shí)，最后出現(xiàn)的罕見(jiàn)類(lèi)別也就越多、每個(gè)類(lèi)別樣本越少。

Facebook 探究這個(gè)問(wèn)題的努力是設(shè)計(jì)了 LVIS 數(shù)據(jù)集。它基于的是 COCO 數(shù)據(jù)集中的圖像，數(shù)據(jù)總量很大，但是樣本量很小的數(shù)據(jù)類(lèi)別也很多。非常多的實(shí)例分割標(biāo)注，但是包含的長(zhǎng)尾數(shù)據(jù)中也有數(shù)量很少的類(lèi)別，這就是 Big Little 兩個(gè)詞的所指。

Ross 說(shuō)道，構(gòu)建數(shù)據(jù)集時(shí)就需要重新思考不少東西：過(guò)往的數(shù)據(jù)集構(gòu)建時(shí)，做法都是先選定想要包含的類(lèi)型（哪一千個(gè)類(lèi)別），再通過(guò)關(guān)鍵詞搜索對(duì)應(yīng)類(lèi)別的圖片，然后添加到數(shù)據(jù)集中。這樣的結(jié)果就是模糊的類(lèi)別少、類(lèi)別總數(shù)目有限、不同類(lèi)型的樣本分布過(guò)于平衡。這其實(shí)都是和更廣泛的圖像、生活中的圖像的特性不符的，也達(dá)不到檢測(cè)所有物體的目標(biāo)。LVIS 的設(shè)計(jì)目標(biāo)和方法都有所不同，所以不再有這些特點(diǎn)（也可以說(shuō)是缺點(diǎn)）。

Ross 著重說(shuō)了一下他們對(duì)「類(lèi)別」概念的重新思考。目前的對(duì)象識(shí)別數(shù)據(jù)集中都有許許多多類(lèi)別名，但是「類(lèi)別名只是一種表達(dá)」，并不能真的等同于類(lèi)別本身的定義。

實(shí)際上，類(lèi)別就是具有靈活性和多義性的，比如玩具鹿可以同時(shí)屬于「玩具」類(lèi)別和「鹿」類(lèi)別，小汽車(chē)和卡車(chē)都可以屬于「交通工具」，以及同一個(gè)物體可以有不同的稱(chēng)呼。一種直白的處理方式是把所有類(lèi)別都列出來(lái)，然后每一個(gè)對(duì)象實(shí)例都要分別一一標(biāo)注出它是否屬于某個(gè)類(lèi)別。但類(lèi)別和實(shí)例稍微多一點(diǎn)以后這種做法就是不行的。

除此之外，真實(shí)世界的物體分類(lèi)很多時(shí)候也就是模糊的，比如 hotdog（熱狗）、taco（肉卷）、sandwich（三明治）三者之間的區(qū)別就很難說(shuō)清，cereal（燕麥粥）和 soup（粥）也很類(lèi)似。對(duì)于 toast 的理解就更是令人迷惑了。沒(méi)有準(zhǔn)確的定義，類(lèi)別間的區(qū)別非常模糊。這都說(shuō)明了沒(méi)法做以往那樣的直白的標(biāo)注。

Facebook 的解決方案是用聯(lián)邦數(shù)據(jù)集的概念，不做所有圖像中的實(shí)例的精細(xì)標(biāo)注，而是把整個(gè)數(shù)據(jù)集看作許多個(gè)類(lèi)別數(shù)據(jù)集的集合；其中每個(gè)類(lèi)別數(shù)據(jù)集由出一定數(shù)量的正例和負(fù)例組成，除此之外的圖像都允許處于未知的狀態(tài)，不再逼迫分類(lèi)器一定要給出某個(gè)結(jié)果。

這種做法也帶來(lái)了一些標(biāo)注方面的新特性。建立這個(gè)數(shù)據(jù)集他們花了一年多時(shí)間，目前還沒(méi)完全完成。感興趣的研究者可以訪問(wèn) www.lvisdataset.org。

對(duì)于數(shù)據(jù)效率問(wèn)題，Ross 有一個(gè)有趣的說(shuō)法：我們嘗試持續(xù)提升 AP 了這么多年，是時(shí)候把它降下來(lái)了——需要讓大家知道這不是一個(gè)已經(jīng)完全解決的問(wèn)題。

數(shù)據(jù)中的長(zhǎng)尾特性是不可能消除的，檢測(cè)不同類(lèi)別對(duì)象的 mAP 有明顯的高低區(qū)別，而且 Ross 認(rèn)為當(dāng)前的小樣本學(xué)習(xí)根本就還沒(méi)發(fā)展到可以解決問(wèn)題的程度。從小樣本中學(xué)習(xí)的能力真的是未來(lái)五年中的一個(gè)非常重要的課題。

Ross 并沒(méi)有介紹他們?cè)谶@方面的新的成果，但是他們將在 ICCV2019 上舉辦比賽，就基于 LVIS 數(shù)據(jù)集，通過(guò)挑戰(zhàn)的過(guò)程吸引更多研究者關(guān)注長(zhǎng)尾小樣本學(xué)習(xí)問(wèn)題。

演講四

MIT 電子工程與計(jì)算機(jī)科學(xué)教授 Bill Freeman 的演講主題是「The future of CV told through seven classic rock songs」。

他說(shuō)這個(gè)主題，用搖滾比喻計(jì)算機(jī)視覺(jué)，其實(shí)覺(jué)得挺貼切的。不過(guò)鑒于這些老歌曲國(guó)內(nèi)讀者都不熟悉，這里暫時(shí)把比喻都略去，只關(guān)注正題內(nèi)容。

Bill Freeman 一開(kāi)頭也諷刺了過(guò)去五年的論文發(fā)表模式：翻到計(jì)算機(jī)視覺(jué)教科書(shū)的隨便哪一頁(yè)，在那一頁(yè)講的課題前面加上「深度」，收集一個(gè)相關(guān)的數(shù)據(jù)集，仿照 AlexNet 的樣子訓(xùn)練一個(gè) CNN 模型，然后就可以發(fā)表在 CVPR 了。

最近幾年的一個(gè)新風(fēng)潮是從人類(lèi)的視覺(jué)感知系統(tǒng)獲得靈感發(fā)表論文，也許接下來(lái)五年的計(jì)算機(jī)視覺(jué)論文發(fā)表模式會(huì)變成：翻開(kāi) MIT 的《視覺(jué)科學(xué)》教科書(shū)，隨便翻到哪一頁(yè)，然后仔細(xì)地把這一頁(yè)的概念融入到自己設(shè)計(jì)的網(wǎng)絡(luò)中，就可以把論文命名為「一個(gè) xxxx 的架構(gòu)設(shè)計(jì)」，然后補(bǔ)充內(nèi)容以后發(fā)表到 CVPR 了。（這當(dāng)然也是諷刺）

接下來(lái) Bill Freeman 花時(shí)間和聽(tīng)眾一起討論了許多視覺(jué)系統(tǒng)概念的辨析，大家交換了一下看法。鳥(niǎo)類(lèi)能夠飛行，當(dāng)時(shí)有人認(rèn)為是因?yàn)轼B(niǎo)有羽毛，也有人認(rèn)為是鳥(niǎo)有翅膀?，F(xiàn)在當(dāng)然公認(rèn)翅膀才是對(duì)飛行來(lái)說(shuō)真正重要的，羽毛不一定需要。他希望大家思考一下，后面的這些概念，對(duì)視覺(jué)系統(tǒng)來(lái)講哪些是翅膀、哪些是羽毛。也藉由這些討論，窺探未來(lái)計(jì)算機(jī)視覺(jué)研究有待探究的課題。

1 人類(lèi)視覺(jué)系統(tǒng)中獨(dú)立的背側(cè)和腹側(cè)視覺(jué)通路，對(duì)類(lèi)別和位置的分別表征，大多數(shù)人認(rèn)為是羽毛；

2，明確地表征對(duì)象的邊界，應(yīng)該是翅膀；3，邊界的重建能力，應(yīng)該是翅膀；

4，F(xiàn)oveation，視野的中央部分最靈敏，Bill 認(rèn)為這對(duì)學(xué)術(shù)研究來(lái)說(shuō)是羽毛，對(duì)商業(yè)產(chǎn)品是翅膀（學(xué)術(shù)研究要研究視覺(jué)系統(tǒng)的本質(zhì)，但商業(yè)產(chǎn)品有恰當(dāng)?shù)墓δ苄跃蛪颍?/p>

5，感知分類(lèi)（認(rèn)為上圖中是一個(gè)條形貫穿了方形和圓形），應(yīng)該是翅膀；6，三色視覺(jué)，有待討論；7，高效率，低發(fā)熱，可移動(dòng)性，對(duì)學(xué)術(shù)研究來(lái)說(shuō)是羽毛，對(duì)商業(yè)產(chǎn)品是翅膀；

8，反向連接，大多數(shù)人認(rèn)為應(yīng)該是翅膀

在這些說(shuō)完之后，Bill Freeman 告誡大家要多看看前人的成果，不要總是重復(fù)發(fā)明輪子。

演講五

第五位演講的是計(jì)算機(jī)視覺(jué)領(lǐng)域奠基人之一的 UC 伯克利教授 Jitendra Malik。

Malik 開(kāi)場(chǎng)首先說(shuō)了像繞口令一樣的一句話：科研的藝術(shù)，就是要找重要的、未解決的、但能解決的問(wèn)題，去解決。

Malik 說(shuō)，其實(shí)許多年前的演講中他就曾討論過(guò)未來(lái)：在 2004 年他就做過(guò)以《The Hilbert Problems of Computer Vision》的演講，提出了一些對(duì)于計(jì)算機(jī)視覺(jué)系統(tǒng)的問(wèn)題，希望未來(lái)的研究可以給出答案；然后在 2015 年，他做了《The (new) Hilbert Problems of Computer Vision》的演講，為 2004 年提出的問(wèn)題給出了一些回答，也提出了新的問(wèn)題。他說(shuō)他挺喜歡這個(gè)模式的，這個(gè)問(wèn)答過(guò)程就是很好的預(yù)測(cè)和回顧，而且現(xiàn)在我們還可以回過(guò)頭看以前對(duì)更早的問(wèn)題的回答，以此作為預(yù)測(cè)未來(lái)的參考。唯一的遺憾是，今天這次演講在 2019 年，距離上一次 2015 年的預(yù)測(cè)稍微近了點(diǎn)。

2004 年提出的對(duì)于早期視覺(jué)、靜態(tài)視覺(jué)、動(dòng)態(tài)視覺(jué)三個(gè)板塊的問(wèn)題，可以看作是在深度學(xué)習(xí)時(shí)代來(lái)之前對(duì)視覺(jué)領(lǐng)域的思考。在 2015 年時(shí)給出的回答分別是：

早期視覺(jué)問(wèn)題

• 如何從圖像統(tǒng)計(jì)中獲得目前還不了解的信息？

• 在監(jiān)督學(xué)習(xí)任務(wù)中訓(xùn)練一個(gè)多層神經(jīng)網(wǎng)絡(luò)就可以獲得通用的圖像表征

• 自底向上的圖像分割能發(fā)展到什么水平？

• 可以產(chǎn)生一小組物體分割候選，然后可以用分類(lèi)器添上標(biāo)簽?；瑒?dòng)窗口已經(jīng)不再需要了。

• 如何根據(jù)自然圖像中的陰影、紋理進(jìn)行推理？

• 相比于對(duì)成像過(guò)程進(jìn)行反向建模，我們可以進(jìn)行學(xué)習(xí)。如果數(shù)據(jù)比較稀疏，我們需要給一些參數(shù)設(shè)定先驗(yàn)的值；如果有足夠的數(shù)據(jù)，就可以直接用神經(jīng)網(wǎng)絡(luò)之類(lèi)的非參數(shù)化方法學(xué)習(xí)。

靜態(tài)場(chǎng)景理解

• 分割和識(shí)別之間如何互動(dòng)？

• 雙向信息流。

• 場(chǎng)景、物體、部件之間如何互動(dòng)？

• 在感知域內(nèi)能夠隱式地捕捉到一些聯(lián)系，但還不是普遍的結(jié)構(gòu)

• 識(shí)別系統(tǒng)中的設(shè)計(jì)和學(xué)習(xí)的角色如何？

• 盡量多地從數(shù)據(jù)中學(xué)習(xí)。不要設(shè)計(jì)特征。要設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。

動(dòng)態(tài)場(chǎng)景理解

• 在大范圍運(yùn)動(dòng)對(duì)應(yīng)關(guān)系中，高階知識(shí)起到什么樣的作用？

• 如何找到好的對(duì)應(yīng)關(guān)系是可以通過(guò)學(xué)習(xí)得到的

• 如何找到并追蹤明確的結(jié)構(gòu)？

• 重建人體形狀和動(dòng)作方面已經(jīng)有了巨大的進(jìn)步

• 如何表征動(dòng)作？

• 這還是個(gè)開(kāi)放性的問(wèn)題，目前我們還不理解動(dòng)作和活動(dòng)之間的層次結(jié)構(gòu)

2015 年提出的新問(wèn)題和現(xiàn)在給出的回答則是

人、地點(diǎn)和物體

• 世界上的每一個(gè)地點(diǎn)建模

• 已經(jīng)有了表現(xiàn)優(yōu)秀的 SLAM、地點(diǎn)分類(lèi)和視覺(jué)導(dǎo)航

• 對(duì)每個(gè)物體類(lèi)別建模

• 已經(jīng)有了表現(xiàn)優(yōu)秀的實(shí)例分割、分類(lèi)和形狀重建

• 用于社交感知的人類(lèi)建模以及算法

• 已經(jīng)有了表現(xiàn)優(yōu)秀的人類(lèi)形狀、姿態(tài)、動(dòng)作識(shí)別

不過(guò)對(duì)于社交感知的現(xiàn)狀，Malik 認(rèn)為并不樂(lè)觀：今天的計(jì)算機(jī)的社交智慧少得可憐；當(dāng)人類(lèi)之間互動(dòng)、人類(lèi)和外部世界互動(dòng)時(shí)，我們需要能夠理解人類(lèi)的內(nèi)部狀態(tài)，例子比如情感狀況、身體語(yǔ)言、當(dāng)前目標(biāo)

Malik 回憶了圖靈當(dāng)年在圖靈機(jī)論文較為靠后的章節(jié)里對(duì)智慧的表述，然后說(shuō)我們的視覺(jué)感知發(fā)展之路可以像人類(lèi)小孩的學(xué)習(xí)一樣經(jīng)歷六個(gè)方向的發(fā)展。

這六個(gè)方向是：多模態(tài)學(xué)習(xí)；漸進(jìn)學(xué)習(xí)；物理交互學(xué)習(xí)；探索；社交學(xué)習(xí)；使用語(yǔ)言。對(duì)于體現(xiàn)不同階段的內(nèi)建過(guò)程（以觀察為監(jiān)督、以互動(dòng)為監(jiān)督、以文化為監(jiān)督），他認(rèn)為這是挺合適的思考結(jié)構(gòu)。

最終，我們希望達(dá)到的效果是，看到這樣一張圖（街邊長(zhǎng)凳上坐著一個(gè)演奏手風(fēng)琴的人，邊上經(jīng)過(guò)兩個(gè)路人），除了能識(shí)別出來(lái)圖中的凳子、識(shí)別出人的動(dòng)作之外，還能推測(cè)路人是否會(huì)給演奏者留下一些錢(qián)。

雷鋒網(wǎng) AI 科技評(píng)論總結(jié)：在這個(gè)研討會(huì)的演講中，大家關(guān)注的不再是發(fā)論文時(shí)候需要的非常具體的任務(wù)和條件限定（做實(shí)驗(yàn)所必須的），而是關(guān)注整個(gè)領(lǐng)域里未解決的問(wèn)題需要我們?nèi)绾嗡伎迹约皩?duì)計(jì)算機(jī)視覺(jué)、甚至就是視覺(jué)、自然世界的本質(zhì)有全面的審視。用全局的、貼近自然世界的視角看過(guò)以后，也就更理解了 Ross Girshick 在演講中說(shuō)到的這個(gè)成功的模式是「我們唯一掌握的模式」，現(xiàn)階段能在數(shù)據(jù)集上比較、能在論文中展示算法表現(xiàn)的只是一部分具體刻畫(huà)后的任務(wù)，整個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)尚未得出結(jié)論的問(wèn)題還有很多，我們都需要用更長(zhǎng)遠(yuǎn)更開(kāi)放的眼光去看待。到最后，預(yù)測(cè)五年后會(huì)發(fā)生什么，遠(yuǎn)不如提醒大家「我們還可以嘗試做什么」來(lái)得重要。

雷鋒網(wǎng) AI 科技評(píng)論現(xiàn)場(chǎng)參會(huì)報(bào)道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。