0
雷鋒網(wǎng) AI 科技評(píng)論按：在計(jì)算機(jī)視覺領(lǐng)域，圖像分類其實(shí)是一個(gè)最基本的問題，然后一旦遇到極端長尾、開放式的數(shù)據(jù)集時(shí)，即便是最基本的圖像識(shí)別任務(wù)，也難以很好地實(shí)現(xiàn)。伯克利 AI 研究院基于對(duì)某段相關(guān)的經(jīng)歷的思考提出了「開放長尾識(shí)別」（OLTR）方法，據(jù)介紹，該方法可同時(shí)處理龐大、稀有、開放類別的視覺識(shí)別，是目前視覺識(shí)別系統(tǒng)評(píng)價(jià)中更全面、更真實(shí)的一種檢驗(yàn)標(biāo)準(zhǔn)，它可以被進(jìn)一步擴(kuò)展到檢測(cè)、分割和強(qiáng)化學(xué)習(xí)上。這一成果也在伯克利 AI 研究院上進(jìn)行了發(fā)表，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。
有一天，一位生態(tài)學(xué)家來找我們。因?yàn)樗脭z像機(jī)拍攝了很多野生動(dòng)物的照片，希望運(yùn)用現(xiàn)代計(jì)算機(jī)視覺技術(shù)，基于這些照片的數(shù)據(jù)庫自動(dòng)辨識(shí)拍到了哪些動(dòng)物。這聽起來是一個(gè)基本的圖像分類問題，所以我們當(dāng)時(shí)很自信，覺得肯定沒問題。然而結(jié)果我們卻失敗了。那位生態(tài)學(xué)家提供的數(shù)據(jù)庫是極端長尾且開放式的。通常，只要無法得到足夠的訓(xùn)練數(shù)據(jù)，我們就會(huì)問對(duì)方，有沒有可能提供更多的尾部類別數(shù)據(jù)，而忽略可能在測(cè)試數(shù)據(jù)中出現(xiàn)的一些開集類別。遺憾的是，要解決那位生態(tài)學(xué)家的問題，我們無法采用收集更多數(shù)據(jù)的做法。由于這些生態(tài)學(xué)家可能要花相當(dāng)長的時(shí)間，才會(huì)在野外拍到他們計(jì)劃拍攝的珍稀動(dòng)物。為了拍到一些瀕危動(dòng)物，他們甚至必須等幾年才能拍到一張照片。如此同時(shí)，新的動(dòng)物物種不斷出現(xiàn)，舊的物種同時(shí)正在消失。在這樣一個(gè)動(dòng)態(tài)變化的系統(tǒng)之內(nèi)，類別的總數(shù)永遠(yuǎn)無法固定。而且，從動(dòng)物保護(hù)的意義上說，識(shí)別新發(fā)現(xiàn)的稀有動(dòng)物比識(shí)別數(shù)量還很多的動(dòng)物更有價(jià)值。如果我們只能在數(shù)量眾多的類別中很好地識(shí)別動(dòng)物，那我們的方法永遠(yuǎn)都不會(huì)有什么實(shí)用價(jià)值。我們嘗試了所有可能采用的方法，能想到的都試過了，比如數(shù)據(jù)增強(qiáng)、采樣技術(shù)、小樣本學(xué)習(xí)、不平衡分類，但沒有一種現(xiàn)有的方法可能同時(shí)處理龐大的類別、稀有的類別和開放的類別（如圖 1）。
自此以后，我們就一直在思考，現(xiàn)有的計(jì)算機(jī)視覺方法和現(xiàn)實(shí)世界的場(chǎng)景存在這么大的差距，最主要的原因是什么？不止是野生動(dòng)物攝影數(shù)據(jù)存在這樣的問題，在現(xiàn)實(shí)生活中，這種問題一再出現(xiàn)，工業(yè)和學(xué)界都有。假如卷積神經(jīng)網(wǎng)絡(luò)可以在龐大的 ImageNet 圖像數(shù)據(jù)集中非常順利地將圖片分門別類，那為什么在開放的世界中卻仍然無法解決圖片分類的問題？在視覺識(shí)別領(lǐng)域，幾乎所有的問題都有成功的解決之道，如小樣本學(xué)習(xí)和開集識(shí)別?？伤坪鯖]有人把這些問題當(dāng)作一個(gè)整體來看待。在現(xiàn)實(shí)世界的應(yīng)用中，不論是頭部類別還是尾部類別，分類有時(shí)不止面臨單獨(dú)一種問題。因此，我們認(rèn)為，這種理論和實(shí)踐的差距可能源于視覺識(shí)別設(shè)置自身。
在現(xiàn)有的視覺識(shí)別環(huán)境中，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)在封閉世界（比如 ImageNet 數(shù)據(jù)集）的設(shè)置下都是均衡的。但這種設(shè)置并沒有很好地模擬現(xiàn)實(shí)世界的場(chǎng)景。例如，生態(tài)學(xué)家永遠(yuǎn)都無法收集到均衡的野生動(dòng)物數(shù)據(jù)集，因?yàn)閯?dòng)物的分布是不均衡的。同樣地，從道路標(biāo)示、時(shí)裝品牌、面孔、天氣環(huán)境，到街道環(huán)境等等，各種類型數(shù)據(jù)集的不均衡開放分布都會(huì)干擾人。為了如實(shí)地反映這些方面，我們開始正式研究源自自然數(shù)據(jù)集的「開放長尾識(shí)別」（OLTR）。一個(gè)實(shí)用的系統(tǒng)應(yīng)該能夠在少數(shù)共性的類別和多個(gè)稀有類別之中分類，從極少數(shù)已知的例子之中總結(jié)歸納單獨(dú)一個(gè)類別的概念，基于某個(gè)過去從未見過的類別存在的一個(gè)例子，去了解這個(gè)類別的獨(dú)特性。我們將 OLTR 定義為，從長尾和開放的分布式數(shù)據(jù)中學(xué)習(xí)，并且基于一個(gè)平衡測(cè)試數(shù)據(jù)集評(píng)估分類的準(zhǔn)確性，而這個(gè)測(cè)試數(shù)據(jù)集要包括在一個(gè)連續(xù)譜內(nèi)的頭部、尾部和開集類別（如圖 2）。
OLTR 并沒有局限于字面上的定義，目前有三個(gè)問題和它密切相關(guān)，分別是不平衡分類、小樣本學(xué)習(xí)和開集識(shí)別，通常人們都是孤立地看待它們，分別獨(dú)立研究。圖 3 概括了它們之間的差異。在評(píng)估視覺識(shí)別系統(tǒng)方面，新提出的 OLTR 可以成為更廣泛、更現(xiàn)實(shí)的檢驗(yàn)標(biāo)準(zhǔn)。
我們提出將圖像映射到一個(gè)特征空間，這樣，視覺概念之間可以基于學(xué)習(xí)到的度量相互關(guān)聯(lián)，并且這種度量既認(rèn)可了封閉世界分類又承認(rèn)了開放世界的新穎性。我們所提出的動(dòng)態(tài)元嵌入層結(jié)合了直接圖像特征和關(guān)聯(lián)的記憶特征，同時(shí)，特征范數(shù)表示了對(duì)已知類別的熟悉程度，如圖所示 4。
首先，我們通過聚集源自頭部類別和尾部類別的知識(shí)獲得了視覺記憶；然后將存儲(chǔ)在內(nèi)存中的視覺概念當(dāng)作關(guān)聯(lián)的記憶特征重新注入，以增強(qiáng)原來的直接特征。我們可以將其理解為利用誘導(dǎo)知識(shí)（即記憶特征）來幫助實(shí)現(xiàn)直接觀察（即直接特征）。我們進(jìn)一步學(xué)習(xí)了一個(gè)概念選擇器來控制所要注入的記憶特征的數(shù)量和類型。由于頭部類別知識(shí)已經(jīng)獲得了豐富的直接觀察，所以它們只被注入了少量的記憶特征。相反，尾部類別獲得的觀察很少，于是記憶特征里的關(guān)聯(lián)視覺概念就非常有用。最后，我們通過計(jì)算出獲得視覺記憶的可達(dá)性，來調(diào)整開放類別的可信度。
如圖 5 所示，本文方法對(duì)所有的多/中/小樣本類別以及開放類別進(jìn)行了綜合處理，在各方面都取得了實(shí)質(zhì)性的提升。
這里，我們通過將頭部的激活神經(jīng)元可視化，檢查了記憶特征注入的視覺概念，如如圖 6 所示。具體來說，對(duì)于每個(gè)輸入圖像，我們識(shí)別出了它在記憶特征中排名前 3 的遷移神經(jīng)元。所有神經(jīng)元都通過整個(gè)訓(xùn)練集上最高的一組激活補(bǔ)丁實(shí)現(xiàn)可視化。例如，為了將左上角的圖像劃分為尾部類別「公雞」，我們的方法已經(jīng)學(xué)會(huì)了依次遷移表示「鳥頭」、「圓形」和「點(diǎn)狀紋理」的視覺概念。在注入特征后，動(dòng)態(tài)元嵌入層的信息豐富度和識(shí)別度變得更高。
現(xiàn)在讓我們回到真正的叢林，將我們?cè)诒疚闹刑岢龅姆椒☉?yīng)用到生態(tài)學(xué)家在第一部分提到的野生動(dòng)物數(shù)據(jù)中。幸運(yùn)的是，我們的新框架在不犧牲豐富類別的情況下，在稀缺類別上獲得了實(shí)質(zhì)性的進(jìn)步。具體而言，在圖像數(shù)量少于 40 的類別上，我們讓結(jié)果提升了大約 40%（從 25% 到 66%）。并且，在開放類別檢測(cè)上，我們讓結(jié)果提高了 15% 以上。
我們相信，在開放長尾識(shí)別環(huán)境下開發(fā)的計(jì)算方法最終可以滿足自然分布數(shù)據(jù)集的需要。綜上所述，開放式長尾識(shí)別（OLTR）是視覺識(shí)別系統(tǒng)評(píng)價(jià)中更全面、更真實(shí)的一種檢驗(yàn)標(biāo)準(zhǔn)，它可以被進(jìn)一步擴(kuò)展到檢測(cè)、分割和強(qiáng)化學(xué)習(xí)上。
致謝：感謝論文《開放世界中的大規(guī)模長尾識(shí)別》的所有共同作者在撰寫這篇博文中所做的貢獻(xiàn)和討論。本文中所表達(dá)的觀點(diǎn)均屬于本文作者。
此博文基于將在 IEEE 計(jì)算機(jī)視覺和模式識(shí)別會(huì)議（CVPR 2019）作口頭陳述的論文，如下：
《開放世界中的大規(guī)模長尾識(shí)別》（Large-Scale Long-Tailed Recognition in an Open World）
作者：Ziwei Liu*, Zhongqi Miao*, Xiaohang Zhan, Jiayun Wang, Boqing Gong, Stella X. Yu
Project Page：https://liuziwei7.github.io/projects/LongTail.html
Dataset：https://drive.google.com/drive/folders/1j7Nkfe6ZhzKFXePHdsseeeGI877Xu1yf
Code & Model：https://github.com/zhmiao/OpenLongTailRecognition-OLTR
via https://bair.berkeley.edu/blog/2019/05/13/oltr/ 雷鋒網(wǎng) AI 科技評(píng)論報(bào)道
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
