0
雷鋒網(wǎng) AI 科技評論按：在計算機視覺領(lǐng)域，圖像分類其實是一個最基本的問題，然后一旦遇到極端長尾、開放式的數(shù)據(jù)集時，即便是最基本的圖像識別任務(wù)，也難以很好地實現(xiàn)。伯克利 AI 研究院基于對某段相關(guān)的經(jīng)歷的思考提出了「開放長尾識別」（OLTR）方法，據(jù)介紹，該方法可同時處理龐大、稀有、開放類別的視覺識別，是目前視覺識別系統(tǒng)評價中更全面、更真實的一種檢驗標準，它可以被進一步擴展到檢測、分割和強化學(xué)習上。這一成果也在伯克利 AI 研究院上進行了發(fā)表，雷鋒網(wǎng) AI 科技評論編譯如下。
有一天，一位生態(tài)學(xué)家來找我們。因為他用攝像機拍攝了很多野生動物的照片，希望運用現(xiàn)代計算機視覺技術(shù)，基于這些照片的數(shù)據(jù)庫自動辨識拍到了哪些動物。這聽起來是一個基本的圖像分類問題，所以我們當時很自信，覺得肯定沒問題。然而結(jié)果我們卻失敗了。那位生態(tài)學(xué)家提供的數(shù)據(jù)庫是極端長尾且開放式的。通常，只要無法得到足夠的訓(xùn)練數(shù)據(jù)，我們就會問對方，有沒有可能提供更多的尾部類別數(shù)據(jù)，而忽略可能在測試數(shù)據(jù)中出現(xiàn)的一些開集類別。遺憾的是，要解決那位生態(tài)學(xué)家的問題，我們無法采用收集更多數(shù)據(jù)的做法。由于這些生態(tài)學(xué)家可能要花相當長的時間，才會在野外拍到他們計劃拍攝的珍稀動物。為了拍到一些瀕危動物，他們甚至必須等幾年才能拍到一張照片。如此同時，新的動物物種不斷出現(xiàn)，舊的物種同時正在消失。在這樣一個動態(tài)變化的系統(tǒng)之內(nèi)，類別的總數(shù)永遠無法固定。而且，從動物保護的意義上說，識別新發(fā)現(xiàn)的稀有動物比識別數(shù)量還很多的動物更有價值。如果我們只能在數(shù)量眾多的類別中很好地識別動物，那我們的方法永遠都不會有什么實用價值。我們嘗試了所有可能采用的方法，能想到的都試過了，比如數(shù)據(jù)增強、采樣技術(shù)、小樣本學(xué)習、不平衡分類，但沒有一種現(xiàn)有的方法可能同時處理龐大的類別、稀有的類別和開放的類別（如圖 1）。
自此以后，我們就一直在思考，現(xiàn)有的計算機視覺方法和現(xiàn)實世界的場景存在這么大的差距，最主要的原因是什么？不止是野生動物攝影數(shù)據(jù)存在這樣的問題，在現(xiàn)實生活中，這種問題一再出現(xiàn)，工業(yè)和學(xué)界都有。假如卷積神經(jīng)網(wǎng)絡(luò)可以在龐大的 ImageNet 圖像數(shù)據(jù)集中非常順利地將圖片分門別類，那為什么在開放的世界中卻仍然無法解決圖片分類的問題？在視覺識別領(lǐng)域，幾乎所有的問題都有成功的解決之道，如小樣本學(xué)習和開集識別。可似乎沒有人把這些問題當作一個整體來看待。在現(xiàn)實世界的應(yīng)用中，不論是頭部類別還是尾部類別，分類有時不止面臨單獨一種問題。因此，我們認為，這種理論和實踐的差距可能源于視覺識別設(shè)置自身。
在現(xiàn)有的視覺識別環(huán)境中，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)在封閉世界（比如 ImageNet 數(shù)據(jù)集）的設(shè)置下都是均衡的。但這種設(shè)置并沒有很好地模擬現(xiàn)實世界的場景。例如，生態(tài)學(xué)家永遠都無法收集到均衡的野生動物數(shù)據(jù)集，因為動物的分布是不均衡的。同樣地，從道路標示、時裝品牌、面孔、天氣環(huán)境，到街道環(huán)境等等，各種類型數(shù)據(jù)集的不均衡開放分布都會干擾人。為了如實地反映這些方面，我們開始正式研究源自自然數(shù)據(jù)集的「開放長尾識別」（OLTR）。一個實用的系統(tǒng)應(yīng)該能夠在少數(shù)共性的類別和多個稀有類別之中分類，從極少數(shù)已知的例子之中總結(jié)歸納單獨一個類別的概念，基于某個過去從未見過的類別存在的一個例子，去了解這個類別的獨特性。我們將 OLTR 定義為，從長尾和開放的分布式數(shù)據(jù)中學(xué)習，并且基于一個平衡測試數(shù)據(jù)集評估分類的準確性，而這個測試數(shù)據(jù)集要包括在一個連續(xù)譜內(nèi)的頭部、尾部和開集類別（如圖 2）。
OLTR 并沒有局限于字面上的定義，目前有三個問題和它密切相關(guān)，分別是不平衡分類、小樣本學(xué)習和開集識別，通常人們都是孤立地看待它們，分別獨立研究。圖 3 概括了它們之間的差異。在評估視覺識別系統(tǒng)方面，新提出的 OLTR 可以成為更廣泛、更現(xiàn)實的檢驗標準。
我們提出將圖像映射到一個特征空間，這樣，視覺概念之間可以基于學(xué)習到的度量相互關(guān)聯(lián)，并且這種度量既認可了封閉世界分類又承認了開放世界的新穎性。我們所提出的動態(tài)元嵌入層結(jié)合了直接圖像特征和關(guān)聯(lián)的記憶特征，同時，特征范數(shù)表示了對已知類別的熟悉程度，如圖所示 4。
首先，我們通過聚集源自頭部類別和尾部類別的知識獲得了視覺記憶；然后將存儲在內(nèi)存中的視覺概念當作關(guān)聯(lián)的記憶特征重新注入，以增強原來的直接特征。我們可以將其理解為利用誘導(dǎo)知識（即記憶特征）來幫助實現(xiàn)直接觀察（即直接特征）。我們進一步學(xué)習了一個概念選擇器來控制所要注入的記憶特征的數(shù)量和類型。由于頭部類別知識已經(jīng)獲得了豐富的直接觀察，所以它們只被注入了少量的記憶特征。相反，尾部類別獲得的觀察很少，于是記憶特征里的關(guān)聯(lián)視覺概念就非常有用。最后，我們通過計算出獲得視覺記憶的可達性，來調(diào)整開放類別的可信度。
如圖 5 所示，本文方法對所有的多/中/小樣本類別以及開放類別進行了綜合處理，在各方面都取得了實質(zhì)性的提升。
這里，我們通過將頭部的激活神經(jīng)元可視化，檢查了記憶特征注入的視覺概念，如如圖 6 所示。具體來說，對于每個輸入圖像，我們識別出了它在記憶特征中排名前 3 的遷移神經(jīng)元。所有神經(jīng)元都通過整個訓(xùn)練集上最高的一組激活補丁實現(xiàn)可視化。例如，為了將左上角的圖像劃分為尾部類別「公雞」，我們的方法已經(jīng)學(xué)會了依次遷移表示「鳥頭」、「圓形」和「點狀紋理」的視覺概念。在注入特征后，動態(tài)元嵌入層的信息豐富度和識別度變得更高。
現(xiàn)在讓我們回到真正的叢林，將我們在本文中提出的方法應(yīng)用到生態(tài)學(xué)家在第一部分提到的野生動物數(shù)據(jù)中。幸運的是，我們的新框架在不犧牲豐富類別的情況下，在稀缺類別上獲得了實質(zhì)性的進步。具體而言，在圖像數(shù)量少于 40 的類別上，我們讓結(jié)果提升了大約 40%（從 25% 到 66%）。并且，在開放類別檢測上，我們讓結(jié)果提高了 15% 以上。
我們相信，在開放長尾識別環(huán)境下開發(fā)的計算方法最終可以滿足自然分布數(shù)據(jù)集的需要。綜上所述，開放式長尾識別（OLTR）是視覺識別系統(tǒng)評價中更全面、更真實的一種檢驗標準，它可以被進一步擴展到檢測、分割和強化學(xué)習上。
致謝：感謝論文《開放世界中的大規(guī)模長尾識別》的所有共同作者在撰寫這篇博文中所做的貢獻和討論。本文中所表達的觀點均屬于本文作者。
此博文基于將在 IEEE 計算機視覺和模式識別會議（CVPR 2019）作口頭陳述的論文，如下：
《開放世界中的大規(guī)模長尾識別》（Large-Scale Long-Tailed Recognition in an Open World）
作者：Ziwei Liu*, Zhongqi Miao*, Xiaohang Zhan, Jiayun Wang, Boqing Gong, Stella X. Yu
Project Page：https://liuziwei7.github.io/projects/LongTail.html
Dataset：https://drive.google.com/drive/folders/1j7Nkfe6ZhzKFXePHdsseeeGI877Xu1yf
Code & Model：https://github.com/zhmiao/OpenLongTailRecognition-OLTR
via https://bair.berkeley.edu/blog/2019/05/13/oltr/ 雷鋒網(wǎng) AI 科技評論報道
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
