0
| 本文作者： 我在思考中 | 2022-03-04 15:33 |
作者 | 陳彩嫻
不久前，Meta AI 宣稱，其于去年3月提出的10億參數(shù)自監(jiān)督模型 SEER （SElf-supERvised）又取得了新突破：新的 SEER 參數(shù)量翻了10倍，達(dá)到了100億參數(shù)，可以取得更優(yōu)秀、更公平的性能表現(xiàn)！
以下我們暫且稱新的 SEER 模型為“SEER 10B”（一個牛逼不足以形容 Meta AI 在行動上落實(shí)自監(jiān)督的野心，手動狗頭）。
根據(jù) Meta AI 的團(tuán)隊(duì)介紹，他們將 SEER 10B 模型在50+個基準(zhǔn)與多個不同未標(biāo)記數(shù)據(jù)集上進(jìn)行了測試。其中，SEER 10B 不僅在 ImageNet 上取得了高達(dá) 85.8% 的準(zhǔn)確率（排名第一），與原先只有 10 億參數(shù)量的 SEER （84.2%）相比性能提升了 1.6%。
此外，SEER 10B 在性別、膚色、年齡等三個公平基準(zhǔn)上獲得了更出色的識別效果，明顯優(yōu)于監(jiān)督模型。
論文地址：https://arxiv.org/pdf/2202.08360.pdf
留意 Meta AI 的朋友不難發(fā)現(xiàn)：最近，Meta AI 首席科學(xué)家 Yann LeCun 與 Meta 創(chuàng)始人扎克伯格在公開發(fā)言中堅(jiān)持強(qiáng)調(diào)自監(jiān)督學(xué)習(xí)的優(yōu)越性。上周，LeCun還提到自監(jiān)督與世界模型，將 AI 最終能學(xué)會像人類一樣學(xué)習(xí)與推理的希望寄托在這兩個方法上。
所謂“自監(jiān)督學(xué)習(xí)”，就是 AI 系統(tǒng)可以直接從文本、圖像或其他類型的無標(biāo)記數(shù)據(jù)中直接學(xué)習(xí)，主要針對解決監(jiān)督學(xué)習(xí)所需的海量標(biāo)記數(shù)據(jù)問題，因?yàn)樵诂F(xiàn)實(shí)研究中，要獲取大量的標(biāo)記數(shù)據(jù)難度極高。
LeCun一直認(rèn)為，自監(jiān)督學(xué)習(xí)是構(gòu)建具有背景知識或“常識”的機(jī)器、以解決遠(yuǎn)遠(yuǎn)超出當(dāng)今 AI 任務(wù)的最有前景的方法之一。
但同時，也有讀者評價 Meta 倡導(dǎo)的自監(jiān)督本質(zhì)上不過是強(qiáng)化學(xué)習(xí)。不久前，“懟王”Jürgen Schmidhuber 也發(fā)表文章，稱“All You Need Is Supervised Learning”，重申監(jiān)督學(xué)習(xí)在突破 AI 瓶頸中扮演的重要角色。
勿論其他，那么，Meta AI 在自監(jiān)督學(xué)習(xí)上有哪些研究實(shí)踐？參數(shù)量翻了10倍的 SEER 模型又有哪些新花樣？一起來看看~
去年3月初，Meta AI（原 Facebook AI）發(fā)布了10億參數(shù)自監(jiān)督模型 SEER，曾在 AI 領(lǐng)域引起廣泛關(guān)注。
據(jù) Meta 介紹，這是他們在計(jì)算機(jī)視覺領(lǐng)域所取得的第一個基于自監(jiān)督學(xué)習(xí)方法的成果：它可以直接從互聯(lián)網(wǎng)的任一隨機(jī)圖像集合中學(xué)習(xí)，無需詳細(xì)的數(shù)據(jù)管理和標(biāo)記，隨后直接輸出圖像嵌入。
經(jīng)過一年的提升，如今 Meta 的研究團(tuán)隊(duì)將 SEER 的參數(shù)量擴(kuò)大了10倍，在原有的基礎(chǔ)上取得了更出色的性能表現(xiàn)：
除了可以在無標(biāo)記數(shù)據(jù)上直接學(xué)習(xí)，SEER 還可以提取更高質(zhì)量的視覺特征，以及發(fā)現(xiàn)現(xiàn)實(shí)世界大規(guī)模圖像數(shù)據(jù)集中的顯著信息，方式與人類分析所觀察事物之間的關(guān)系的方式來了解世界般相似。
注意：這些數(shù)據(jù)集的覆蓋范圍是全球數(shù)萬億張隨機(jī)、未經(jīng)處理的圖像。
據(jù)悉，擴(kuò)大了10倍密集參數(shù)后的 SEER 是當(dāng)前規(guī)模最大的密集計(jì)算機(jī)視覺模型。
他們在 50 多個基準(zhǔn)上檢驗(yàn)了 SEER 模型的性能，包括公平性、魯棒性、細(xì)粒度識別，還在醫(yī)學(xué)成像、衛(wèi)星圖像和光學(xué)字符識別 (OCR) 等領(lǐng)域的多個圖像分類數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。
不難想象，參數(shù)量翻倍后的 SEER 10B模型在一些挑戰(zhàn)性較高的任務(wù)上也取得了更優(yōu)秀的表現(xiàn)。
首先，100億 SEER 在 ImageNet 上獲得了高達(dá) 85.8% 的準(zhǔn)確率，排名第一！
除了在標(biāo)準(zhǔn)計(jì)算機(jī)視覺基準(zhǔn)上的優(yōu)秀表現(xiàn)外，SEER還擅長處理高難度任務(wù)，并提高了對域外泛化的魯棒性。
例如，它可以正確識別素描圖和藝術(shù)畫中的動物，還可以搞定常見的圖像問題，例如掩裝、模糊、遮擋、運(yùn)動和怪異視角拍攝等。
SEER 10B 模型還能夠捕獲大量隨機(jī)的、未經(jīng)過濾的互聯(lián)網(wǎng)圖像中存在的顯著信息，甚至跨越不同的地理和語言概念。
例如，即使該模型僅在沒有位置信息或其他元數(shù)據(jù)的圖像上進(jìn)行訓(xùn)練，它也能夠?qū)⑷蚨喾N語言的相同概念組合在一起。例如，將來自世界各地的“婚禮”概念嵌入到模型的特征空間中。
除了性能的突破，Meta AI 還稱：SEER 10B 模型能取得更公平的效果。
他們使用 Meta 新開源的 Casual Conversations 數(shù)據(jù)集以及他們最近為CV模型提出的新公平基準(zhǔn)對 SEER 進(jìn)行測試，發(fā)現(xiàn)與較小的 SEER 模型以及 ImageNet 訓(xùn)練的監(jiān)督和自監(jiān)督模型相比，SEER 10B 模型能更準(zhǔn)確地識別這些社會成員屬性，適用于不同性別、膚色和年齡的人。
圖注：該圖使用 Casual Conversations 數(shù)據(jù)集顯示了性別檢索的準(zhǔn)確性
此外，他們使用 Casual Conversations 數(shù)據(jù)集評估了模型標(biāo)簽的錯誤率，例如在給定特定的人像中預(yù)測“非人類”或“犯罪”等標(biāo)簽。研究表明，SEER 10B 問題不大，但在 ImageNet 上訓(xùn)練的監(jiān)督模型卻產(chǎn)生了大量的錯誤關(guān)聯(lián)。
圖注：該圖顯示了 SEER 模型對不同人群的關(guān)聯(lián)預(yù)測錯誤率
SEER 10B模型還不僅適用于歐美國家的圖像示例，還適用于全球各地收入水平中下的地區(qū)，以前所未有的精度對圖像進(jìn)行地理定位。
通過在 Gapminder 的 Dollar Street 數(shù)據(jù)集（該數(shù)據(jù)集收集了世界各地家庭中的物體圖像及家庭收入信息）上實(shí)驗(yàn)，他們還發(fā)現(xiàn)，SEER 10B模型對識別全球中低收入家庭與非西方地區(qū)家庭的性能有了大幅提升，且明顯優(yōu)于10億參數(shù)的 SEER 與其他監(jiān)督方法。
圖注：在 Meta AI 于 2020 年創(chuàng)建的數(shù)據(jù)集 Hateful Memes 上檢測多模態(tài)（圖像 + 文本）仇恨言論時，SEER 10B 的表現(xiàn)也優(yōu)于受監(jiān)督的 ImageNet 訓(xùn)練模型 2 個百分點(diǎn)。
Meta AI 的研究團(tuán)隊(duì)表示，秉著“負(fù)責(zé)任地開發(fā) AI 系統(tǒng)”的原則，他們還對 SEER 10B模型進(jìn)行了對抗性攻擊，以保護(hù)訓(xùn)練數(shù)據(jù)的隱私安全。
他們在 Meta 的開源工具 Privacy Linter 上進(jìn)行了測試，發(fā)現(xiàn)攻擊的準(zhǔn)確度（50.02%）僅略高于完全隨機(jī)猜測，而隨機(jī)攻擊的準(zhǔn)確度對于相同大小的訓(xùn)練集，準(zhǔn)確度為 50%。
此外，他們計(jì)算了不同召回級別的精度，以確保沒有訓(xùn)練圖像在低召回級別中暴露——這種情況可能發(fā)生在所有得分最高的樣本都屬于訓(xùn)練集時；同時，精度低于 50.15% 適用于所有級別的召回（包括最低級別）。
圖注：由于 SEER 不依賴于標(biāo)記數(shù)據(jù)集，所以它能夠在一組比 ImageNet 的地理多樣性更優(yōu)的示例上訓(xùn)練模型
為了測試模型在對抗性攻擊中的魯棒性，他們將模型用于識別模糊、插入、已被裁剪或經(jīng)過其他編輯的扭曲圖像。其中，SEER 10B在 CopyDays 基準(zhǔn)測試中實(shí)現(xiàn)了 90.6% 的平均精度，提高了 5.1%，超越了之前的最佳結(jié)果。
此外，SEER 在域外魯棒性基準(zhǔn)上優(yōu)于在 ImageNet 上訓(xùn)練的最先進(jìn)的自監(jiān)督模型，并且隨著規(guī)模的增大，魯棒性也不斷提高。
目前，SEER 10B 的模型權(quán)重、實(shí)現(xiàn)細(xì)節(jié)與技術(shù)文檔都已開放：
項(xiàng)目地址：https://github.com/facebookresearch/vissl/blob/main/projects/SEER/README.md#pretrained-models-weights
自監(jiān)督學(xué)習(xí)是 Meta AI 首席科學(xué)家 Yann LeCun 近年來一直力推的研究方向。早在2018年Lecun就表示，人工智能的下一個發(fā)展方向可能是放棄深度學(xué)習(xí)的所有概率技巧，轉(zhuǎn)而掌握一系列轉(zhuǎn)移能量值的方法。與“常規(guī)”的深度學(xué)習(xí)標(biāo)記訓(xùn)練方法相比，這一方式無需創(chuàng)建大量帶標(biāo)簽的數(shù)據(jù)集，其基本設(shè)想是通過獲取一些豐富的原始數(shù)據(jù)（如大量Facebook Live視頻或Instagram照片）并“喂”給機(jī)器進(jìn)行訓(xùn)練，訓(xùn)練的目標(biāo)是達(dá)到能量值越小越好（即預(yù)測更為準(zhǔn)確，與現(xiàn)實(shí)之間實(shí)現(xiàn)更好的兼容性）。
Lecun 2018年在UCSB做的“Self-Supervised Learning”演講Slide
基于能量的學(xué)習(xí)早就有之。在AI研究中，“能量函數(shù)”是一個上世紀(jì)80年代一度流行的“上古”概念，由美國生物物理學(xué)家霍普菲爾德（John Hopfield）發(fā)明的“霍普菲爾德神經(jīng)網(wǎng)絡(luò)”（HNN）引入并普及。Lecun認(rèn)為，監(jiān)督學(xué)習(xí)無法獲得像人類一樣可以泛化的智能，當(dāng) AI 系統(tǒng)不再需要監(jiān)督學(xué)習(xí)時，下一次 AI 革命就會到來，而基于能量的學(xué)習(xí)正是“減少監(jiān)督”的有效實(shí)現(xiàn)方式。
Lecun的這一思路，在他上周接受 IEEE Spectrum 的訪談中也可見一斑。他認(rèn)為AI想要突破現(xiàn)在的瓶頸，必須讓機(jī)器學(xué)習(xí)世界模型，從而能夠填補(bǔ)缺失的信息，預(yù)測將要發(fā)生的事情，并預(yù)測行動的影響。這種學(xué)習(xí)范式與預(yù)測架構(gòu)的不同，或許也是不久前Lecun對OpenAI創(chuàng)始人Ilya Sutskever提出的“大型神經(jīng)網(wǎng)絡(luò)可能有意識”堅(jiān)決說不的原因。
在Lecun的力推下，META圍繞自監(jiān)督模型取得了一系列的研究成果（例如最近推出的多模態(tài)自監(jiān)督學(xué)習(xí)新架構(gòu)deta2vec等）。這種通過自監(jiān)督學(xué)習(xí)“觀察世界并學(xué)習(xí)”、最終實(shí)現(xiàn)像人類一樣泛化的智能的學(xué)習(xí)方式，一方面可以最大程度利用META豐富的數(shù)據(jù)資源，同時也是META搶先打造元宇宙世界、加速數(shù)字世界與現(xiàn)實(shí)世界融合的重要技術(shù)手段。
Meta AI Research 團(tuán)隊(duì)也表示，計(jì)算機(jī)視覺的發(fā)展是構(gòu)建元宇宙的重要步驟，而自監(jiān)督視覺模型 SEER 的增強(qiáng)無疑為元宇宙的更上一層樓作了鋪墊。
舉例來說，如果要打造一幅能夠幫你導(dǎo)航尋找鑰匙或教你如何做飯的 AR 眼鏡，那么就需要機(jī)器能夠像人類一樣理解視覺世界。這些機(jī)器不單單要能在堪薩斯州和日本京都的廚房中工作，還要在吉隆坡、北京、紐約等等世界各地的廚房中工作，這就需要機(jī)器能識別常見物體的多種模樣。而 SEER 10B 在多種不同數(shù)據(jù)集中的強(qiáng)大性能為實(shí)現(xiàn)突破提供了可能。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
