日前，全球最負(fù)盛名的 AI 學(xué)術(shù)會(huì)議之一NeurIPS（Neural Information Processing Systems）公布了2022年論文接收結(jié)果。創(chuàng)新奇智投稿論文 《An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning》成功被NeurIPS 2022接收。

作為當(dāng)前全球最負(fù)盛名的 AI 學(xué)術(shù)會(huì)議之一，NeurIPS 是每年學(xué)界的重要事件。NeurIPS全稱(chēng)是 Neural Information Processing Systems，神經(jīng)信息處理系統(tǒng)大會(huì)，通常在每年 12 月由 NeurIPS 基金會(huì)主辦。大會(huì)討論的內(nèi)容包含深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、大規(guī)模機(jī)器學(xué)習(xí)、學(xué)習(xí)理論、優(yōu)化、稀疏理論等眾多細(xì)分領(lǐng)域。 今年 NeurIPS 已是第 36 屆，將于 11 月 28 日至 12 月 9 日舉行，為期兩周。第一周將在美國(guó)新奧爾良 Ernest N.Morial 會(huì)議中心舉行現(xiàn)場(chǎng)會(huì)議，第二周改為線上會(huì)議。NeurIPS 2022 論文投稿早已在 5 月 19 日截止，今日官方終于公布了錄用結(jié)果。根據(jù)官網(wǎng)郵件中給出的數(shù)據(jù)，本屆會(huì)議共有 10411 篇論文投稿，接收率為 25.6％，略低于去年的 26％。

論文解讀：

 

圖1：論文概要

論文概述：

本文提出了一種基于反標(biāo)簽學(xué)習(xí)的半監(jiān)督少樣本圖像分類(lèi)學(xué)習(xí)方法，包括以下步驟：構(gòu)造元任務(wù)，使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為特征提取器，提取元任務(wù)中支持集、查詢(xún)集以及無(wú)標(biāo)簽圖像數(shù)據(jù)集對(duì)應(yīng)的特征，并在支持集上訓(xùn)練一個(gè)分類(lèi)器用于后續(xù)分類(lèi)任務(wù)；反標(biāo)簽學(xué)習(xí)模塊以較高正確率給無(wú)標(biāo)簽數(shù)據(jù)打上反標(biāo)簽，分類(lèi)器在反標(biāo)簽上進(jìn)行學(xué)習(xí)更新，不斷迭代直到無(wú)法選出反標(biāo)簽。正標(biāo)簽學(xué)習(xí)模塊，在反標(biāo)簽?zāi)K迭代結(jié)束之后，得到類(lèi)別均衡且正確率較高正標(biāo)簽，并用分類(lèi)器進(jìn)行學(xué)習(xí)更新。

 本文通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取元任務(wù)中對(duì)應(yīng)數(shù)據(jù)的特征，通過(guò)反標(biāo)簽構(gòu)造模塊以較高正確率利用無(wú)標(biāo)簽數(shù)據(jù)，并用分類(lèi)器在反標(biāo)簽數(shù)據(jù)上進(jìn)行學(xué)習(xí)更新，進(jìn)行迭代之后設(shè)計(jì)正標(biāo)簽學(xué)習(xí)模塊獲得類(lèi)別均衡且正確率較高的正標(biāo)簽，用分類(lèi)器在正標(biāo)簽數(shù)據(jù)上進(jìn)行學(xué)習(xí)更新，以更加充分且高質(zhì)量的利用無(wú)標(biāo)簽數(shù)據(jù)，可以獲得更高的少樣本學(xué)習(xí)圖像分類(lèi)準(zhǔn)確率。

創(chuàng)新背景：

隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)圖像任務(wù)上已經(jīng)超過(guò)了人類(lèi)的水平，但是這些模型的訓(xùn)練依賴(lài)大量的數(shù)據(jù)，在現(xiàn)實(shí)生活中有些數(shù)據(jù)的采集難度較大，例如對(duì)液晶顯示屏幕所有種類(lèi)缺陷數(shù)據(jù)的采集，另外這些數(shù)據(jù)的標(biāo)注也需要耗費(fèi)大量的人力和財(cái)力。 相比之下，人類(lèi)視覺(jué)系統(tǒng)可以從少量的例子中快速學(xué)習(xí)到新的概念和特征，然后在新的數(shù)據(jù)中識(shí)別相似的對(duì)象。為了模仿人類(lèi)的這種快速學(xué)習(xí)的能力，減少方法對(duì)于數(shù)據(jù)的依賴(lài)，少樣本學(xué)習(xí)近年來(lái)受到了越來(lái)越多的關(guān)注。少樣本學(xué)習(xí)旨在結(jié)合先驗(yàn)知識(shí)快速地泛化到只包含少量有監(jiān)督信息的樣本的新任務(wù)中，在此設(shè)定下識(shí)別每個(gè)類(lèi)別僅需要極少甚至一張帶標(biāo)簽的樣本，所以可以極大地減少人工標(biāo)注成本。

基于少樣本學(xué)習(xí)這樣數(shù)據(jù)量較少的設(shè)定，一個(gè)需要面臨的問(wèn)題就是，在極少的帶標(biāo)注數(shù)據(jù)上，很難讓模型較好的擬合到數(shù)據(jù)的分布。因此為了解決這樣的問(wèn)題，少樣本學(xué)習(xí)中出現(xiàn)了結(jié)合半監(jiān)督的研究方向。另外為了解決數(shù)據(jù)標(biāo)注困難的問(wèn)題，反標(biāo)簽學(xué)習(xí)的方法也應(yīng)運(yùn)而生。反標(biāo)簽顧名思義就是給數(shù)據(jù)打上相反的標(biāo)簽，是一種間接的方式代表該數(shù)據(jù)不屬于某個(gè)類(lèi)別。這樣的做法可以大大降低數(shù)據(jù)標(biāo)注的錯(cuò)誤，例如對(duì)于一個(gè)5分類(lèi)問(wèn)題來(lái)說(shuō)，給數(shù)據(jù)打真實(shí)標(biāo)簽即正標(biāo)簽錯(cuò)誤的概率為給數(shù)據(jù)打反標(biāo)簽錯(cuò)誤概率的4倍。另外在半監(jiān)督少樣本學(xué)習(xí)當(dāng)中，由于帶標(biāo)簽數(shù)據(jù)很少，因此模型在初始階段很難有好的效果。用這樣的模型給無(wú)標(biāo)簽數(shù)據(jù)標(biāo)記偽標(biāo)簽將會(huì)出現(xiàn)大量的錯(cuò)誤以及類(lèi)別不平衡的現(xiàn)象。在這樣的情況結(jié)合反標(biāo)簽學(xué)習(xí)的方法就可以解決這樣的問(wèn)題。本發(fā)明研究的基于反標(biāo)簽學(xué)習(xí)的半監(jiān)督少樣本學(xué)習(xí)方法，針對(duì)半監(jiān)督少樣本學(xué)習(xí)，設(shè)計(jì)適合的反標(biāo)簽標(biāo)注方法，并結(jié)合反標(biāo)簽學(xué)習(xí)解決半監(jiān)督少樣本學(xué)習(xí)中出現(xiàn)的無(wú)標(biāo)簽數(shù)據(jù)利用不充分等問(wèn)題。

目前，出現(xiàn)了許多研究半監(jiān)督少樣本學(xué)習(xí)的方法，但依然存在一些問(wèn)題： 1）給無(wú)標(biāo)簽數(shù)據(jù)標(biāo)注偽標(biāo)簽的正確率較低，錯(cuò)誤標(biāo)記的樣本會(huì)影響最后的結(jié)果；2）無(wú)標(biāo)簽數(shù)據(jù)上標(biāo)注的偽標(biāo)簽存在類(lèi)別不平衡現(xiàn)象；3）方法較為復(fù)雜。

本論文主要貢獻(xiàn)：

本論文提出了一種基于反標(biāo)簽學(xué)習(xí)的半監(jiān)督少樣本圖像分類(lèi)學(xué)習(xí)方法。 方法具體如下：

步驟1，構(gòu)造元任務(wù)，使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為特征提取器用來(lái)提取圖像數(shù)據(jù)，提取元任務(wù)中支持集、查詢(xún)集以及無(wú)標(biāo)簽數(shù)據(jù)集對(duì)應(yīng)的特征，并在支持集上訓(xùn)練一個(gè)分類(lèi)器，用于后續(xù)圖像分類(lèi)任務(wù)；

 

步驟2，反標(biāo)簽學(xué)習(xí)模塊以較高的95%正確率給無(wú)標(biāo)簽圖像數(shù)據(jù)打上反標(biāo)簽，用分類(lèi)器在反標(biāo)簽上進(jìn)行學(xué)習(xí)更新，通過(guò)不斷迭代直到無(wú)法選出反標(biāo)簽；

步驟3，正標(biāo)簽學(xué)習(xí)模塊得到類(lèi)別均衡且正確率高達(dá)85%的正標(biāo)簽，并用分類(lèi)器進(jìn)行學(xué)習(xí)更新；

步驟4，用訓(xùn)練好的分類(lèi)器在查詢(xún)集上預(yù)測(cè)得到最后圖像分類(lèi)的類(lèi)別結(jié)果。

本文提出的方法與已有技術(shù)相比，其顯著優(yōu)點(diǎn)為：

（1）本發(fā)明設(shè)計(jì)的反標(biāo)簽學(xué)習(xí)模塊，通過(guò)給無(wú)標(biāo)簽圖像數(shù)據(jù)標(biāo)注反標(biāo)簽并進(jìn)行學(xué)習(xí)的方式，在模型效果還不好的初始階段，大大降低給無(wú)標(biāo)簽圖像數(shù)據(jù)標(biāo)注標(biāo)簽的錯(cuò)誤率；

（2）經(jīng)過(guò)反標(biāo)簽學(xué)習(xí)模塊之后，本發(fā)明設(shè)計(jì)的正標(biāo)簽學(xué)習(xí)模塊可以得到正確率高且類(lèi)別均衡的正標(biāo)簽，繼續(xù)對(duì)模型進(jìn)行訓(xùn)練；

（3）本發(fā)明提出的方法相較于之前的方法流程簡(jiǎn)單，可以更充分且高質(zhì)量利用無(wú)標(biāo)簽圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)，最后在圖像分類(lèi)任務(wù)上得到了更好的效果。

創(chuàng)新奇智CTO張發(fā)恩（論文作者之一）表示：“當(dāng)前的深度學(xué)習(xí)技術(shù)對(duì)人工標(biāo)注的數(shù)據(jù)樣本（也即帶標(biāo)簽數(shù)據(jù)樣本）數(shù)量具有很大依賴(lài)性，如何減少對(duì)帶標(biāo)簽數(shù)據(jù)樣本的依賴(lài)，利用較少的帶標(biāo)簽數(shù)據(jù)樣本訓(xùn)練出理想的視覺(jué)算法模型成為當(dāng)下亟待突破的技術(shù)難點(diǎn)。 少樣本學(xué)習(xí)旨在從已有類(lèi)別的數(shù)據(jù)中學(xué)習(xí)先驗(yàn)知識(shí)，然后利用極少的標(biāo)注數(shù)據(jù)完成對(duì)新類(lèi)別的識(shí)別，打破了樣本數(shù)據(jù)量的制約，在傳統(tǒng)制造業(yè)等樣本普遍缺失的領(lǐng)域具有實(shí)用價(jià)值，有助于推動(dòng)AI落地。”

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。