0
| 本文作者： 我在思考中 | 2022-05-05 11:38 |
作者 | ?；w
人工智能目前最大的“攔路虎”是不可信賴性，以深度學(xué)習(xí)為基礎(chǔ)的算法，在實(shí)驗(yàn)室環(huán)境下可以達(dá)到甚至超過人類的水平，但在很多實(shí)際應(yīng)用場景下的性能無法保證，而且存在對抗魯棒性、解釋性、公平性等問題。
4月8日，在AI TIME青年科學(xué)家——AI 2000學(xué)者專場論壇上，北京交通大學(xué)計(jì)算機(jī)科學(xué)系教授、系主任?；w在報(bào)告《“超”人的機(jī)器學(xué)習(xí)：非語義特征的得與失》中，從兩類虛假相關(guān)性角度解釋了這種現(xiàn)象：
機(jī)器學(xué)習(xí)其實(shí)不管是目標(biāo)，還是學(xué)習(xí)方式，都是類人的，是對人的知識蒸餾。這種知識蒸餾會出現(xiàn)兩種情況：學(xué)的不夠好，稱為虛假相關(guān)性-1（欠蒸餾）；學(xué)的太好了，稱之為虛假相關(guān)性-2（過蒸餾）。
欠蒸餾，因?yàn)閿?shù)據(jù)不完備，模型只學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)的局部相關(guān)性，會存在分布外泛化和公平性等問題；過蒸餾是機(jī)器學(xué)習(xí)到了人難以感知/理解的模式，影響到了模型的對抗魯棒性和解釋性。
此外，桑教授還提出了將虛假相關(guān)性統(tǒng)一，探索非語義特征的學(xué)習(xí)和利用。以下是演講全文，AI科技評論做了不改變原意的整理：
今天分享多媒體分析特別是計(jì)算機(jī)視覺中非語義特征的現(xiàn)象，分為三個部分：得、失和失而復(fù)得。報(bào)告內(nèi)容受了很多工作的啟發(fā)，其中有一些是我不成熟的思考，希望能和大家交流討論。
回顧人工智能和機(jī)器學(xué)習(xí)的發(fā)展史，在圍繞和人類經(jīng)典任務(wù)PK的過程中，AI已經(jīng)超越了人類的表現(xiàn)。從1997年國際象棋深藍(lán)”以3.5:2.5戰(zhàn)勝人類國際象棋世界冠軍卡斯帕羅夫，到2021年AlphaFold蛋白質(zhì)結(jié)構(gòu)預(yù)測超過人類，都在表明，AI已經(jīng)可以模擬分析、推理、決策等人類重要能力。
但在“超人”的能力之外，也體現(xiàn)了AI在對抗攻擊下的脆弱性。上圖第二張圖片，人類加了一些噪聲之后，同樣一個網(wǎng)絡(luò)卻給出了兩種截然不同的答案：elephant與koala。
不僅是圖像分類，對于對抗攻擊下的決策、表示，AI也非常脆弱。例如，通過加入一些對抗噪聲，以上圖片經(jīng)過神經(jīng)網(wǎng)絡(luò)能得到完全一致的特征表示，也就是人視覺不同、對抗攻擊后表示完全相同。目前，對抗攻擊有很多作惡的地方，例如無人駕駛中攻擊路標(biāo)識別；刷卡機(jī)中攻擊人臉識別。
回顧對抗樣本的發(fā)展，在2014年，Szegedy首次提出對抗樣本問題的10年前，2003年就有欺騙算法，也叫敵手模型，攻擊垃圾郵件檢測器。2014年提出的深度學(xué)習(xí)對抗樣本，重要的特點(diǎn)是其強(qiáng)調(diào)“人類察覺不到擾動”。此后，對抗樣本研究發(fā)展，呈現(xiàn)“貓鼠游戲”的狀態(tài)，沒有絕對成功的攻擊，也沒有絕對的防御。
2017年有兩個工作值得一提，對抗樣本實(shí)體化，在各個視角欺騙神經(jīng)網(wǎng)絡(luò)的現(xiàn)實(shí)世界3D物體；通用對抗噪聲UAP，對于不同的樣本添加通用的噪聲，都可以讓模型出錯。
2019年MIT Madry團(tuán)隊(duì)的工作給了我們很大啟發(fā)：對抗噪聲本質(zhì)是模型特征，對抗樣本的分類器可以泛化到攻擊類測試樣本。具體而言，Madry通過兩個實(shí)驗(yàn)得出兩個結(jié)論：
1.對抗噪聲可以作為目標(biāo)類特征。如上圖，是一張干凈的小狗圖片，通過加入“代表貓（特征）”的對抗噪聲，讓AI將其識別成貓。基于這些對抗攻擊污染后的對抗樣本訓(xùn)練的貓分類器在識別干凈貓圖像的任務(wù)中，卻有不錯的泛化。這就是利用對抗噪聲訓(xùn)練的目標(biāo)類分類器可以較好地泛化于真實(shí)的目標(biāo)類樣本。
2.非魯棒特征對模型泛化性有貢獻(xiàn)。把圖像分成兩類特征，一類是人可以理解，稱為魯棒特征，另一類是噪聲，稱為非魯棒特征。當(dāng)把圖像非魯棒特征去掉時，只利用這一部分特征去進(jìn)行訓(xùn)練時候，會發(fā)現(xiàn)模型在樣本上的準(zhǔn)確性、泛化性是下降的。因此，可以得出結(jié)論非魯棒特征對模型泛化性有貢獻(xiàn)，有些信息人類不易理解但可以輔助模型推斷。
除了對抗噪聲能夠體現(xiàn)人與AI算法的不同，是否關(guān)注物體的形狀和紋理也是區(qū)別之一。如上圖，在處理一個8*8拼圖的圖片時，人類很難識別出物體本來的面目；如果是4*4，我們勉強(qiáng)能看出邊緣。因此，人在判斷物體的時候，其實(shí)是需要借助形狀信息。但是對于CNN模型，當(dāng)形狀信息缺失的時候，完全可以根據(jù)紋理進(jìn)行準(zhǔn)確的判斷。
同時，該現(xiàn)象在頻域里也有表現(xiàn)。如上圖，高頻重建的圖像人眼幾乎無法識別，模型卻能準(zhǔn)確預(yù)測類別。這篇論文中指出：數(shù)據(jù)包含兩類信息，一類是語義信息，一類是以高頻為代表的非語義信息。
在這兩類信息里，人只能利用語義信息進(jìn)行判斷，模型同時可以利用這兩部分信息。這篇論文和Madry團(tuán)隊(duì)論文中的觀點(diǎn)引發(fā)了激烈的討論：這部分信息是過擬合的噪聲，還是真實(shí)任務(wù)的特征？我更傾向于后者，下面提供幾個證據(jù)。
1.對抗樣本的遷移性，其實(shí)就說明了非語義特征可以跨模型、跨數(shù)據(jù)集。換句話說，它不是針對模型和數(shù)據(jù)集過擬合的。
2.非哺乳動物的四色視覺，也表明一種視覺的信息對于某些物種，可能是不可見、不可感知的，但是對于其他物種是可感知的，而且是非常重要的。例如紫外光譜人不可感知，但鳥類可以看見，其中包含了鳥類求偶的真實(shí)特征。
3.AlphaFold：蛋白質(zhì)折疊中的非語義特征。學(xué)者發(fā)現(xiàn)，折疊配置依賴于分布于整個多肽鏈的交互指紋，而交互指紋由于其全局分布性，結(jié)構(gòu)非常復(fù)雜，人難以用規(guī)則進(jìn)行定義。但其對于預(yù)測是有效的。因此，交互指紋這種非語義特征，顯然對于蛋白質(zhì)折疊的任務(wù)是有益的。
以上這些非語義特征的存在，也是當(dāng)前很多機(jī)器學(xué)習(xí)任務(wù)超過人類的一個原因。
從另外角度看，這種非語義特征有哪些問題？從一種假設(shè)說起：“把機(jī)器學(xué)習(xí)看成對人的知識蒸餾”。這一假設(shè)可以用監(jiān)督學(xué)習(xí)進(jìn)行理解，監(jiān)督學(xué)習(xí)要求“人去打標(biāo)簽”，然后模型會基于標(biāo)簽去學(xué)習(xí)從樣本到標(biāo)簽的映射。在無監(jiān)督和自監(jiān)督任務(wù)中，其實(shí)也是人為去設(shè)定目標(biāo)和學(xué)習(xí)機(jī)制。換句話說，機(jī)器學(xué)習(xí)其實(shí)不管是目標(biāo)，還是學(xué)習(xí)方式，都是類人的，是對人的知識蒸餾。
但這種知識蒸餾有時會出現(xiàn)兩種情況：學(xué)的不夠好，稱為虛假相關(guān)性-1（欠蒸餾）；學(xué)的太好了，稱之為虛假相關(guān)性-2（過蒸餾）。
其中，虛假的相關(guān)性是指統(tǒng)計(jì)機(jī)器學(xué)習(xí)基于訓(xùn)練數(shù)據(jù)中存在的相關(guān)性學(xué)習(xí)特征構(gòu)建模型，其中某些相關(guān)性特征在系統(tǒng)和人使用過程中會出現(xiàn)錯誤。
這種欠蒸餾可以從機(jī)器學(xué)習(xí)過擬合的角度理解，因?yàn)閿?shù)據(jù)不完備，模型學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)的局部相關(guān)性。這會導(dǎo)致分布外泛化問題，訓(xùn)練集和測試集來自不同分布時，測試性能大幅下降，“聰明的漢斯”、“坦克都市傳奇”都是分布外泛化的例子。
2017年，ICLR一篇最佳論文提出隨機(jī)標(biāo)簽現(xiàn)象也可理解為欠蒸餾的體現(xiàn)，即隨機(jī)打亂訓(xùn)練集樣本標(biāo)簽，泛化gap隨隨機(jī)標(biāo)簽比例上升而增加，導(dǎo)致測試性能下降。這反映了深度網(wǎng)絡(luò)甚至可以記憶訓(xùn)練集中的噪聲信息，但這種噪聲不是任務(wù)的本質(zhì)特征，無法保證泛化性能。
總結(jié)一下，欠蒸餾會導(dǎo)致模型學(xué)習(xí)到一些任務(wù)無關(guān)特征，即訓(xùn)練集強(qiáng)關(guān)聯(lián)，但測試集無法泛化。我們嘗試對任務(wù)無關(guān)特征給出更為嚴(yán)謹(jǐn)?shù)亩x，并分析它的性質(zhì)。如上圖，從數(shù)據(jù)生成的角度，從標(biāo)簽Y到樣本X的生成過程中間引入一個變量G。G分成兩部分，一部分是和任務(wù)相關(guān)的生成變量，也就是說當(dāng)變量改變的時候，整個任務(wù)都會改變；另一部分是，它不會影響Y的分布，但是會影響x的呈現(xiàn)，例如對于生成“狗”的任務(wù)里面，模型會關(guān)注狗的位置，尺寸、光照等和任務(wù)無關(guān)的變量。這其實(shí)是對IID的放松，更符合數(shù)據(jù)集的實(shí)際分布情況。
任務(wù)無關(guān)特征除了有泛化性問題，在因果框架中，還可以看做混淆變量，同時如果這種特征帶有社會屬性，還可以看做偏見變量，會導(dǎo)致公平性問題。
前面提到過蒸餾是機(jī)器學(xué)習(xí)到了人難以感知/理解的模式，我們將其定義為非語義特征。簡單來說，這種非語義特征是模型可利用的、人類難以理解的信息。值得指出的是，目前對于非語義特征尚沒有統(tǒng)一的認(rèn)識，我們正嘗試結(jié)合人類視覺感知特點(diǎn)和信息理論建立一個嚴(yán)謹(jǐn)?shù)?、可以量化的定義。目前可以借助非語義特征的兩種表現(xiàn)形式來理解：從內(nèi)容結(jié)構(gòu)角度可稱為弱結(jié)構(gòu)化特征，比如高頻、小奇異值對應(yīng)的信息都是人難以感知的；從模型知識角度即對應(yīng)了Madry論文中提到的非魯棒特征，可大致理解為攻擊模型產(chǎn)生的對抗噪聲。
上圖（左）是在亞馬遜眾包平臺上請工人對字符驗(yàn)證碼進(jìn)行識別的例子。我們在里面加入了8種程度的對抗噪聲，可以看出人類和OCR識別算法的變化：最高尺度的噪聲對人類沒有變化，但由于擾動了非語義信息，算法性能會下降很快。
上圖（右） 是加入高斯白噪聲的情況?？梢钥吹?，人和算法雖然隨著噪聲程度的增加都有下降，但是人受影響會更大。原因可能是，當(dāng)白噪聲的等級增加，人類所主要依賴的語義信息就被遮蓋掉了，但是模型可以同時挖掘非語義信息進(jìn)行輔助判斷。
過蒸餾，其實(shí)還影響到了模型的解釋性，有研究發(fā)現(xiàn)，對抗魯棒模型可能依賴語義特征進(jìn)行推斷，因此具有更好的梯度解釋性。
這兩種虛假相關(guān)性擴(kuò)展到可賴機(jī)器學(xué)習(xí)有哪些啟示？可信賴機(jī)器學(xué)習(xí)大概對應(yīng)了可信計(jì)算的應(yīng)用層。它有兩個核心的概念：按照預(yù)期的目標(biāo)執(zhí)行，按照預(yù)期的方式執(zhí)行。按照預(yù)期的目標(biāo)要求任務(wù)理解準(zhǔn)確，但只通過訓(xùn)練數(shù)據(jù)描述的任務(wù)往往不夠全面、準(zhǔn)確；以預(yù)期的方式執(zhí)行，要求執(zhí)行準(zhǔn)確，即推斷過程可理解、推斷結(jié)果可預(yù)測。
如上圖，上述兩個目標(biāo)和兩類虛假相關(guān)性有一個大致的對應(yīng)關(guān)系?；趦深愄摷傧嚓P(guān)性可以將視覺信息劃分為四個象限，而可信賴機(jī)器學(xué)習(xí)希望模型只利用第一象限的信息：即任務(wù)相關(guān)的語義特征。
我們提出一個可信賴機(jī)器學(xué)習(xí)框架，以最終讓模型依賴任務(wù)相關(guān)的語義特征。有三步，第一步是傳統(tǒng)的訓(xùn)練器，目的是在測試數(shù)據(jù)可以泛化，學(xué)到任務(wù)相關(guān)的特征，這部分特征可以滿足不需要和人進(jìn)行交互的系統(tǒng)應(yīng)用場景。第二部分是解釋器，目標(biāo)是人可以理解，從任務(wù)相關(guān)特征進(jìn)一步提取出面向語義的特征，可以同時滿足和人的交互；第三部分是算法測試，目標(biāo)是評估真實(shí)性能+診斷發(fā)現(xiàn)bug。我們注意到，把機(jī)器學(xué)習(xí)當(dāng)成軟件系統(tǒng)的話，其實(shí)缺少了軟件工程里成熟的測試和調(diào)試的模塊，引入測試模塊，能進(jìn)一步針對性地發(fā)現(xiàn)模型中利用的兩類虛假相關(guān)特征，與訓(xùn)練器和解釋器形成閉環(huán)，通過測試-調(diào)試共同保證機(jī)器學(xué)習(xí)算法從實(shí)驗(yàn)室級向工業(yè)級的可信賴應(yīng)用。在這一框架下，我們對應(yīng)在三個階段探索了一些基礎(chǔ)問題，并圍繞視覺識別、多模態(tài)預(yù)訓(xùn)練、用戶建模等應(yīng)用場景開展了一些研究工作，這些工作我們整理成開源代碼包供調(diào)用，并會集成到一個統(tǒng)一測試-診斷-調(diào)試平臺上，將作為工具發(fā)布，以供對可信賴性有需求的算法設(shè)計(jì)、開發(fā)和使用人員使用。
根據(jù)以上的討論，圍繞非語義特征，實(shí)際存在兩個矛盾。一是“棄之可惜，用之不可信”。非語義特征丟掉很可惜，但拿來用又有風(fēng)險(xiǎn)。有用之處在于：模型可以利用非語義特征輔助推斷，完全移除非語義特征使模型泛化性下降。風(fēng)險(xiǎn)在于：使用非語義特征的模型存在對抗魯棒性、解釋性等機(jī)器學(xué)習(xí)的可信賴問題。
第二個矛盾是：機(jī)器學(xué)習(xí)能力“超”人 ，但學(xué)習(xí)目標(biāo)和方式“類”人。非語義特征包含了人類難以感知、機(jī)器可以利用的信息，而學(xué)習(xí)目標(biāo)和方式是類人，比如深度神經(jīng)網(wǎng)絡(luò)受人類視覺系統(tǒng)啟發(fā)，包括層次化網(wǎng)絡(luò)結(jié)構(gòu)、感受野逐層增加、簡單細(xì)胞、復(fù)雜細(xì)胞等。
圍繞“棄之可惜，用之不可信”矛盾，以泛化性和對抗魯棒性為例，它背后代表的是兩類虛假相關(guān)性之間的矛盾：泛化性的提高很大程度上來自非語義特征的利用，而在目前訓(xùn)練范式下，限制非語義特征會影響泛化性。
有沒有可能將兩類虛假相關(guān)性進(jìn)行統(tǒng)一？我們提出一個假設(shè)，對抗魯棒性問題不是因?yàn)槟Ｐ屠昧朔钦Z義特征，而是因?yàn)闆]有很好地利用非語義特征，非語義特征在提供有限泛化性貢獻(xiàn)的同時，增加了被對抗攻擊的風(fēng)險(xiǎn)。
我們也從頻域入手，暫且將高頻信息大致對應(yīng)非語義特征。如上圖，相比中低頻，特征提取后，高頻分量的類間距比較小，對最終分類的貢獻(xiàn)也就比較弱。而實(shí)際上，在特征提取前，原始圖像的高頻分量中存在著相當(dāng)?shù)念惻袆e信息。如下圖，原始圖像不同頻率的HOG特征分布情況，右邊是高頻，左邊是中低頻。
經(jīng)過特征提取之后，可以明顯看出：高頻信息被抑制了，而中低頻經(jīng)過特征提取得到了增強(qiáng)。這告訴我們，高頻信息對于模型泛化性的貢獻(xiàn)是有限的。
但是和對抗魯棒性有很強(qiáng)的關(guān)聯(lián)性。如上圖中間是無目標(biāo)對抗攻擊過程的動圖，可以看出對抗攻擊有一個階段明顯沿高頻分量的分布方向移動，換句話說，高頻分量很可能引導(dǎo)了對抗攻擊在特征空間的行為。
這里我們有一個初步的假設(shè)，對抗攻擊過程可能分為兩個階段：第一階段，它會尋找正交于數(shù)據(jù)流形的決策邊界，并跨過類決策邊界；在第二個階段對抗攻擊繼續(xù)向目標(biāo)類中心集中。我們最近發(fā)現(xiàn)這個假設(shè)和兩個階段互信息的變化有很強(qiáng)的一致性，后續(xù)有進(jìn)一步的結(jié)果，我們會專門進(jìn)行介紹。從這個角度來看，高頻信息代表的非語義特征，在模型訓(xùn)練過程中并沒有得到重視，非語義特征不是天然容易被攻擊，只是它沒有被學(xué)習(xí)得很好，導(dǎo)致了對抗攻擊有機(jī)可乘。
圍繞“能力超人，學(xué)習(xí)類人”矛盾，對于非語義特征的學(xué)習(xí)和提取，可能要區(qū)別對待單獨(dú)設(shè)計(jì)。這里以受人類視覺處理系統(tǒng)的層次化網(wǎng)絡(luò)設(shè)計(jì)為例。今天的CNN設(shè)計(jì)，嘗試借鑒逐層的網(wǎng)絡(luò)結(jié)構(gòu)，包括感受野逐層變化。如上圖可視化的呈現(xiàn)，相比中低頻特征，高頻特征逐層差異小、感受野相對固定幾乎是全局的。我們初步的實(shí)驗(yàn)發(fā)現(xiàn)，淺層、大卷積核更有利于高頻特征學(xué)習(xí)。
最后，人類為什么會聚焦語義信息，而忽略非語義信息？我們“猜測”是進(jìn)化的低成本目標(biāo)所致。一個是學(xué)習(xí)代價(jià)?。喝祟惖膶W(xué)習(xí)首先通過群體大數(shù)據(jù)積累形成結(jié)構(gòu)先驗(yàn)，然后個體小樣本遷移，從而能夠舉一反三。上圖的實(shí)驗(yàn)中我們發(fā)現(xiàn)高頻特征的學(xué)習(xí)需要消耗較多的樣本，在典型的小樣本學(xué)習(xí)設(shè)置下，模型無法實(shí)現(xiàn)良好擬合。另一個是推斷代價(jià)?。和瓿梢粋€任務(wù)所需要調(diào)用的神經(jīng)元盡可能少，然而我們發(fā)現(xiàn)高頻神經(jīng)元總激活消耗大且不同高頻神經(jīng)元激活的差異大造成利用率低。高頻特征處理的這些特點(diǎn)都和生物神經(jīng)系統(tǒng)的低成本進(jìn)化方向是相違背的。
我們知道AlphaGo的能量消耗相當(dāng)于一個人的5萬倍，如果我們拋開對于低成本的約束，對于非語義特征的學(xué)習(xí)和提取似乎也應(yīng)該突破“類人”的約束。這啟發(fā)我們根據(jù)所處理信息的特點(diǎn)，重新設(shè)計(jì)模型結(jié)構(gòu)；參考其他生物神經(jīng)系統(tǒng)，啟發(fā)設(shè)計(jì)模型結(jié)構(gòu)等。如果我們認(rèn)可非語義特征的存在，機(jī)器學(xué)習(xí)關(guān)于數(shù)據(jù)集、模型結(jié)構(gòu)、損失函數(shù)、優(yōu)化方法等的先驗(yàn)假設(shè)是否都存在著新的理解和可能？同時，如何平衡類人和超人以避免非語義特征在現(xiàn)階段帶來的不可信賴風(fēng)險(xiǎn)？如果是需要人理解/交互的任務(wù)，我們希望是“類人”方式，定義好邊界；如果是需要新知識發(fā)現(xiàn)的任務(wù)，就可以允許“超人”，大膽探索人所不能。當(dāng)然，也有可能，對于非語義特征，只是目前不可理解，希望通過更多人投入相關(guān)研究，我們理解了背后的原理和機(jī)制后，不僅能可靠地利用這些信息設(shè)計(jì)機(jī)器學(xué)習(xí)算法和系統(tǒng)，更能拓展和提高我們自己的認(rèn)知。
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
