雷鋒網(wǎng) AI 科技評(píng)論按：對(duì)于機(jī)器學(xué)習(xí)而言，區(qū)分異常數(shù)據(jù)或有顯著差異數(shù)據(jù)至關(guān)重要。谷歌在 NeurIPS 2019 論文中提出并發(fā)布了針對(duì)基因組序列 OOD 檢測(cè)的現(xiàn)實(shí)基準(zhǔn)數(shù)據(jù)集，進(jìn)而提出一種基于似然比的解決方案，可顯著提高 OOD 檢測(cè)的準(zhǔn)確性。AI 科技評(píng)論將谷歌對(duì)該方法的官方解讀編譯如下。

深度學(xué)習(xí)科學(xué)家要成功部署機(jī)器學(xué)習(xí)系統(tǒng)，需要系統(tǒng)能夠區(qū)分出異常數(shù)據(jù)或與訓(xùn)練中使用的數(shù)據(jù)有顯著差異的數(shù)據(jù)。

由于深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器可能會(huì)將以高置信度將分布外（ODD）的輸入分類(lèi)到分布內(nèi)的類(lèi)別中，因此區(qū)分異常數(shù)據(jù)或有顯著差異數(shù)據(jù)是十分重要的。當(dāng)我們利用這些預(yù)測(cè)為現(xiàn)實(shí)決策提供依據(jù)時(shí)，異常數(shù)據(jù)檢測(cè)將尤為重要。

例如，將機(jī)器學(xué)習(xí)模型應(yīng)用于基于基因組序列的細(xì)菌檢測(cè)，就是一項(xiàng)具有挑戰(zhàn)性的現(xiàn)實(shí)應(yīng)用。細(xì)菌檢測(cè)對(duì)于敗血癥等傳染病的診斷和治療，以及食源性病原體的鑒定都非常關(guān)鍵。

近些年來(lái)，隨著新細(xì)菌種類(lèi)不斷被發(fā)現(xiàn)，雖然基于已知分類(lèi)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類(lèi)器通過(guò)交叉驗(yàn)證達(dá)到了很高的測(cè)量準(zhǔn)確性，但部署模型仍具有高的挑戰(zhàn)性，因?yàn)楝F(xiàn)實(shí)數(shù)據(jù)在不斷進(jìn)化發(fā)展，并且將不可避免地包含以往訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過(guò)的基因組（OOD 輸入）。  

圖1   近些年來(lái)，隨著新的細(xì)菌種類(lèi)逐漸地被發(fā)現(xiàn)。將已知的分類(lèi)數(shù)據(jù)輸入基于已知分類(lèi)數(shù)據(jù)訓(xùn)練的分類(lèi)器能夠達(dá)到很高的準(zhǔn)確性，這是因?yàn)檩斎氲姆诸?lèi)數(shù)據(jù)是已知的，但它可能將已知分類(lèi)數(shù)據(jù)中混合了未知分類(lèi)數(shù)據(jù)（如：ODD 數(shù)據(jù)）的輸入進(jìn)行錯(cuò)誤的分類(lèi)，并且具有很高的置信度。

在 NeurIPS 2019 發(fā)表的論文《分布外檢測(cè)的似然比》（Likelihood Ratios for Out-of-Distribution Detection）中，谷歌受到上述新細(xì)菌種類(lèi)檢測(cè)這類(lèi)現(xiàn)實(shí)問(wèn)題的啟發(fā)，提出并發(fā)布了針對(duì)基因組序列 OOD 檢測(cè)的現(xiàn)實(shí)基準(zhǔn)數(shù)據(jù)集。

• 論文地址：https://arxiv.org/abs/1906.02845

• 實(shí)現(xiàn)代碼 GitHub 地址：https://github.com/google-research/google-research/tree/master/genomics_ood

他們利用基于基因組序列的生成模型測(cè)試了 OOD 檢測(cè)的現(xiàn)有方法，發(fā)現(xiàn)似然值——即輸入來(lái)自使用分布不均數(shù)據(jù)進(jìn)行估算的分布數(shù)據(jù)的模型概率——通常是錯(cuò)誤的。在最近的圖像深度生成模型研究工作中，他們也觀察到了這種現(xiàn)象，并通過(guò)統(tǒng)計(jì)背景影響來(lái)解釋這種現(xiàn)象，進(jìn)而提出一種基于似然比的解決方案，可以顯著地提高 OOD 檢測(cè)的準(zhǔn)確性。

一、為什么密度模型無(wú)法應(yīng)用于 OOD 檢測(cè)？

為了模擬實(shí)際問(wèn)題并系統(tǒng)地評(píng)估不同的方法，他們建立了一個(gè)新的細(xì)菌數(shù)據(jù)集，使用的數(shù)據(jù)來(lái)自美國(guó)國(guó)家生物技術(shù)信息中心（NCBI ）對(duì)外開(kāi)放的原核生物目錄基因組序列數(shù)據(jù)。

為了模擬測(cè)序數(shù)據(jù)，他們將基因組片段化為當(dāng)前測(cè)序技術(shù)通常使用的 250 個(gè)短序列長(zhǎng)度的堿基對(duì)。然后，其將分布內(nèi)和分布外的數(shù)據(jù)按發(fā)現(xiàn)日期進(jìn)行分離，以便截止時(shí)間之前被發(fā)現(xiàn)的細(xì)菌種類(lèi)被定義在分布內(nèi)，在之后發(fā)現(xiàn)的被定義為分布外（OOD） 。

然后，他們基于分布內(nèi)的基因組序列訓(xùn)練深度生成模型，通過(guò)繪制似然值曲線，檢驗(yàn)?zāi)Ｐ捅鎰e輸入的分布內(nèi)和分布外數(shù)據(jù)的能力。 OOD 序列似然值的直方圖與分布內(nèi)序列似然值高度重合，則表明生成模型無(wú)法區(qū)分在兩個(gè)種類(lèi)之間進(jìn)行的 OOD 檢測(cè)結(jié)果。

在圖像深度生成模型的早期研究中（相關(guān)閱讀參考：https://arxiv.org/abs/1810.09136）也得到了類(lèi)似的結(jié)論。例如，利用 Fashion-MNIST 數(shù)據(jù)集（由衣服和鞋類(lèi)的圖像組成）訓(xùn)練 PixelCNN ++ 模型，比來(lái)自 MNIST 數(shù)據(jù)集（包括數(shù)字0-9的圖像）的 OOD 圖像分配了更高的似然值。

圖2   左：分布內(nèi)和分布外（OOD）基因組序列的似然值直方圖。 似然值未能分辨出分布內(nèi)和OOD基因組序列。 右：Fashion-MNIST 數(shù)據(jù)集訓(xùn)練模型、MNIST 數(shù)據(jù)集估計(jì)的似然值直方圖。 模型在OOD（MNIST）圖像上比在分布內(nèi)圖像分配了更高的似然值。

在研究這種失敗模型時(shí)，他們觀察到背景統(tǒng)計(jì)可能影響了似然值的計(jì)算。為了更直觀地理解該現(xiàn)象，假設(shè)輸入由兩個(gè)部分組成：（1）以背景統(tǒng)計(jì)為特征的背景成分，（2）以指定于分布內(nèi)數(shù)據(jù)專(zhuān)用的模式為特征的語(yǔ)義成分。

例如，可以將 MNIST 圖像建模為背景加語(yǔ)義。當(dāng)人類(lèi)解讀圖像時(shí)，可以輕松地忽略背景信息而主要關(guān)注語(yǔ)義信息，例如下圖中的“ /”標(biāo)記。但是當(dāng)為圖像中的所有像素計(jì)算似然值時(shí)，計(jì)算結(jié)果中同時(shí)包括了語(yǔ)義像素和背景像素。雖然他們只需使用語(yǔ)義的似然值進(jìn)行決策，但原始的似然值結(jié)果中可能大多數(shù)都是背景成分。

圖3   左上：Fashion-MNIST 的示例圖像。 左下：MNIST 的示例圖像。 右：MNIST 圖像中的背景和語(yǔ)義成分。

二、OOD 檢測(cè)的似然比

他們提出了一種去除背景影響并專(zhuān)注于語(yǔ)義成分的似然比方法。

首先，受遺傳突變的啟發(fā)，他們利用擾動(dòng)輸入方法訓(xùn)練背景模型，并通過(guò)隨機(jī)選擇輸入值的位置，將其替換為另一個(gè)具有相等概率的值。為了成像，他們從從256個(gè)可能的像素值中隨機(jī)選擇輸入值；針對(duì)DNA 序列，他們從四個(gè)可能的核苷酸（A，T，C或G）中選出輸入值。此過(guò)程中，適量的擾動(dòng)會(huì)破壞數(shù)據(jù)的語(yǔ)義結(jié)構(gòu)，導(dǎo)致只能捕獲到背景。

接著，他們計(jì)算完整模型與背景模型之間的似然比，去掉了背景成分，這樣就只保留了語(yǔ)義的似然值。似然比是背景對(duì)比得分，即它抓住了語(yǔ)義與背景對(duì)比的意義。

為了定性評(píng)估似然值與似然比之間的差異，他們繪制了在 Fashion-MNIST 數(shù)據(jù)集和 MNIST 數(shù)據(jù)集中每個(gè)像素的似然值和似然比值，創(chuàng)建了與圖像相同的尺寸的熱圖。

這使他們可以分別直觀地看到哪些像素對(duì)于這兩項(xiàng)值的貢獻(xiàn)最大。從對(duì)數(shù)似然熱圖中可以看到，對(duì)于似然值而言，背景像素比語(yǔ)義像素的貢獻(xiàn)更多。

事后看來(lái)這并不足為奇，這是由于背景像素主要由一連串零組成，因此很容易被模型學(xué)習(xí)。 

MNIST 和 Fashion-MNIST 熱圖之間的比較則說(shuō)明了為什么 MNIST 返回更高的似然值——僅僅是因?yàn)樗烁嗟谋尘跋袼兀∠喾?，似然比的結(jié)果更多地集中在語(yǔ)義像素上。

                       

圖4   左：Fashion-MNIST 和 MNIST 數(shù)據(jù)集的對(duì)數(shù)似然熱圖。 右：Fashion-MNIST 和 MNIST 數(shù)據(jù)集的似然比熱圖，具有更高值的像素會(huì)具有更淺的陰影。 似然值主要由“背景”像素決定，而似然比則集中在“語(yǔ)義”像素上，因此更適合用于 OOD 檢測(cè)。

這種似然比方法修正了背景影響。他們基于 Fashion-MNIST 訓(xùn)練 PixelCNN ++ 模型，然后在 MNIST 圖像數(shù)據(jù)集進(jìn)行 OOD 檢測(cè)，實(shí)驗(yàn)結(jié)果得到了顯著改善，AUROC 評(píng)分從 0.089 提高至 0.994 。 

當(dāng)他們將似然比方法應(yīng)用于基因組基準(zhǔn)數(shù)據(jù)集這一極具挑戰(zhàn)的問(wèn)題時(shí)，對(duì)比其它 12 種基線方法，該方法表現(xiàn)出了最佳性能。

不過(guò)他們也表示，盡管該似然比方法在基因組數(shù)據(jù)集上達(dá)到了最先進(jìn)的性能，但離將模型部署到實(shí)際應(yīng)用中的高準(zhǔn)確性要求仍存在一定距離。 他們鼓勵(lì)研究人員努力去解決這一重要問(wèn)題，并改善當(dāng)前的最新技術(shù)。雷鋒網(wǎng)雷鋒網(wǎng)

via https://ai.googleblog.com/2019/12/improving-out-of-distribution-detection.html

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。