雷鋒網(wǎng) AI 科技評論按：對于機器學習而言，區(qū)分異常數(shù)據(jù)或有顯著差異數(shù)據(jù)至關(guān)重要。谷歌在 NeurIPS 2019 論文中提出并發(fā)布了針對基因組序列 OOD 檢測的現(xiàn)實基準數(shù)據(jù)集，進而提出一種基于似然比的解決方案，可顯著提高 OOD 檢測的準確性。AI 科技評論將谷歌對該方法的官方解讀編譯如下。

深度學習科學家要成功部署機器學習系統(tǒng)，需要系統(tǒng)能夠區(qū)分出異常數(shù)據(jù)或與訓(xùn)練中使用的數(shù)據(jù)有顯著差異的數(shù)據(jù)。

由于深度神經(jīng)網(wǎng)絡(luò)分類器可能會將以高置信度將分布外（ODD）的輸入分類到分布內(nèi)的類別中，因此區(qū)分異常數(shù)據(jù)或有顯著差異數(shù)據(jù)是十分重要的。當我們利用這些預(yù)測為現(xiàn)實決策提供依據(jù)時，異常數(shù)據(jù)檢測將尤為重要。

例如，將機器學習模型應(yīng)用于基于基因組序列的細菌檢測，就是一項具有挑戰(zhàn)性的現(xiàn)實應(yīng)用。細菌檢測對于敗血癥等傳染病的診斷和治療，以及食源性病原體的鑒定都非常關(guān)鍵。

近些年來，隨著新細菌種類不斷被發(fā)現(xiàn)，雖然基于已知分類訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器通過交叉驗證達到了很高的測量準確性，但部署模型仍具有高的挑戰(zhàn)性，因為現(xiàn)實數(shù)據(jù)在不斷進化發(fā)展，并且將不可避免地包含以往訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過的基因組（OOD 輸入）。  

圖1   近些年來，隨著新的細菌種類逐漸地被發(fā)現(xiàn)。將已知的分類數(shù)據(jù)輸入基于已知分類數(shù)據(jù)訓(xùn)練的分類器能夠達到很高的準確性，這是因為輸入的分類數(shù)據(jù)是已知的，但它可能將已知分類數(shù)據(jù)中混合了未知分類數(shù)據(jù)（如：ODD 數(shù)據(jù)）的輸入進行錯誤的分類，并且具有很高的置信度。

在 NeurIPS 2019 發(fā)表的論文《分布外檢測的似然比》（Likelihood Ratios for Out-of-Distribution Detection）中，谷歌受到上述新細菌種類檢測這類現(xiàn)實問題的啟發(fā)，提出并發(fā)布了針對基因組序列 OOD 檢測的現(xiàn)實基準數(shù)據(jù)集。

• 論文地址：https://arxiv.org/abs/1906.02845

• 實現(xiàn)代碼 GitHub 地址：https://github.com/google-research/google-research/tree/master/genomics_ood

他們利用基于基因組序列的生成模型測試了 OOD 檢測的現(xiàn)有方法，發(fā)現(xiàn)似然值——即輸入來自使用分布不均數(shù)據(jù)進行估算的分布數(shù)據(jù)的模型概率——通常是錯誤的。在最近的圖像深度生成模型研究工作中，他們也觀察到了這種現(xiàn)象，并通過統(tǒng)計背景影響來解釋這種現(xiàn)象，進而提出一種基于似然比的解決方案，可以顯著地提高 OOD 檢測的準確性。

一、為什么密度模型無法應(yīng)用于 OOD 檢測？

為了模擬實際問題并系統(tǒng)地評估不同的方法，他們建立了一個新的細菌數(shù)據(jù)集，使用的數(shù)據(jù)來自美國國家生物技術(shù)信息中心（NCBI ）對外開放的原核生物目錄基因組序列數(shù)據(jù)。

為了模擬測序數(shù)據(jù)，他們將基因組片段化為當前測序技術(shù)通常使用的 250 個短序列長度的堿基對。然后，其將分布內(nèi)和分布外的數(shù)據(jù)按發(fā)現(xiàn)日期進行分離，以便截止時間之前被發(fā)現(xiàn)的細菌種類被定義在分布內(nèi)，在之后發(fā)現(xiàn)的被定義為分布外（OOD） 。

然后，他們基于分布內(nèi)的基因組序列訓(xùn)練深度生成模型，通過繪制似然值曲線，檢驗?zāi)Ｐ捅鎰e輸入的分布內(nèi)和分布外數(shù)據(jù)的能力。 OOD 序列似然值的直方圖與分布內(nèi)序列似然值高度重合，則表明生成模型無法區(qū)分在兩個種類之間進行的 OOD 檢測結(jié)果。

在圖像深度生成模型的早期研究中（相關(guān)閱讀參考：https://arxiv.org/abs/1810.09136）也得到了類似的結(jié)論。例如，利用 Fashion-MNIST 數(shù)據(jù)集（由衣服和鞋類的圖像組成）訓(xùn)練 PixelCNN ++ 模型，比來自 MNIST 數(shù)據(jù)集（包括數(shù)字0-9的圖像）的 OOD 圖像分配了更高的似然值。

圖2   左：分布內(nèi)和分布外（OOD）基因組序列的似然值直方圖。 似然值未能分辨出分布內(nèi)和OOD基因組序列。 右：Fashion-MNIST 數(shù)據(jù)集訓(xùn)練模型、MNIST 數(shù)據(jù)集估計的似然值直方圖。 模型在OOD（MNIST）圖像上比在分布內(nèi)圖像分配了更高的似然值。

在研究這種失敗模型時，他們觀察到背景統(tǒng)計可能影響了似然值的計算。為了更直觀地理解該現(xiàn)象，假設(shè)輸入由兩個部分組成：（1）以背景統(tǒng)計為特征的背景成分，（2）以指定于分布內(nèi)數(shù)據(jù)專用的模式為特征的語義成分。

例如，可以將 MNIST 圖像建模為背景加語義。當人類解讀圖像時，可以輕松地忽略背景信息而主要關(guān)注語義信息，例如下圖中的“ /”標記。但是當為圖像中的所有像素計算似然值時，計算結(jié)果中同時包括了語義像素和背景像素。雖然他們只需使用語義的似然值進行決策，但原始的似然值結(jié)果中可能大多數(shù)都是背景成分。

圖3   左上：Fashion-MNIST 的示例圖像。 左下：MNIST 的示例圖像。 右：MNIST 圖像中的背景和語義成分。

二、OOD 檢測的似然比

他們提出了一種去除背景影響并專注于語義成分的似然比方法。

首先，受遺傳突變的啟發(fā)，他們利用擾動輸入方法訓(xùn)練背景模型，并通過隨機選擇輸入值的位置，將其替換為另一個具有相等概率的值。為了成像，他們從從256個可能的像素值中隨機選擇輸入值；針對DNA 序列，他們從四個可能的核苷酸（A，T，C或G）中選出輸入值。此過程中，適量的擾動會破壞數(shù)據(jù)的語義結(jié)構(gòu)，導(dǎo)致只能捕獲到背景。

接著，他們計算完整模型與背景模型之間的似然比，去掉了背景成分，這樣就只保留了語義的似然值。似然比是背景對比得分，即它抓住了語義與背景對比的意義。

為了定性評估似然值與似然比之間的差異，他們繪制了在 Fashion-MNIST 數(shù)據(jù)集和 MNIST 數(shù)據(jù)集中每個像素的似然值和似然比值，創(chuàng)建了與圖像相同的尺寸的熱圖。

這使他們可以分別直觀地看到哪些像素對于這兩項值的貢獻最大。從對數(shù)似然熱圖中可以看到，對于似然值而言，背景像素比語義像素的貢獻更多。

事后看來這并不足為奇，這是由于背景像素主要由一連串零組成，因此很容易被模型學習。 

MNIST 和 Fashion-MNIST 熱圖之間的比較則說明了為什么 MNIST 返回更高的似然值——僅僅是因為它包含了更多的背景像素！相反，似然比的結(jié)果更多地集中在語義像素上。

                       

圖4   左：Fashion-MNIST 和 MNIST 數(shù)據(jù)集的對數(shù)似然熱圖。 右：Fashion-MNIST 和 MNIST 數(shù)據(jù)集的似然比熱圖，具有更高值的像素會具有更淺的陰影。 似然值主要由“背景”像素決定，而似然比則集中在“語義”像素上，因此更適合用于 OOD 檢測。

這種似然比方法修正了背景影響。他們基于 Fashion-MNIST 訓(xùn)練 PixelCNN ++ 模型，然后在 MNIST 圖像數(shù)據(jù)集進行 OOD 檢測，實驗結(jié)果得到了顯著改善，AUROC 評分從 0.089 提高至 0.994 。 

當他們將似然比方法應(yīng)用于基因組基準數(shù)據(jù)集這一極具挑戰(zhàn)的問題時，對比其它 12 種基線方法，該方法表現(xiàn)出了最佳性能。

不過他們也表示，盡管該似然比方法在基因組數(shù)據(jù)集上達到了最先進的性能，但離將模型部署到實際應(yīng)用中的高準確性要求仍存在一定距離。 他們鼓勵研究人員努力去解決這一重要問題，并改善當前的最新技術(shù)。雷鋒網(wǎng)雷鋒網(wǎng)

via https://ai.googleblog.com/2019/12/improving-out-of-distribution-detection.html

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。