google AI 最新博文：模型的不確定性是否可信？

本文作者： skura

2020-01-17 20:18

導(dǎo)語(yǔ)：在數(shù)據(jù)集轉(zhuǎn)移的情況下，不確定性的質(zhì)量會(huì)下降，但是一些有希望的研究方法可以緩解這種情況

在實(shí)際應(yīng)用中，機(jī)器學(xué)習(xí)模型遇到的數(shù)據(jù)并不總是具有相同的分布。在這種情況下，模型的精度會(huì)如何變化？近日，Google AI 發(fā)布了一篇博文，討論了這個(gè)問(wèn)題，他們認(rèn)為，在數(shù)據(jù)集轉(zhuǎn)移的情況下，不確定性的質(zhì)量會(huì)下降，但是一些有希望的研究方法可以緩解這種情況。原文大意如下：

在理想情況下，機(jī)器學(xué)習(xí)方法（如深度學(xué)習(xí)）被用來(lái)對(duì)與訓(xùn)練數(shù)據(jù)分布相同的數(shù)據(jù)進(jìn)行預(yù)測(cè)。但實(shí)際情況可能大不相同：相機(jī)鏡頭變得模糊，傳感器退化等問(wèn)題，都可能導(dǎo)致訓(xùn)練模型與應(yīng)用模型數(shù)據(jù)分布之間的差異，從而導(dǎo)致所謂的協(xié)變量偏移。例如，最近有人觀察到，接受過(guò)胸部 x 光檢查肺炎訓(xùn)練的深度學(xué)習(xí)模型，在根據(jù)以前沒(méi)遇到過(guò)的醫(yī)院數(shù)據(jù)進(jìn)行評(píng)估時(shí)，其精確度水平將大不相同，部分原因是圖像采集和處理方面的細(xì)微差異。

在 NeurIPS 2019 上，我們的論文「Can you trust your model’s uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift」對(duì)最先進(jìn)的深度學(xué)習(xí)模型的不確定性進(jìn)行了基準(zhǔn)測(cè)試，因?yàn)樗鼈儽┞队诓粩嘧兓臄?shù)據(jù)分布和分布外的數(shù)據(jù)。在這項(xiàng)工作中，我們考慮各種輸入模式，包括圖像、文本和在線(xiàn)廣告數(shù)據(jù)，將這些深度學(xué)習(xí)模型用于不斷變化的測(cè)試數(shù)據(jù)中，同時(shí)仔細(xì)分析其預(yù)測(cè)概率的行為。我們還比較了各種不同的方法來(lái)提高模型的不確定性，看看哪些策略表現(xiàn)最好。

什么是分布外數(shù)據(jù)？

深度學(xué)習(xí)模型為每個(gè)預(yù)測(cè)提供一個(gè)概率，這個(gè)概率表示模型的可信度或不確定性。因此，當(dāng)數(shù)據(jù)不在原始訓(xùn)練數(shù)據(jù)集的范圍內(nèi)時(shí)，它們可以表達(dá)它們不知道的內(nèi)容，避免預(yù)測(cè)。在協(xié)變量移位的情況下，不確定性理想情況下會(huì)隨著精度的任何降低而成比例增加。一個(gè)更極端的情況是，數(shù)據(jù)不在分布范圍內(nèi)（OOD）。例如，你可以設(shè)想一下，當(dāng)一個(gè)貓狗圖像分類(lèi)器遇到飛機(jī)圖像時(shí)會(huì)發(fā)生什么。這個(gè)模型是自信地預(yù)測(cè)錯(cuò)誤，還是根據(jù)概率進(jìn)行分類(lèi)？在此前的文章中，我們最近討論了我們開(kāi)發(fā)的識(shí)別此類(lèi) OOD 示例的方法。在這項(xiàng)工作中，我們分析了分布外模型的預(yù)測(cè)不確定性，并轉(zhuǎn)移了實(shí)例，以查看模型預(yù)測(cè)概率是否反映了它們對(duì)此類(lèi)數(shù)據(jù)的預(yù)測(cè)能力。

量化不確定度的質(zhì)量

一個(gè)模型比另一個(gè)模型更能反映其不確定性意味著什么？雖然這可能是一個(gè)細(xì)致入微的問(wèn)題，通常是由下游任務(wù)定義的，但有一些方法可以定量評(píng)估概率預(yù)測(cè)的總體質(zhì)量。例如，氣象界仔細(xì)考慮了這一問(wèn)題，并制定了一套適當(dāng)?shù)脑u(píng)分規(guī)則，天氣預(yù)報(bào)的概率比較函數(shù)應(yīng)滿(mǎn)足這些規(guī)則，以便能夠很好地進(jìn)行校準(zhǔn)，同時(shí)也有利于提高準(zhǔn)確度。我們應(yīng)用了一些適當(dāng)?shù)脑u(píng)分規(guī)則，如 Brier 評(píng)分和負(fù)對(duì)數(shù)似然（NLL），以及更直觀的啟發(fā)式方法，如預(yù)期校準(zhǔn)誤差（ECE），來(lái)了解不同的 ML 模型如何處理數(shù)據(jù)集移位情況下的不確定性。

實(shí)驗(yàn)

我們分析了數(shù)據(jù)集移位對(duì)各種數(shù)據(jù)模式（包括圖像、文本、在線(xiàn)廣告數(shù)據(jù)和基因組學(xué)數(shù)據(jù)等）不確定性的影響。舉個(gè)例子，我們演示了數(shù)據(jù)集移位對(duì) ImageNet 數(shù)據(jù)集的影響。ImageNet 將 100 多萬(wàn)張圖像分為 1000 個(gè)不同的類(lèi)別。一些人現(xiàn)在認(rèn)為這一挑戰(zhàn)已經(jīng)基本解決，并且已經(jīng)開(kāi)發(fā)出更難的變體，例如損壞的 Imagenet（或 Imagenet-C），其中數(shù)據(jù)有 16 種不同的損壞，每種損壞的強(qiáng)度分為 5 種。