雷鋒網(wǎng) AI 科技評(píng)論按：深度神經(jīng)網(wǎng)絡(luò)（DNN）作為機(jī)器學(xué)習(xí)的基礎(chǔ)，為圖像識(shí)別、圖像分割、機(jī)器翻譯等諸多領(lǐng)域取得突破性進(jìn)展做出了重大貢獻(xiàn)，然而研究人員始終都無(wú)法完全理解支配 DDN 的基本原理。其中，泛化是預(yù)測(cè)和理解 DNN 在未見過樣本上的性能的重要指標(biāo)，而理解泛化的一個(gè)重要概念便是泛化鴻溝（generalization gap）?；诖耍雀璧倪@篇 ICLR 2019 論文提出使用跨網(wǎng)絡(luò)層的標(biāo)準(zhǔn)化邊際分布作為泛化鴻溝的預(yù)測(cè)因子，對(duì)邊際分布與泛化之間的關(guān)系進(jìn)行了實(shí)證研究，結(jié)果表明邊際分布的一些基本統(tǒng)計(jì)量可以準(zhǔn)確地預(yù)測(cè)泛化鴻溝。谷歌發(fā)表文章對(duì)該論文進(jìn)行了介紹，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

DNN 是近年來(lái)機(jī)器學(xué)習(xí)研究進(jìn)展的奠基石，是圖像識(shí)別、圖像分割、機(jī)器翻譯等諸多領(lǐng)域取得突破性進(jìn)展的重要原因。然而，盡管它們無(wú)處不在，研究人員仍然在努力嘗試去完全理解支配深度神經(jīng)網(wǎng)絡(luò)的基本原理。特別是，經(jīng)典理論（例如 VC 維和 Rademacher 復(fù)雜度）認(rèn)為，過度參數(shù)化函數(shù)對(duì)未見過數(shù)據(jù)的泛化效果很差，但是最近的研究發(fā)現(xiàn)，大量過度參數(shù)化函數(shù)（參數(shù)比數(shù)據(jù)點(diǎn)的數(shù)量多一個(gè)數(shù)量級(jí)）的泛化效果很好。為了改進(jìn)模型，需要更好地理解泛化，這將需要更多的理論基礎(chǔ)和規(guī)則方法來(lái)進(jìn)行 DNN 設(shè)計(jì)。

理解泛化的一個(gè)重要概念是泛化鴻溝（generalization gap），即模型在訓(xùn)練數(shù)據(jù)上的性能與其在從同一分布中提取的未見過的數(shù)據(jù)上的性能之間的差異。該領(lǐng)域在推導(dǎo)出更好的 DNN 泛化邊界（泛化鴻溝的上限）方面已經(jīng)取得了很大的進(jìn)展，但它們?nèi)匀粌A向于高估實(shí)際泛化鴻溝，這使得它們無(wú)法解釋為什么一些模型泛化得如此之好。另一方面，邊際的概念，即數(shù)據(jù)點(diǎn)與決策邊界之間的距離，在支持向量機(jī)等淺層模型的場(chǎng)景中得到了廣泛的研究，并被發(fā)現(xiàn)與這些模型對(duì)未見過的數(shù)據(jù)的泛化表現(xiàn)密切相關(guān)。鑒于此，利用邊際概念來(lái)研究泛化性能已經(jīng)被擴(kuò)展到 DNN 上了，導(dǎo)致泛化鴻溝上的理論上界高度細(xì)化，但并沒有顯著提高對(duì)模型泛化表現(xiàn)的預(yù)測(cè)能力。

一個(gè)支持向量機(jī)決策邊界的例子。由 w·x-b=0 定義的超平面為該線性分類器的「決策邊界」，即超平面上的每個(gè)點(diǎn) x 在這個(gè)分類器下都是等可能的。

我們?cè)?ICLR 2019 會(huì)議上的論文《使用邊際分布來(lái)預(yù)測(cè)深度網(wǎng)絡(luò)的泛化鴻溝》（「Predicting the Generalization Gap in Deep Networks with Margin Distributions」，https://arxiv.org/abs/1810.00113）中，提出使用跨網(wǎng)絡(luò)層的標(biāo)準(zhǔn)化邊際分布作為泛化鴻溝的預(yù)測(cè)因子。我們實(shí)證研究了邊際分布與泛化之間的關(guān)系，結(jié)果表明，在對(duì)距離進(jìn)行適當(dāng)?shù)臍w一化后，邊際分布的一些基本統(tǒng)計(jì)量可以準(zhǔn)確地預(yù)測(cè)泛化鴻溝。我們將所有模型作為數(shù)據(jù)集存儲(chǔ)至 Github，用于泛化研究。

每個(gè)圖對(duì)應(yīng)一個(gè)訓(xùn)練在 CIFAR-10 上的卷積神經(jīng)網(wǎng)絡(luò)，分別具有不同的分類精度。對(duì)于三種不同的模型，給出了網(wǎng)絡(luò) 4 層歸一化邊際分布（x 軸）的概率密度（y 軸），并且具有越來(lái)越好的泛化表現(xiàn)（從左到右）。歸一化邊際分布與測(cè)試精度有很強(qiáng)的相關(guān)性，可以作為預(yù)測(cè)網(wǎng)絡(luò)泛化差距的一個(gè)指標(biāo)。有關(guān)這些網(wǎng)絡(luò)的詳細(xì)信息，請(qǐng)參閱我們的論文。

將邊際分布作為泛化預(yù)測(cè)因子

直觀地說，如果邊際分布的統(tǒng)計(jì)量能夠真實(shí)地預(yù)測(cè)泛化性能，那么一個(gè)簡(jiǎn)單的預(yù)測(cè)方案應(yīng)該能夠建立兩者的關(guān)系。因此，我們選擇線性回歸作為預(yù)測(cè)因子。我們發(fā)現(xiàn)泛化鴻溝鴻溝與邊際分布的對(duì)數(shù)變換統(tǒng)計(jì)量之間的關(guān)系幾乎是完全線性的（見下圖）。事實(shí)上，與現(xiàn)有的其他泛化方法相比，該方法的預(yù)測(cè)效果更好。這表明邊際分布可能包含關(guān)于模型泛化深度的重要信息。

CIFAR-100 + ResNet-32 上預(yù)測(cè)的泛化差距（x 軸）與真實(shí)的泛化差距（y 軸）。這說明對(duì)數(shù)線性模型的預(yù)測(cè)值與真實(shí)的泛化鴻溝十分吻合。

深度模型泛化數(shù)據(jù)集

除了論文，我們還介紹了深度模型泛化（DEMOGEN）數(shù)據(jù)集，它包含 756 個(gè)經(jīng)過訓(xùn)練的深度模型，以及這些模型在 CIFAR-10 和 CIFAR-100 數(shù)據(jù)集上的訓(xùn)練和測(cè)試表現(xiàn)。這些模型是 CNNs（其架構(gòu)類似于 Network-in-Network）和 ResNet-32 的變體，具有不同的常用正則化技術(shù)和超參數(shù)設(shè)置，從而產(chǎn)生廣泛的泛化行為。例如，在 CIFAR-10 上訓(xùn)練的 CNNs 模型的測(cè)試精度在 60% 到 90.5% 之間，泛化鴻溝則在 1% 到 35% 之間。有關(guān)數(shù)據(jù)集的詳細(xì)信息，請(qǐng)參閱我們的論文或 Github 開發(fā)庫(kù)（地址：https://github.com/google-research/google-research/tree/master/demogen）。作為數(shù)據(jù)集發(fā)布的一部分，我們還提供了一些實(shí)用程序，可以方便地加載模型并重現(xiàn)本文中的結(jié)果。

我們希望這項(xiàng)研究和 DEMOGEN 數(shù)據(jù)集能為研究深度學(xué)習(xí)中的泛化問題提供一個(gè)有用的工具，而不需要重新訓(xùn)練大量的模型。我們也希望我們的研究結(jié)果能夠促進(jìn)對(duì)泛化鴻溝預(yù)測(cè)因子和隱藏層中邊際分布的進(jìn)一步研究。

Via：http://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html  雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。