雷鋒網(wǎng)按：本文由雷鋒字幕組編譯，原標(biāo)題 Measuring the Intrinsic Dimension of Objective Landscapes，作者為 Uber AI Labs。

翻譯 | 宥佑  余杭    整理 |  凡江

Uber研究團(tuán)隊(duì)在 ICLR 2018 上展示了這篇「 測(cè)量目標(biāo)空間的固有維度 」，研究試圖提出一種測(cè)量基本網(wǎng)絡(luò)屬性的簡(jiǎn)單方法，被稱為“固有維度”。

下面的視頻總結(jié)Uber的方法和發(fā)現(xiàn)：

過(guò)去十年來(lái)，神經(jīng)網(wǎng)絡(luò)徹底改變了機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)從一個(gè)相對(duì)晦澀的學(xué)術(shù)研究領(lǐng)域崛起成為工業(yè)支柱，在大量數(shù)據(jù)可用的地方為眾多應(yīng)用提供支持。Uber 將神經(jīng)網(wǎng)絡(luò)用于多種應(yīng)用，建立基于計(jì)算機(jī)視覺(jué)模型的世界地圖、使用自然語(yǔ)言理解實(shí)現(xiàn)更快的消費(fèi)者反映、通過(guò)對(duì)騎手需求模式進(jìn)行建模來(lái)縮短等待時(shí)間。

在許多情況下，最成功的神經(jīng)網(wǎng)絡(luò)采用大量參數(shù)，從幾百萬(wàn)到幾億甚至更多 ，以實(shí)現(xiàn)最佳性能。更令人興奮的是，這些龐大的網(wǎng)絡(luò)通常運(yùn)作得很好，無(wú)論他們的任務(wù)如何，都能有較好的表現(xiàn)。但是這樣的模型基本上是復(fù)雜的系統(tǒng)，無(wú)需人工干預(yù)就可以學(xué)習(xí)大量的參數(shù)，因此易于理解。盡管如此，仍然需要進(jìn)一步理解網(wǎng)絡(luò)行為，因?yàn)殡S著網(wǎng)絡(luò)對(duì)社會(huì)的影響越來(lái)越大，理解其運(yùn)作變得越來(lái)越重要，更好地理解網(wǎng)絡(luò)機(jī)制和屬性將加速下一代模型的構(gòu)建。

Uber研究團(tuán)隊(duì)的這篇「測(cè)量目標(biāo)空間的固有維度 」已經(jīng)在ICLR 2018上展示了，研究試圖提出一種測(cè)量基本網(wǎng)絡(luò)屬性的簡(jiǎn)單方法，被稱為“固有維度”。他們提出，將固有維度作為模型復(fù)雜度的量化方式，并與其原始參數(shù)量相分離。與此同時(shí)，提供了一種使用隨機(jī)投影來(lái)測(cè)量此維度的簡(jiǎn)單方法，發(fā)現(xiàn)很多問(wèn)題的固有維度都比人們想象得要小。通過(guò)使用固有維度來(lái)比較跨域問(wèn)題，例如，解決倒立擺問(wèn)題比MNIST分類數(shù)字要容易100倍，利用像素玩 Atari Pong（雅達(dá)利游戲） 和分類 CIFAR-10 一樣難。

論文參考：https://eng.uber.com/intrinsic-dimension/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。