雷鋒網(wǎng)按：本文由雷鋒字幕組編譯，原標題 Measuring the Intrinsic Dimension of Objective Landscapes，作者為 Uber AI Labs。

翻譯 | 宥佑  余杭    整理 |  凡江

Uber研究團隊在 ICLR 2018 上展示了這篇「 測量目標空間的固有維度 」，研究試圖提出一種測量基本網(wǎng)絡屬性的簡單方法，被稱為“固有維度”。

下面的視頻總結Uber的方法和發(fā)現(xiàn)：

過去十年來，神經(jīng)網(wǎng)絡徹底改變了機器學習。機器學習從一個相對晦澀的學術研究領域崛起成為工業(yè)支柱，在大量數(shù)據(jù)可用的地方為眾多應用提供支持。Uber 將神經(jīng)網(wǎng)絡用于多種應用，建立基于計算機視覺模型的世界地圖、使用自然語言理解實現(xiàn)更快的消費者反映、通過對騎手需求模式進行建模來縮短等待時間。

在許多情況下，最成功的神經(jīng)網(wǎng)絡采用大量參數(shù)，從幾百萬到幾億甚至更多 ，以實現(xiàn)最佳性能。更令人興奮的是，這些龐大的網(wǎng)絡通常運作得很好，無論他們的任務如何，都能有較好的表現(xiàn)。但是這樣的模型基本上是復雜的系統(tǒng)，無需人工干預就可以學習大量的參數(shù)，因此易于理解。盡管如此，仍然需要進一步理解網(wǎng)絡行為，因為隨著網(wǎng)絡對社會的影響越來越大，理解其運作變得越來越重要，更好地理解網(wǎng)絡機制和屬性將加速下一代模型的構建。

Uber研究團隊的這篇「測量目標空間的固有維度 」已經(jīng)在ICLR 2018上展示了，研究試圖提出一種測量基本網(wǎng)絡屬性的簡單方法，被稱為“固有維度”。他們提出，將固有維度作為模型復雜度的量化方式，并與其原始參數(shù)量相分離。與此同時，提供了一種使用隨機投影來測量此維度的簡單方法，發(fā)現(xiàn)很多問題的固有維度都比人們想象得要小。通過使用固有維度來比較跨域問題，例如，解決倒立擺問題比MNIST分類數(shù)字要容易100倍，利用像素玩 Atari Pong（雅達利游戲） 和分類 CIFAR-10 一樣難。

論文參考：https://eng.uber.com/intrinsic-dimension/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。