雷鋒網(wǎng) AI 科技評(píng)論按：NeurIPS 2018 于 12 月 3 日至 12 月 8 日在加拿大蒙特利爾會(huì)展中心舉辦。大會(huì)第一天下午頒布了各項(xiàng)論文獎(jiǎng)，其中包括時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time Award），獲獎(jiǎng)?wù)撐氖恰?a target="_blank" rel=nofollow>The Trade-Offs of Large Scale Learning》。

這篇論文是機(jī)器學(xué)習(xí)界、尤其是深度學(xué)習(xí)發(fā)展道路上的一篇重要論文，也可以說(shuō)是推動(dòng)研究人員們不斷建立并使用更大的數(shù)據(jù)集的理念來(lái)源之一。谷歌 AI 蘇黎世研究院項(xiàng)目經(jīng)理、丹麥科技大學(xué)教授 Anna Ukhanova 撰文解析了這篇論文的內(nèi)容以及它對(duì)整個(gè)機(jī)器學(xué)習(xí)界的后續(xù)影響。雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

機(jī)器學(xué)習(xí)界的學(xué)術(shù)研究進(jìn)展飛快，仿佛任何一種新點(diǎn)子、新想法只要一兩年就顯得過(guò)時(shí)了，或者是被別的東西取代了。不過(guò)，即便是許多研究者們后來(lái)已經(jīng)不再關(guān)注的區(qū)域里，也有一些老想法持續(xù)地體現(xiàn)出自己的重要性。這種狀況之所以會(huì)發(fā)生是因?yàn)椴煌恼Z(yǔ)境：在某個(gè)研究方向里看起來(lái)死路一條的想法在另一個(gè)研究方向里則可能會(huì)變得非常成功。而對(duì)于深度學(xué)習(xí)這個(gè)具體的例子來(lái)說(shuō)，可獲得的數(shù)據(jù)以及可利用的計(jì)算資源的大幅增長(zhǎng)不斷為這個(gè)領(lǐng)域注入了新鮮的活力和注意力，也對(duì)研究方向的選擇產(chǎn)生了顯著影響。

當(dāng)年發(fā)表在 NIPS 2007 會(huì)議的論文《The Trade-Offs of Large Scale Learning》就是這種現(xiàn)象的見(jiàn)證者。這篇來(lái)自 Léon Bottou （當(dāng)時(shí)在 NEC 實(shí)驗(yàn)室，現(xiàn)在在 Facebook 人工智能研究院 FAIR）和 Olivier Bousquet（谷歌 AI 蘇黎世研究院）的論文獲得了今年 NeurIPS 的時(shí)間檢驗(yàn)獎(jiǎng)，論文內(nèi)容是研究機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)數(shù)據(jù)和計(jì)算能力之間是如何相互作用的；他們的結(jié)果表明，在計(jì)算能力有限、但可以使用一個(gè)大規(guī)模數(shù)據(jù)集的情況下，面對(duì)「A，使用盡量多的訓(xùn)練樣本，但每個(gè)樣本只進(jìn)行較少的計(jì)算」，和「B，取一小部分?jǐn)?shù)據(jù)進(jìn)行高強(qiáng)度的計(jì)算」兩種選擇，前一種做法的效率更高。他們的研究對(duì)象是一種較老的算法，隨機(jī)梯度下降（SGD），而它如今幾乎也和所有的深度學(xué)習(xí)應(yīng)用形影不離。

梯度下降示意圖

優(yōu)化方法，以及大規(guī)模數(shù)據(jù)帶來(lái)的挑戰(zhàn)

許多機(jī)器學(xué)習(xí)算法都可以看作兩種因子的組合：

• 一個(gè)模型，它可以由許多種不同的函數(shù)組合而成，可以用來(lái)擬合數(shù)據(jù)

• 一個(gè)優(yōu)化算法，它可以具體描述出如何選擇出效果最佳的那個(gè)函數(shù)

1990 年代的時(shí)候，機(jī)器學(xué)習(xí)研究者們使用的數(shù)據(jù)集要比現(xiàn)在的小多了，而且當(dāng)時(shí)他們也認(rèn)為人工神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練，即便當(dāng)時(shí)它們已經(jīng)展現(xiàn)出了一些成果。到了 21 世紀(jì)初，隨著核方法（kernel machines），尤其是支持向量機(jī)（SVM）的出現(xiàn)，人們對(duì)神經(jīng)網(wǎng)絡(luò)的熱情迅速消失殆盡。與此同時(shí)，本來(lái)研究?jī)?yōu)化算法的研究者們也把注意力從研究神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法（隨機(jī)梯度下降）轉(zhuǎn)移到了研究核方法的優(yōu)化算法上（二次規(guī)劃法，quadratic programming）。這兩種優(yōu)化方法之間的區(qū)別在于，對(duì)于隨機(jī)梯度下降，每次計(jì)算只使用一個(gè)訓(xùn)練樣本用來(lái)計(jì)算梯度步驟（稱(chēng)之為「隨機(jī)」）；而對(duì)于核方法的優(yōu)化算法，每一次迭代中都需要使用所有的訓(xùn)練樣本（稱(chēng)之為「批量」）。

SVM 示意圖

但隨著訓(xùn)練數(shù)據(jù)集的大小變得越來(lái)越大，優(yōu)化算法處理大規(guī)模數(shù)據(jù)的效率就成為了瓶頸。比如對(duì)于二次規(guī)劃法，算法的運(yùn)行時(shí)間最少也要和訓(xùn)練樣本的數(shù)量的平方成正比，也就是說(shuō)，如果你的訓(xùn)練數(shù)據(jù)變成了原來(lái)的 2 倍，那么訓(xùn)練時(shí)間至少也會(huì)變成原來(lái)的 4 倍。所以研究人員們也花了很多精力嘗試如何讓這些算法更好地拓展到大規(guī)模數(shù)據(jù)集上。

曾經(jīng)訓(xùn)練過(guò)人工神經(jīng)網(wǎng)絡(luò)的研究人員們則深深知道把隨機(jī)梯度下降拓展到大規(guī)模數(shù)據(jù)集上會(huì)容易很多，只不過(guò)它的問(wèn)題在于它的收斂很慢（想要達(dá)到和批量算法相同的準(zhǔn)確率，隨機(jī)方法需要的迭代次數(shù)要多很多），所以那時(shí)候大家也并不能清晰地判斷出它是否會(huì)是解決數(shù)據(jù)規(guī)模問(wèn)題的那個(gè)黃金方案。

隨機(jī)方法有更好的可拓展性

在機(jī)器學(xué)習(xí)領(lǐng)域里，優(yōu)化損失函數(shù)所需的迭代次數(shù)其實(shí)并不是最讓人頭疼的那個(gè)問(wèn)題，畢竟一直調(diào)節(jié)模型、調(diào)節(jié)得到完美的損失函數(shù)，其實(shí)是過(guò)擬合到了訓(xùn)練數(shù)據(jù)上。所以為什么不省下調(diào)節(jié)模型花費(fèi)的計(jì)算能力，而用這些計(jì)算能力處理更多的數(shù)據(jù)呢？

Léon Bottou 和 Olivier Bousquet 就對(duì)這種現(xiàn)象做了一次正式的研究。他們?cè)O(shè)置的實(shí)驗(yàn)條件是，可以使用大規(guī)模數(shù)據(jù)集，同時(shí)計(jì)算能力是一個(gè)限制條件。他們的研究表明，對(duì)每一個(gè)訓(xùn)練樣本進(jìn)行盡量少的運(yùn)算（同時(shí)也就可以用到更多的訓(xùn)練樣本）可以取得更好的效果，而在較少的數(shù)據(jù)上進(jìn)行大量運(yùn)算的做法效果并不好。

他們也研究了許多種不同的優(yōu)化算法，結(jié)果表明隨機(jī)梯度下降是最好的。他們的結(jié)果得到了許多別的研究者的實(shí)驗(yàn)支持，同時(shí)也引領(lǐng)了在線(xiàn)優(yōu)化算法的新研究興趣。如今，在線(xiàn)優(yōu)化算法也在機(jī)器學(xué)習(xí)領(lǐng)域有著許多的應(yīng)用。

謎團(tuán)尚未完全解開(kāi)

在隨后的幾年中，研究人員們開(kāi)發(fā)了隨機(jī)梯度下降的許多變種，包括對(duì)于凸函數(shù)和非凸函數(shù)的（非凸函數(shù)的優(yōu)化方法對(duì)深度學(xué)習(xí)非常重要）。最常見(jiàn)的一種變種被大家稱(chēng)作“mini-batch SGD”，它在每次迭代中計(jì)算一小批（大約數(shù)十到數(shù)百量級(jí)）訓(xùn)練樣本，對(duì)整個(gè)訓(xùn)練數(shù)據(jù)集操作若干次，同時(shí)也配合使用一些其它的大規(guī)模梯度計(jì)算技巧。許多機(jī)器學(xué)習(xí)庫(kù)中都直接包含這樣的算法的實(shí)現(xiàn)，它也是公認(rèn)的深度學(xué)習(xí)的重要支柱之一。

雖然這篇論文的分析為理解隨機(jī)梯度下降的性質(zhì)提供了充實(shí)的論據(jù)，但深度學(xué)習(xí)高速的、令人驚喜、甚至令人驚訝的發(fā)展繼續(xù)為科研界帶來(lái)了更多的問(wèn)題。比如，這種算法對(duì)深度神經(jīng)網(wǎng)絡(luò)的泛化性的影響被大家反復(fù)提及，但我們?nèi)匀粵](méi)有什么深入的了解。這也意味著，我們目前面對(duì)著許許多多有趣的研究課題，一旦做出了突破，我們不僅可以對(duì)現(xiàn)在正在使用的算法有更好的了解，也可以引導(dǎo)我們未來(lái)開(kāi)發(fā)出更高效的算法。

Léon Bottou 和 Olivier Bousquet 十年前合作提出的觀點(diǎn)大大加速了優(yōu)化算法的發(fā)展，到如今已經(jīng)是給我們帶來(lái)更多生活便利的機(jī)器學(xué)習(xí)算法中重要的驅(qū)動(dòng)力。谷歌 AI 團(tuán)隊(duì)全體人員認(rèn)為他們獲得這個(gè)獎(jiǎng)項(xiàng)實(shí)至名歸，也向他們致以誠(chéng)摯的祝賀。

via ai.googleblog.com，雷鋒網(wǎng) AI 科技評(píng)論編譯。NIPS 開(kāi)幕式完整回顧請(qǐng)閱讀 近九千人齊聚 NeurIPS 2018，四篇最佳論文，十大研究領(lǐng)域，1010 篇論文被接收

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。