0
| 本文作者： 三川 | 2017-02-06 15:21 |
為什么深度學(xué)習(xí)（DL）比其他機(jī)器學(xué)習(xí)（ML）方法效果更好？
雷鋒網(wǎng)按：近來(lái)在多個(gè)國(guó)外開發(fā)者論壇、雜志中，”深度學(xué)習(xí)的優(yōu)越性”這個(gè)話題著實(shí)引發(fā)了不少討論。對(duì)此，西班牙著名 AI 專家、Starlab 神經(jīng)科學(xué)研究負(fù)責(zé)人 Aureli Soria-Frisch 發(fā)表了他的看法。
這里列舉了三大原因：1. DL 訓(xùn)練過(guò)程整合了特征提?。?. 大型數(shù)據(jù)集的收集；3. 技術(shù)進(jìn)步。
Aureli Soria-Frisch
Aureli Soria-Frisch：我想要指出三點(diǎn)原因——在我眼中，它們構(gòu)成了深度學(xué)習(xí)性能優(yōu)越的基石。我不是第一個(gè)討論這個(gè)話題的人，也一定不是最后一個(gè)，但我想對(duì)該話題做一個(gè)延伸——把開發(fā)者實(shí)踐中的原因加入進(jìn)來(lái)。因此，如果你要找的是理論支撐，請(qǐng)?jiān)趯W(xué)術(shù)著作中尋找。在這里，我會(huì)從實(shí)踐角度討論，為什么深度學(xué)習(xí)成為了一門處理分類問(wèn)題和應(yīng)用的有價(jià)值技術(shù)。當(dāng)然，本文不包括其所有的問(wèn)題和應(yīng)用。
今天，深度學(xué)習(xí)是模式識(shí)別（pattern recognition）的終極技術(shù)，就好像此前的支持向量機(jī)（SVM）和隨機(jī)森林算法（Random Forests）。但基于“沒有免費(fèi)的午餐”這一道理，一個(gè)能高效處理所有問(wèn)題的最優(yōu)算法并不存在。因此雷鋒網(wǎng)讀者需謹(jǐn)記，本文所評(píng)估的乃是 DL 在分類任務(wù)上的效果。性能評(píng)估是機(jī)器學(xué)習(xí)應(yīng)用的基礎(chǔ)，并與深度學(xué)習(xí)的成功有直接聯(lián)系，請(qǐng)見下文。
深度學(xué)習(xí)之所以成功，首先是因?yàn)樗?xùn)練過(guò)程中整合了特征提取。
不久以前，模式識(shí)別還聚焦在分類階段，特征提取被當(dāng)做是某種程度上獨(dú)立的問(wèn)題。它的處理，部分基于 AI 匠人的人工操作和專家知識(shí)。因而在過(guò)去，開發(fā)者常常邀請(qǐng)相關(guān)領(lǐng)域的專家加入團(tuán)隊(duì)。比如說(shuō)，如果你想要對(duì) EEG 紀(jì)元進(jìn)行分類，需要一名有經(jīng)驗(yàn)的電生理學(xué)家（electrophysiologist）；手寫文字識(shí)別則需要筆跡分析專家。
這些專家的專業(yè)知識(shí)，被用來(lái)對(duì)特定問(wèn)題中開發(fā)者感興趣的特征做甄選。與之相比，深度學(xué)習(xí)方法不需事前創(chuàng)建特征：深度學(xué)習(xí)中，特征提取和分類被同時(shí)訓(xùn)練。比如說(shuō)在圖像識(shí)別中，圖像過(guò)濾器或者原始參數(shù)在分類網(wǎng)絡(luò)中的第一層進(jìn)行訓(xùn)練。這是一個(gè)腦機(jī)交互接口社區(qū)早已提過(guò)的概念——例如對(duì) Common Spatial Filters (CSP) 進(jìn)行訓(xùn)練，以對(duì)每一個(gè) BCI 用戶進(jìn)行相適應(yīng)的特征提取。
更重要的是，深度學(xué)習(xí)勝任了許多從前無(wú)法解決的問(wèn)題。這是由于它：1. 既充分鼓勵(lì)了大數(shù)據(jù)集的收集；2. 又在開發(fā)過(guò)程中系統(tǒng)性地整合了性能評(píng)估。
雷鋒網(wǎng)按：如同一枚硬幣，這是同一個(gè)問(wèn)題的正反兩面。對(duì)于大數(shù)據(jù)集，用人工流程進(jìn)行性能評(píng)估變得不再可行。你需要盡可能把過(guò)程自動(dòng)化。自動(dòng)化意味著設(shè)立交叉驗(yàn)證（cross-validation）階段，以及把它整合進(jìn)開發(fā)流程。
近年來(lái)各個(gè) DL 平臺(tái)以及數(shù)據(jù)分析挑戰(zhàn)賽的普及，對(duì)大數(shù)據(jù)集和性能評(píng)估起到了非常好的支持作用。第一批挑戰(zhàn)賽圍繞著最重要的計(jì)算機(jī)視覺和模式識(shí)別會(huì)議組織。 這便是 PASCAL 和 ImageNet 挑戰(zhàn)的情形。它們使得大型圖像數(shù)據(jù)集首次被創(chuàng)建出來(lái)，最重要的是，它們是關(guān)聯(lián)了真實(shí)標(biāo)記（ground truth）的樣例，可用于系統(tǒng)性的算法性能評(píng)估。
更重要的是，性能評(píng)估是在訓(xùn)練集的真實(shí)標(biāo)記上進(jìn)行盲測(cè)，通過(guò)調(diào)參來(lái)推高性能是不可能的。這一挑戰(zhàn)賽概念被隨后用于數(shù)據(jù)分析平臺(tái)，最著名的是 Kaggle，但它不是唯一一個(gè)，還有 DrivenData、InnoCentive 等等。這些數(shù)據(jù)競(jìng)賽平臺(tái)基于同樣的理念：它們提供了用于訓(xùn)練的數(shù)據(jù)集，用于測(cè)試的“盲”數(shù)據(jù)集，再加上一個(gè)能比較不同團(tuán)隊(duì)完成效果的平臺(tái)。對(duì)與數(shù)據(jù)科學(xué)而言，尤其是深度學(xué)習(xí)，這絕對(duì)是一個(gè)很好的刷經(jīng)驗(yàn)場(chǎng)所。
我想要與你分享的最后一條原因，與前兩條的聯(lián)系十分緊密：沒有技術(shù)進(jìn)步，上文中那些創(chuàng)新都無(wú)法實(shí)現(xiàn)。
內(nèi)存和存儲(chǔ)的價(jià)格下降（雷鋒網(wǎng)注：這里關(guān)注的是長(zhǎng)期趨勢(shì)，2016-2017 的內(nèi)存、SSD 價(jià)格上漲，是各方原因造成的價(jià)格反彈），使得數(shù)據(jù)集能以不斷增長(zhǎng)的規(guī)模存儲(chǔ)下來(lái)。廣為人知的摩爾定律描述了與之伴隨的計(jì)算性能提高。最后，互聯(lián)網(wǎng)技術(shù)的爆發(fā)，確鑿無(wú)疑地讓內(nèi)存和計(jì)算性能“民主化”，更多人享受到它們帶來(lái)的便利。云存儲(chǔ)和高性能計(jì)算（HPC）使得執(zhí)行架構(gòu)（implemented architectures，比方說(shuō)網(wǎng)絡(luò)中相關(guān)層和節(jié)點(diǎn)的書目）的復(fù)雜程度以指數(shù)級(jí)增長(zhǎng)。至少在目前，這被證明是深度學(xué)習(xí)最成功的應(yīng)用路徑。
via kdnuggets
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
