雷鋒網(wǎng)按：本文由「圖普科技」編譯自 Google's AutoML: Cutting Through the Hype

在推出AutoML時，谷歌首席執(zhí)行官Sundar Pichai在博客中寫道：“設(shè)計神經(jīng)網(wǎng)絡(luò)是非常耗時的，其對專業(yè)知識的極高要求使得只有小部分科研人員和工程師才能參與設(shè)計。這就是我們創(chuàng)建AutoML方法的原因，有了它，神經(jīng)網(wǎng)絡(luò)也可以設(shè)計神經(jīng)網(wǎng)絡(luò)。我們希望AutoML能夠擁有現(xiàn)在一些博士擁有的能力，并可以在三到五年內(nèi)使眾多開發(fā)人員也能通過 AutoML 設(shè)計神經(jīng)網(wǎng)絡(luò)，滿足其特定的需求?！?/p>

谷歌首席執(zhí)行官Sundar Pichai表示，我們都需要設(shè)計自己的神經(jīng)網(wǎng)絡(luò)

谷歌的人工智能負(fù)責(zé)人Jeff Dean表示，100倍的計算力可以取代人類機器學(xué)習(xí)專家，他以需要龐大計算力的神經(jīng)架構(gòu)搜索為案例來解釋了這一點。（在他的TensorFlow DevSummit大會主旨演講視頻中大約23:50左右）

這引發(fā)了許多問題的討論：眾多開發(fā)人員需要“設(shè)計神經(jīng)網(wǎng)絡(luò)，滿足其特定的需求”（引自Pichai的愿景），或是否有一種行之有效的方法可以使得神經(jīng)網(wǎng)絡(luò)可以廣泛適用于同一類問題的解決？巨大的計算能力真的可以取代人類機器學(xué)習(xí)專家嗎？

在評估谷歌的聲明時，應(yīng)當(dāng)牢記，如果我們被說服，相信有效使用深度學(xué)習(xí)技術(shù)的關(guān)鍵是提高計算能力，谷歌將從中利益，因為在這一領(lǐng)域，谷歌明顯遙遙領(lǐng)先。如果這是真的話，我們可能都需要購買谷歌的產(chǎn)品。就其本身而言，這并不意味著谷歌的說法都是錯誤的，但很好地了解他們的聲明背后隱藏的經(jīng)濟(jì)動機是有必要的。

在之前的文章中，我介紹了AutoML的歷史，解釋了什么是神經(jīng)架構(gòu)搜索，并指出對于許多機器學(xué)習(xí)項目，設(shè)計或選擇架構(gòu)遠(yuǎn)不是最困難，最耗時或最痛苦的問題。在今天的帖子中，我想特別關(guān)注Google的AutoML本身，這是一個廣受關(guān)注的產(chǎn)品，并試圖解決以下問題：

?       什么是AutoML?

?       什么是遷移學(xué)習(xí)?

?       神經(jīng)架構(gòu)搜索與遷移學(xué)習(xí)：兩種截然相反的方法

?       需要更多證據(jù)

?       為什么谷歌的AutoML備受追捧?

?       我們?nèi)绾谓鉀Q機器學(xué)習(xí)專家短缺的問題?

什么是AutoML？

盡管AutoML領(lǐng)域已經(jīng)發(fā)展了很多多年（包括開源AutoML庫，研討會，研究，和比賽），但在2017年5月，Google仍將其神經(jīng)架構(gòu)搜索稱之為AutoML。在谷歌I/O大會上發(fā)布的博客聲明中，谷歌首席執(zhí)行官Sundar Pichai寫道：“這就是我們創(chuàng)建AutoML方法的原因，有了它，神經(jīng)網(wǎng)絡(luò)也可以設(shè)計神經(jīng)網(wǎng)絡(luò)?！保籊oogle AI研究人員Barret Zoph和Quoc Le寫道：“通過我們的方法（我們稱之為“AutoML”）中，神經(jīng)網(wǎng)絡(luò)控制器可以提出一個“子”模型架構(gòu)...”

Google于2018年1月推出機器學(xué)習(xí)產(chǎn)品- Cloud AutoML。到目前為止，它只有一個公開可用的服務(wù)AutoML Vision，AutoML Vision是一種識別或分類圖像中對象的API。根據(jù)產(chǎn)品頁面的描述，Cloud AutoML Vision依賴于兩種核心技術(shù)：遷移學(xué)習(xí)和神經(jīng)架構(gòu)搜索。既然我們已經(jīng)介紹過了神經(jīng)架構(gòu)搜索，現(xiàn)在讓我們看一下遷移學(xué)習(xí)，了解一下它與神經(jīng)架構(gòu)搜索之間的關(guān)系。

關(guān)于谷歌的AutoML和神經(jīng)架構(gòu)搜索的一小部分的頭條新聞

注意：Google Cloud AutoML還有一個仍然處于alpha測試狀態(tài)的拖放式ML產(chǎn)品。我在2個月前申請訪問它，但至今還沒有收到谷歌的回復(fù)。我計劃在它發(fā)布后開貼寫一篇文章。

什么是遷移學(xué)習(xí)？

遷移學(xué)習(xí)是一種強大的機器學(xué)習(xí)技術(shù)，通過利用已經(jīng)在類似的大型數(shù)據(jù)集上訓(xùn)練過的預(yù)訓(xùn)練模型，可以讓人們使用較小數(shù)據(jù)集或較低的計算能力獲得最先進(jìn)的結(jié)果。因為通過遷移學(xué)習(xí)方式學(xué)習(xí)的模型不需要從頭學(xué)習(xí)，所以與不使用遷移學(xué)習(xí)的模型相比，它通?？梢砸愿俚臄?shù)據(jù)和計算時間達(dá)到更高的準(zhǔn)確度。

遷移學(xué)習(xí)是我們在整個免費的碼農(nóng)實用深度學(xué)習(xí)課程中使用的核心技術(shù) - 我們的學(xué)生不斷地將其應(yīng)用到生產(chǎn)過程中，無論是在自己的創(chuàng)業(yè)公司還是財富500強公司。雖然比起神經(jīng)架構(gòu)搜索，遷移學(xué)習(xí)似乎“不那么吸引人”，但有人已經(jīng)在利用遷移學(xué)習(xí)技術(shù)實現(xiàn)突破性的學(xué)術(shù)成果，例如Jeremy Howard 和 Sebastian Ruder將遷移學(xué)習(xí)應(yīng)用于NLP，在6個數(shù)據(jù)集上完成了最佳分類。同時，遷移學(xué)習(xí)技術(shù)也是在OpenAI中該領(lǐng)域進(jìn)一步研究的基礎(chǔ)。

神經(jīng)架構(gòu)搜索與遷移學(xué)習(xí)：兩種截然相反的方法

遷移學(xué)習(xí)的基本思路是將神經(jīng)網(wǎng)絡(luò)架構(gòu)泛化以解決相似類型的問題：例如，許多圖像與其他類型的圖像具有相同的基本特征（例如角，圓形，狗臉或輪子）。 相比之下，神經(jīng)架構(gòu)搜索解決問題的基本理念恰恰相反：每個數(shù)據(jù)集都有一個獨特的，高度專門化的架構(gòu)。

來自Matthew Zeiler和Rob Fergus的例子，圖像分類器習(xí)得的4個特征：角，圓圈，狗臉和輪子

當(dāng)神經(jīng)架構(gòu)搜索發(fā)現(xiàn)新架構(gòu)時，你必須從頭開始學(xué)習(xí)該架構(gòu)的權(quán)重，而使用遷移學(xué)習(xí)方法時，你可以直接使用預(yù)先訓(xùn)練的模型的現(xiàn)有權(quán)重。從這個意義上說，你不能同時使用神經(jīng)架構(gòu)搜索和遷移學(xué)習(xí)解決同一問題：如果你正在學(xué)習(xí)一個新的架構(gòu)，你需要為它訓(xùn)練新的權(quán)重; 而如果你通過預(yù)訓(xùn)練模型遷移學(xué)習(xí)，則無法對架構(gòu)進(jìn)行任何實質(zhì)性更改。

當(dāng)然，你可以將遷移學(xué)習(xí)應(yīng)用于通過神經(jīng)架構(gòu)搜索方法習(xí)得的架構(gòu)（我認(rèn)為這是一個好主意！）。 這僅需要少數(shù)研究人員使用神經(jīng)架構(gòu)搜索并將他們找到的模型開源。在可以使用遷移學(xué)習(xí)解決問題時，沒有必要讓所有機器學(xué)習(xí)從業(yè)者都使用神經(jīng)架構(gòu)搜索方法。 然而，Jeff Dean的主題演講，Sundar Pichai的博客文章，Google Cloud的宣傳材料和媒體報道都表明了相反的觀點：每個人都需要能夠直接使用神經(jīng)架構(gòu)搜索。

神經(jīng)架構(gòu)搜索有哪些好處？

神經(jīng)架構(gòu)搜索有助于尋找新的架構(gòu)！谷歌的AmoebaNet是通過神經(jīng)架構(gòu)搜索學(xué)習(xí)的，并且fast.ai對此進(jìn)行了改進(jìn)，學(xué)習(xí)進(jìn)程加快的同時改變了訓(xùn)練過程中圖像的尺寸。AmoebaNet已成為在單臺機器上訓(xùn)練ImageNet最便宜的方式！

AmoebaNet設(shè)計時沒有考慮具有擴展能力的獎勵函數(shù)，因此它不能像ResNet一樣擴展到多臺機器，但是針對不同性質(zhì)的可很好擴展的神經(jīng)網(wǎng)絡(luò)在未來是很有可能被自動學(xué)習(xí)出來的。

需要更多證據(jù)

目前還沒有證據(jù)表明每個數(shù)據(jù)集最好使用自己的自定義模型建模，而不是微調(diào)現(xiàn)有模型。 由于神經(jīng)結(jié)構(gòu)搜索需要更大的訓(xùn)練集，因此對于較小的數(shù)據(jù)集來說尤其如此。甚至谷歌自己的一些研究也使用的是可遷移技術(shù)，而不是為每個數(shù)據(jù)集尋找新的架構(gòu)，例如NASNet（博客文章），它在Cifar10上學(xué)習(xí)了一個架構(gòu)模塊，然后使用模塊為ImageNet創(chuàng)建了一個架構(gòu)。我還沒有聽說過任何機器學(xué)習(xí)比賽獲勝者使用的是神經(jīng)架構(gòu)搜索。

此外，我們不知道谷歌推廣的需要計算力的神經(jīng)架構(gòu)搜索方法是否具有顯著的優(yōu)越性。 例如，最近有一些論文，如高效神經(jīng)架構(gòu)搜索（ENAS）和可微架構(gòu)搜索（DARTS），提出了更有效的算法。 DARTS僅需4個GPU工作天數(shù)就可學(xué)會架構(gòu)，而NASNet則需1800個GPU工作天數(shù)，AmoebaNet則為3150個GPU工作天數(shù)（都曾在Cifar-10中學(xué)習(xí)，精確度相同）。 Jeff Dean是ENAS論文的作者，他在論文中提出了一種計算力低1000倍的技術(shù)，這似乎與他在一個月后在TF DevSummit大會上強調(diào)使用計算力高100倍的方法不一致。

為什么谷歌的AutoML備受追捧?

鑒于上述限制，為什么谷歌AutoML的有用性還沒有經(jīng)過驗證（至少到目前為止），就被如此追捧？ 我認(rèn)為有以下幾個原因：

1.  谷歌的AutoML更加突顯了一個營利性公司設(shè)立學(xué)術(shù)性研究實驗室可能遭遇的一些風(fēng)險。在這種環(huán)境下，人們很容易圍繞有趣的學(xué)術(shù)研究創(chuàng)造產(chǎn)品，而不評估它們是否滿足實際需求。許多人工智能初創(chuàng)企業(yè)也正是如此，例如MetaMind或Geometric Intelligence，它們被收購時甚至還沒有推出一樣產(chǎn)品。我對創(chuàng)業(yè)公司創(chuàng)始人的建議是不要直接將你的博士論文投入生產(chǎn)，也不要只招聘學(xué)術(shù)研究人員。

2.  谷歌擅長營銷。許多門外漢認(rèn)為人工智能是一個難以接近和令人生畏的領(lǐng)域，他們認(rèn)為自己沒有辦法去評估這些聲明，特別是像谷歌這樣久負(fù)盛名的公司所發(fā)表的聲明。 許多記者也是如此，甚至不加批判地將谷歌的廣告宣傳寫成了炙手可熱的文章。 我會定期與那些不從事機器學(xué)習(xí)領(lǐng)域的人交談，他們從未使用過任何Google ML產(chǎn)品，對這些產(chǎn)品十分感興趣，但又說不出什么名堂。

舉一個谷歌吹捧其成就的誤導(dǎo)性報道的典型例子：谷歌人工智能研究人員曾發(fā)布了一篇名為“使用深度學(xué)習(xí)技術(shù)來重建真正的人類基因組”的文章，將自己的工作與諾貝爾獎獲得者的發(fā)現(xiàn)相提并論（狂妄自大！），該文章被Wired選中刊登。然而，約翰斯·霍普金斯大學(xué)生物醫(yī)學(xué)工程，計算機科學(xué)和生物統(tǒng)計學(xué)的杰出教授Steven Salzberg駁斥了谷歌的帖子。 Salzberg指出，這項研究實際上并沒有重建人類基因組，而“僅僅是對現(xiàn)有軟件的一些改進(jìn)，甚至可能還沒有改進(jìn)多少?！痹S多其他基因組學(xué)研究人員都贊同Salzberg的觀點。

谷歌正在進(jìn)行一些了不起的工作，但如果我們不必篩選如此多的誤導(dǎo)性炒作來弄清楚什么是合理的，那么它所做的工作也會更容易得到承認(rèn)。

3. 如果我們被說服，相信有效使用深度學(xué)習(xí)技術(shù)的關(guān)鍵是提高計算能力，谷歌將從中獲益，因為在這一領(lǐng)域，谷歌明顯遙遙領(lǐng)先。AutoML通常需要大量的計算，例如要學(xué)習(xí)AmoebaNet，谷歌需要在450 個K40 GPU上訓(xùn)練7天（相當(dāng)于3150個GPU工作天數(shù)）。

雖然工程師和媒體經(jīng)常癡迷于計算能力或其他一些更龐大的東西，但歷史表明，創(chuàng)新往往是在約束和創(chuàng)造力的基礎(chǔ)上產(chǎn)生的。 Google使用龐大的計算力處理海量數(shù)據(jù); 我們當(dāng)前生活在資源有限的受約束的世界中，這種方法真的可以泛化以解決我們面臨的問題嗎？

創(chuàng)新是以不同的方式來解決問題，而不是把事情做大。 fast.ai最近在斯坦福大學(xué)DAWNBench比賽中取得的成功就證明了這一點。

如何解決機器學(xué)習(xí)專家短缺的問題？

回到Jeff Dean在TensorFlow DevSummit主旨演講中提出的關(guān)于機器學(xué)習(xí)從業(yè)者全球短缺的問題，我們可以另一個角度來解決這個問題。我們可以通過以下幾種方法消除使用深度學(xué)習(xí)技術(shù)的最大障礙：

1.  使深度學(xué)習(xí)更容易使用

2.  為深度學(xué)習(xí)去神秘化

3.  為資金不足無法使用云GPU的人增加訪問權(quán)限

使深度學(xué)習(xí)更容易使用

研究如何使深度學(xué)習(xí)更容易使用能夠產(chǎn)生巨大的影響，能夠更快更簡單地訓(xùn)練出更好的網(wǎng)絡(luò)。 現(xiàn)已成為標(biāo)準(zhǔn)做法的一些發(fā)現(xiàn)包括：

?       Dropout允許對較小的數(shù)據(jù)集進(jìn)行訓(xùn)練而不會過度擬合。

?       Batch normalization可以加快訓(xùn)練速度。

?       Rectified linear units有助于避免梯度爆炸。

一些旨在提高易用性的最新研究包括：

?       學(xué)習(xí)速率查詢器使訓(xùn)練過程更加穩(wěn)定。

?       超級收斂可加快訓(xùn)練速度，減少了計算資源。

?       現(xiàn)有架構(gòu)的“Custom heads”可以更輕松地重用架構(gòu)來解決一系列問題（例如，修改用于分類的ResNet，以便查找邊界框或進(jìn)行樣式遷移），

以上發(fā)現(xiàn)均未涉及計算能力；相反，所有這些都是使用創(chuàng)造性的方式來解決問題。

為深度學(xué)習(xí)去神秘化

另一個障礙是許多錯誤觀念讓人們相信深度學(xué)習(xí)不適合他們：錯誤地認(rèn)為他們的數(shù)據(jù)規(guī)模太小，他們沒有接受正規(guī)的教育或沒有相關(guān)背景，或他們的計算能力不夠。很多人相信，只有機器學(xué)習(xí)領(lǐng)域博士才能夠使用深度學(xué)習(xí)技術(shù)，許多公司因無力雇用專家而放棄往這方面發(fā)展。然而，事實上，公司不僅可以將他們已有的員工培訓(xùn)為機器學(xué)習(xí)專家，這甚至是一種更可取的做法，因為你現(xiàn)有的員工已經(jīng)擁有你從事的領(lǐng)域的專業(yè)知識！

我認(rèn)為，對于與我交談過的絕大多數(shù)人來說，進(jìn)入深度學(xué)習(xí)的門檻遠(yuǎn)遠(yuǎn)低于他們的預(yù)期：僅需一年的編碼經(jīng)驗和訪問GPU的權(quán)限。

增加訪問權(quán)限：谷歌 Colab Notebooks

雖然云GPU（每小時約50美分）的成本在我們許多人的預(yù)算范圍內(nèi)，根據(jù)我定期與世界各地學(xué)生的聯(lián)系來看，有些學(xué)生完全無法承擔(dān)任何GPU的使用。 在某些國家/地區(qū)，即使他們有錢，銀行和信用卡方面的規(guī)定也會使他們難以使用AWS等服務(wù)。谷歌Colab Notebooks是一個解決方案！ Colab Notebooks提供了一個Jupyter筆記本環(huán)境，無需設(shè)置即可使用，完全在云端運行，并允許用戶訪問免費GPU（盡管不允許長時間使用GPU）。 它們還可用于創(chuàng)建包含在交互式環(huán)境中運行的代碼示例的文檔。 谷歌Colab Notebooks在實現(xiàn)深度學(xué)習(xí)大眾化方面的作用甚至超過了AutoML; 也許這將成為未來谷歌營銷機器的更好選擇。           

相關(guān)文章：

谷歌大腦撰文解析 AutoML：神經(jīng)網(wǎng)絡(luò)如何自行設(shè)計神經(jīng)架構(gòu)？ | Google I/O 2017

揭秘 | 谷歌自動化機器學(xué)習(xí)真的那么神嗎？

技術(shù)人創(chuàng)業(yè)者夏粉：用 AI 創(chuàng)造 AI

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。