0
雷鋒網(wǎng) AI 科技評(píng)論編者按：近期，Google 開(kāi)源了輕量級(jí) AutoML 框架—— AdaNet，該框架基于 TensorFlow，只需要少量的專(zhuān)家干預(yù)便能自動(dòng)學(xué)習(xí)高質(zhì)量模型，在提供學(xué)習(xí)保證（learning guarantee）的同時(shí)也能保持快速、靈活。值得一提的是，AdaNet 提供了一種通用框架，不僅能夠?qū)W習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，還能學(xué)習(xí)集成從而獲得更佳的模型。雷鋒網(wǎng) AI 科技評(píng)論根據(jù) Google AI 在博客上發(fā)布 AutoML 的文章進(jìn)行編譯如下。
整合了不同機(jī)器學(xué)習(xí)模型預(yù)測(cè)的模型集成，被廣泛運(yùn)用于神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)最優(yōu)性能，它受益于悠久的歷史和理論，從而在 Netflix Prize 和各項(xiàng) Kaggle 競(jìng)賽等挑戰(zhàn)賽中拔得頭籌。然而由于訓(xùn)練耗時(shí)長(zhǎng)，以及機(jī)器學(xué)習(xí)模型的選擇機(jī)制需要自身具備領(lǐng)域?qū)I(yè)知識(shí)，它們?cè)趯?shí)踐中的應(yīng)用并不多。不過(guò)隨著算力和 TPU 等深度學(xué)習(xí)專(zhuān)用硬件變得更容易獲得，我們可以允許更大的機(jī)器學(xué)習(xí)模型，模型集成方法也就成了一種能帶來(lái)突出表現(xiàn)的選擇?，F(xiàn)在想象一下，一個(gè)工具可以自動(dòng)搜索神經(jīng)架構(gòu)，并學(xué)習(xí)將最佳的神經(jīng)架構(gòu)集成到一個(gè)高質(zhì)量的模型中。
現(xiàn)在，Google 對(duì)基于 TensorFlow 的輕量級(jí)框架 AdaNet 進(jìn)行開(kāi)源，這一框架只需要少量的專(zhuān)家干預(yù)便能自動(dòng)學(xué)習(xí)高質(zhì)量模型。AdaNet 在 Google 最近的強(qiáng)化學(xué)習(xí)和基于進(jìn)化的 AutoML 成果的基礎(chǔ)上構(gòu)建，在提供學(xué)習(xí)保證的同時(shí)也能保持快速、靈活。重點(diǎn)是，AdaNet 提供了一種通用框架，不僅能夠?qū)W習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)，還能學(xué)習(xí)集成從而獲得更佳的模型。
AdaNet 使用方便，還能創(chuàng)建高質(zhì)量模型，以節(jié)省機(jī)器學(xué)習(xí)從業(yè)者通常在選擇最優(yōu)神經(jīng)網(wǎng)絡(luò)架構(gòu)上所耗費(fèi)的時(shí)間，它會(huì)執(zhí)行一個(gè)自適應(yīng)學(xué)習(xí)算法，學(xué)習(xí)出一個(gè)由許多子網(wǎng)絡(luò)集成得到的神經(jīng)網(wǎng)絡(luò)架構(gòu)。AdaNet 能夠通過(guò)不同深度和寬度的子網(wǎng)絡(luò)來(lái)創(chuàng)建多種不同的集成，并在性能提升和參數(shù)數(shù)量二者之間進(jìn)行權(quán)衡。
AdaNet 適應(yīng)性地增加神經(jīng)網(wǎng)絡(luò)的集成。在每次迭代中，AdaNet 衡量每個(gè)候選神經(jīng)網(wǎng)絡(luò)的集成損失，并選擇將最優(yōu)的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)入下一次迭代中。
AdaNet 采用了 TensorFlow Estimator 接口，通過(guò)封裝訓(xùn)練、評(píng)估、預(yù)測(cè)和輸出，極大簡(jiǎn)化了機(jī)器學(xué)習(xí)編程，并整合了 TensorFlow Hub modules、TensorFlow Model Analysis、Google Cloud』s Hyperparameter Tuner 這類(lèi)開(kāi)源工具。其對(duì)分布式訓(xùn)練的支持，極大縮短了訓(xùn)練時(shí)間，并且增加新的 CPU 和加速器（例如 GPU）之后性能可以獲得線性提升。
AdaNet 在 CIFAR-100 上每個(gè)訓(xùn)練步（x 軸）對(duì)應(yīng)的準(zhǔn)確率（y 軸）。藍(lán)線表示訓(xùn)練集上的準(zhǔn)確率，紅線表示測(cè)試集上的性能。一個(gè)新的子網(wǎng)絡(luò)以每一百萬(wàn)步開(kāi)始訓(xùn)練，最終提高整個(gè)集成模型的性能。灰色和綠色線表示新增的子網(wǎng)絡(luò)之前的集成準(zhǔn)確率。
作為最好的 TensorFlow 功能之一，TensorBoard 可以將訓(xùn)練過(guò)程中的模型指標(biāo)可視化，因而 AdaNet 可與 TensorBoard 實(shí)現(xiàn)無(wú)縫整合，來(lái)監(jiān)控子網(wǎng)絡(luò)訓(xùn)練、集成合并和性能。AdaNet 完成訓(xùn)練后，會(huì)輸出一個(gè)可使用 TensorFlow Serving 進(jìn)行部署的 SavedMode。
構(gòu)建神經(jīng)網(wǎng)絡(luò)集成面臨一些挑戰(zhàn)：要考量什么是最佳子網(wǎng)絡(luò)架構(gòu)？重復(fù)使用相同的架構(gòu)最好，還是鼓勵(lì)差異化最好？盡管具備更多參數(shù)的復(fù)雜子網(wǎng)絡(luò)在訓(xùn)練集上傾向于表現(xiàn)更好，但是它們也由于更大的復(fù)雜性而可能難以泛化到未知的數(shù)據(jù)。這些挑戰(zhàn)源自于對(duì)模型性能的評(píng)估，我們可以從訓(xùn)練集單獨(dú)分出來(lái)一部分?jǐn)?shù)據(jù)用于評(píng)估性能，不過(guò)這樣的話可能會(huì)減少可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的樣本量。
不一樣的是，AdaNet 的方法（該方法可參考 ICML 2017 的論文 AdaNet: Adaptive Structural Learning of Arti?cial Neural Networks）是優(yōu)化一個(gè)目標(biāo)，在訓(xùn)練集的集成性能和未知數(shù)據(jù)的泛化能力間進(jìn)行權(quán)衡。這里采用了一個(gè)符合人類(lèi)直覺(jué)的設(shè)定：只有當(dāng)一個(gè)候選的子網(wǎng)絡(luò)對(duì)集成模型的訓(xùn)練損失的優(yōu)化超過(guò)其對(duì)泛化能力的負(fù)面影響時(shí)，AdaNet 才會(huì)把這個(gè)子網(wǎng)絡(luò)集成進(jìn)來(lái)。這保證了：
第一，集成的泛化誤差受其訓(xùn)練誤差和復(fù)雜度的約束；
第二，通過(guò)優(yōu)化這一目標(biāo)，能夠直接最小化該約束。
優(yōu)化這一目標(biāo)的實(shí)際收益是，它能消除選擇加入集成的候選子網(wǎng)絡(luò)時(shí)對(duì)于留出集的需求。如此帶來(lái)的附加收益是，使得 AdaNet 能夠使用更多的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練子網(wǎng)絡(luò)。
如需了解更多，可參考其 AdaNet 目標(biāo)函數(shù)教程（https://github.com/tensorflow/adanet/blob/v0.1.0/adanet/examples/tutorials/adanet_objective.ipynb）。
Google 認(rèn)為，創(chuàng)建應(yīng)用于研究和產(chǎn)品的有用的 AutoML 框架的關(guān)鍵是，它不僅能夠提供合理的默認(rèn)值，還能讓用戶可以嘗試定義自己的子網(wǎng)絡(luò)/模型。最終，機(jī)器學(xué)習(xí)研究者、從業(yè)者以及愛(ài)好者都能夠受邀使用 tf.layers 等高水平的 TensorFlow APIs，來(lái)定義他們自己的 AdaNet adanet.subnetwork.Builder。
對(duì)于已經(jīng)在自己的系統(tǒng)中集成了 TensorFlow 模型的用戶，可以輕易地將自己的 TensorFlow 代碼轉(zhuǎn)到 AdaNet 子網(wǎng)絡(luò)中，并且能夠在獲得學(xué)習(xí)保證的同時(shí)，使用 adanet.Estimator 來(lái)提升模型性能。AdaNet 會(huì)探索他們定義的候選子網(wǎng)絡(luò)搜索空間，同時(shí)學(xué)習(xí)對(duì)子網(wǎng)絡(luò)進(jìn)行集成。例如，Google 實(shí)現(xiàn) NASNet-A CIFAR 架構(gòu)的開(kāi)源，將其遷移到了一個(gè)子網(wǎng)絡(luò)中，并經(jīng)過(guò) 8 次 AdaNet 迭代提高了它在 CIFAR-10 上的最優(yōu)結(jié)果。除此之外，Google 的模型實(shí)現(xiàn)了用更少參數(shù)來(lái)獲得以下結(jié)果：
在 CIFAR-10 數(shù)據(jù)集上，展示在 Zoph et al., 2018 中的 NASNet-A 模型的性能 VS 學(xué)習(xí)結(jié)合多個(gè)小型 NASNet-A 子網(wǎng)絡(luò)的 AdaNet 的性能。
用戶也可以通過(guò)固定或自定義的 tf.contrib.estimator.Heads，將自己定義的損失函數(shù)用作 AdaNet 目標(biāo)的一部分來(lái)訓(xùn)練回歸、分類(lèi)以及多任務(wù)學(xué)習(xí)問(wèn)題。
用戶還可以通過(guò)擴(kuò)展 adanet.subnetwork.Generator 類(lèi)別，來(lái)充分定義要探索的候選子網(wǎng)絡(luò)搜索空間。這使得他們能夠基于可獲得的硬件來(lái)擴(kuò)大或者縮小其搜索空間。子網(wǎng)絡(luò)的訓(xùn)練空間可以簡(jiǎn)單也可以復(fù)雜，簡(jiǎn)單的時(shí)候可以只是多次復(fù)制同樣的子網(wǎng)絡(luò)設(shè)置，只不過(guò)用了幾個(gè)不同的隨機(jī)種子，復(fù)雜的時(shí)候就可以是用不同的超參數(shù)組合訓(xùn)練幾十個(gè)不同的子網(wǎng)絡(luò)，然后由 AdaNet 選擇其中的某一個(gè)包括到最終的集成模型中。
如果的大家對(duì)獨(dú)立嘗試 AdaNet 感興趣，可以前往 Github repo（https://github.com/tensorflow/adanet），并查看相關(guān)教程（https://github.com/tensorflow/adanet/tree/v0.1.0/adanet/examples）。
via：Google AI Blog（Charles Weill,Introducing AdaNet: Fast and Flexible AutoML with Learning Guarantees），雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
