在第一期「論道 AI 安全與倫理」圓滿召開之后，在思想火花的碰撞與激蕩下，AI Time 第二期如約而至。第二期以「論道自動機(jī)器學(xué)習(xí)和可解釋機(jī)器學(xué)習(xí)」為主題，現(xiàn)場嘉賓針對多個問題，如自動機(jī)器學(xué)習(xí)（AutoML）和可解釋機(jī)器學(xué)習(xí)（Explainable ML）的區(qū)別、各自優(yōu)劣、未來發(fā)展等展開精彩討論。接下來，雷鋒網(wǎng) AI 科技評論將選取嘉賓的真知灼見，讓大家在這場思辨會中對 autoML 和 Explainable ML 增添一份了解，對他們的差異有更深入的認(rèn)識。

延續(xù)第一期的大咖陣容，這期的嘉賓也是或已經(jīng)功成名就的學(xué)者，或拿獎到手軟的青年才俊，或業(yè)界的資深專家。他們分別為美國伊利諾伊大學(xué)芝加哥分校 (UIC) 特聘教授俞士綸、美國密歇根大學(xué)梅俏竹教授、北京大學(xué)的王立威教授、百度高級研究員李興建。以下便是此次研討會的精彩內(nèi)容。

王立威：對 AutoML 的簡單介紹

對于機(jī)器學(xué)習(xí)，大家可能有所了解，給你一些數(shù)據(jù)，然后得到一個識別圖像的分類器，或者語言翻譯器。在機(jī)器學(xué)習(xí)過程中會運用到很多模型，涉及到一些超參數(shù)。在過去，這些模型的設(shè)計和超參數(shù)的調(diào)節(jié)，全都是根據(jù)人的經(jīng)驗積累，AutoML 的想法是把模型設(shè)計、超參數(shù)的調(diào)節(jié)全部變成一種自動的學(xué)習(xí)過程，而不借助人的經(jīng)驗。

這里可以用數(shù)學(xué)公式來定義，簡單來說，對于你給定的一個任務(wù)，希望機(jī)器能夠自動學(xué)習(xí)模型的結(jié)構(gòu)和設(shè)置，并能達(dá)到最優(yōu)層級。舉個例子，過去大家用得比較多的是 ResNet 或者 DesNet，這些網(wǎng)絡(luò)結(jié)構(gòu)都是通過經(jīng)驗，人為設(shè)計出來的。現(xiàn)在談到 AutoML，我們希望網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計變成一個優(yōu)化問題，由機(jī)器學(xué)習(xí)出來。

我的學(xué)生把深度學(xué)習(xí)的調(diào)參叫做煉丹，我相信真正做過這件事情的人都有同感。古代的術(shù)士去煉丹，火候要掌握到什么程度，需要多長時間，這些都憑長期的經(jīng)驗積累。當(dāng)我們把這件事情變成機(jī)器自動的過程，自己去找到最優(yōu)的超參數(shù)，而不是人在那兒煉丹，這應(yīng)該是 AutoML 非常大的意義。

另外，傳統(tǒng)的一些網(wǎng)絡(luò)由人為設(shè)計，它們結(jié)構(gòu)簡單，具有對稱性，看起來很規(guī)則。但是現(xiàn)在，完全可以用學(xué)習(xí)的方式，來學(xué)出網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，學(xué)到的結(jié)構(gòu)可能極其復(fù)雜，但從效果上來說，針對一些具體問題，這個網(wǎng)絡(luò)可能要比人為設(shè)計的網(wǎng)絡(luò)效果明顯要高。

梅俏竹：可解釋機(jī)器學(xué)習(xí)與自動機(jī)器學(xué)習(xí)并不矛盾

自動機(jī)器學(xué)習(xí)與可解釋機(jī)器學(xué)習(xí)并不矛盾。全自動的機(jī)器學(xué)習(xí)，可以具有可解釋性，可解釋機(jī)器學(xué)習(xí)也可以是自動的。

考慮一個簡單的問題，在做診斷時，一個強大的機(jī)器學(xué)習(xí)診斷系統(tǒng)能夠讀 X 光片，能夠判斷出患者是否患病。但是我們不僅要做診斷，還要把診斷結(jié)果描述給患者聽，最終讓病患接受醫(yī)生的建議。

在這個流程里面，如果用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，數(shù)據(jù)（即 X 光片）已經(jīng)給到，AutoML 能夠自動學(xué)出該用什么樣的網(wǎng)絡(luò)以及超參數(shù)，然后做出決定。但這里存在一個問題，醫(yī)生能不能接受？如果醫(yī)生都很難接受，那病人就更難接受了，因為我解釋不清楚為什么診斷為這個病。

可解釋機(jī)器學(xué)習(xí)就是想解決這個問題，它會告訴我為什么出現(xiàn)這種診斷結(jié)果。他會站在醫(yī)生和病人的角度，告訴他們自己希望了解的內(nèi)容。這是可解釋性機(jī)器學(xué)習(xí)的愿景，與自動機(jī)器學(xué)習(xí)并不矛盾，可解釋性是建立信任人與 AI 的信任的必然路徑。

百度高級研究員李興建：從產(chǎn)業(yè)界講 AutoML

人腦的結(jié)構(gòu)，其實經(jīng)歷了上億年的進(jìn)化，優(yōu)質(zhì)的品種得到保留，劣質(zhì)的品種逐步被淘汰。研究人員在神經(jīng)網(wǎng)絡(luò)設(shè)計方面也做了類似的實驗，從一些結(jié)構(gòu)簡單、效果比較差的網(wǎng)絡(luò)開始，通過不斷進(jìn)化的方式，來觀察神經(jīng)網(wǎng)絡(luò)模式的變化，最后通過大量的計算，演化出效果非常好的網(wǎng)絡(luò)。這是比較早的關(guān)于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的探索?，F(xiàn)在比較主流的，像基于進(jìn)化算法、強化學(xué)習(xí)或者可微結(jié)構(gòu)的算法都是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的主要方法。

百度在生成對抗網(wǎng)絡(luò)（GAN）的結(jié)構(gòu)上也做了一些搜索，我們針對上采樣進(jìn)行了結(jié)構(gòu)搜索，最后發(fā)現(xiàn)搜索出來的 GAN 比人設(shè)計的網(wǎng)絡(luò)更穩(wěn)定，并且生成的效果更好。另一個實踐是比較形象的應(yīng)用，我們對頭像風(fēng)格遷移的任務(wù)模型進(jìn)行搜索，使用多個 auto encoder 進(jìn)行疊加，最后發(fā)現(xiàn)這樣的多尺度特征融合只需要非常少的操作和連接，就可以達(dá)到同樣甚至更好的效果。

這是企業(yè)做的一些基礎(chǔ)性工作，另外在產(chǎn)品和服務(wù)里，也有一些應(yīng)用，比如百度正在使用 AutoML，利用精度更高或速度更快的模型來為大家提供在線服務(wù)。除了算法方面的自動化，還有很多流程上的自動化，最終將產(chǎn)生一個從算法到流程全自動化的工具包。

王立威：在很多問題里，可解釋性是很片面的

我說說我的一個看法，這是從另外一個視角。大家可以看看下面這張 PPT，這是可解釋機(jī)器學(xué)習(xí)的愿景。

這張圖里，我們希望神經(jīng)網(wǎng)絡(luò)識別出一只貓，對貓的判斷是它有皮毛和爪子。再深入一點，請解釋什么是皮毛和爪子，你馬上就會發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)不能解釋。我的觀點是，在很多問題里，可解釋性是很片面的，大部分問題本質(zhì)上不可解釋。

在過去大概三四年里，我做了很多和醫(yī)療相關(guān)的機(jī)器學(xué)習(xí)問題，剛才幾位嘉賓和主持人都談到醫(yī)療里的可解釋是一個很重要的訴求，但是在我過去三四年的經(jīng)驗積累里，我發(fā)現(xiàn)只有在最開始階段，當(dāng)醫(yī)生還不完全信任人工智能系統(tǒng)的時候，可解釋可能是有必要的，一旦醫(yī)生信任了這一系統(tǒng)，系統(tǒng)性能達(dá)到甚至超過醫(yī)生，可解釋性就不再是一個很必要的問題。

醫(yī)療里大量的問題和貓的問題一樣，你去拍 X 光片，認(rèn)為這個地方有可能是肺癌，給出的解釋是看到這個地方有毛刺和空洞，但是請解釋毛刺、空洞分別是什么定義。之所以今天的人工智能、機(jī)器學(xué)習(xí)會在一些性能上超越人類，正是因為在這些我們很難解釋，甚至是不可解釋的特征上，他們做的遠(yuǎn)遠(yuǎn)超過人類。

再說一說為什么剛才說的皮毛和爪子不可解釋。將貓分解為皮毛和爪子來識別，這是大大可以壓縮的模型。但本質(zhì)上可能不存在一個能用簡短語言描述的模型，來非常清楚地判斷是不是皮毛，這時候就不可解釋了，因為解釋一定要能用簡短的語言描述出來。假如我用一個包含一億參數(shù)的模型表述出來的神經(jīng)網(wǎng)絡(luò)能夠判斷是不是皮毛，這也是一種解釋，只是這種解釋太復(fù)雜了，人沒有辦法理解。

以上便是我對可解釋的一個看法，我們不一定非要追求可解釋，需要看能不能解釋。

對 AutoML 技術(shù)層面上的一些看法

俞士綸：AutoML 在一些比較容易的事情上還是比較可靠的，比如當(dāng)輸入全是圖片，但是真正涉及到比較復(fù)雜的問題就比較難了。比如做交通預(yù)測，從一個點到另外一個點需要花多少時間，這里有歷史數(shù)據(jù)，有實時數(shù)據(jù)，另外還涉及到天氣數(shù)據(jù)，還有一些源自社交網(wǎng)站的文本數(shù)據(jù)。最后需要看怎樣把各種不同的數(shù)據(jù)融合在一起，涉及到的東西太多，像這種復(fù)雜的問題，還是不可能完全自動化。

王立威：ACL2019 有一篇很有名的 paper，計算了各種模型所產(chǎn)生的計算量和碳排放，這是從社會的角度來看這種技術(shù)。

對于一些企業(yè)來說，盡管不是很懂 AutoML 的原理，但是也會用這種自動的方式去搜索有助于業(yè)務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)。最后可以看看云計算的花費，會有一家企業(yè)愿意花幾十萬甚至上百萬美元去搜索一個很好的網(wǎng)絡(luò)結(jié)構(gòu)嗎？這樣付出的成本可能比最后掙的錢還多。

我支持 AutoML 這個大方向，在一些不需要用人力的地方，我們用機(jī)器，但是我們要限制盲目的搜索，以減少消耗，將人為設(shè)計和自動學(xué)習(xí)兩者有機(jī)結(jié)合。

AutoML&Explainable ML 未來之路

王立威：稍微談?wù)勛詣訖C(jī)器學(xué)習(xí)和可解釋機(jī)器學(xué)習(xí)的未來之路，我覺得機(jī)器學(xué)習(xí)比較擅長的是底層信號（圖像、語音或者文本數(shù)據(jù)）的分類與檢測任務(wù)，在知識層面比較欠缺。如果在未來想讓 AutoML 變得非常自動化，實際上需要對網(wǎng)絡(luò)結(jié)構(gòu)有更高層面的理解，同樣，我們所謂的解釋通常都是依據(jù)人的知識在做一些解釋，我認(rèn)為自動機(jī)器學(xué)習(xí)和可解釋機(jī)器學(xué)習(xí)未來的發(fā)展與機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展將會很一致，向更高層的知識提高。

梅俏竹：我認(rèn)為自動機(jī)器學(xué)習(xí)和可解釋機(jī)器學(xué)習(xí)并不矛盾，這兩者可以結(jié)合。如果為了全自動，把人類的經(jīng)驗全部拋開，用極大量的資源去做，這肯定是一種浪費，而且效果不好；另外，也不能說為了讓神經(jīng)網(wǎng)絡(luò)可以讓人理解，就非要在理解這個層面糾結(jié)，大家對理解的定義各不相同。

PS：小小地預(yù)告，AI Time 第三期將在一周之后繼續(xù)開展，議題為《知識圖譜》，歡迎大家報名參加，與嘉賓自由輕松地交流，探討科學(xué)的本質(zhì)，激發(fā)出更多學(xué)術(shù)靈感。后續(xù)，雷鋒網(wǎng) AI 科技評論也將附上報名鏈接。

雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。