雷鋒網(wǎng)按：本文根據(jù)周志華教授今天上午在 CNCC 2016 上所做的大會(huì)特邀報(bào)告《機(jī)器學(xué)習(xí)：發(fā)展與未來(lái)》編輯整理而來(lái)，在未改變?cè)獾幕A(chǔ)上略作了刪減。

周志華, CCF 會(huì)士、常務(wù)理事、人工智能專委主任。南京大學(xué)教授，校學(xué)術(shù)委員會(huì)委員，計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室常務(wù)副主任。AAAI Fellow, IEEE Fellow, IAPR Fellow，ACM 杰出科學(xué)家。長(zhǎng)江學(xué)者特聘教授、國(guó)家杰出青年科學(xué)基金獲得者。

主要從事人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域的研究。著有《Ensemble Methods: Foundations and Algorithms》、《機(jī)器學(xué)習(xí)》。在本領(lǐng)域頂級(jí)期刊會(huì)議發(fā)表論文百余篇，被引用2萬(wàn)余次。獲發(fā)明專利14項(xiàng)，多種技術(shù)在企業(yè)應(yīng)用中取得成效。

任《Frontiers in Computer Science》執(zhí)行主編及多種國(guó)內(nèi)外學(xué)術(shù)期刊副主編、編委；亞洲機(jī)器學(xué)習(xí)大會(huì)創(chuàng)始人，國(guó)際人工智能聯(lián)合大會(huì)（IJCAI）顧問(wèn)委員會(huì)成員，IEEE 數(shù)據(jù)挖掘大會(huì)（ICDM）等數(shù)十次國(guó)內(nèi)外學(xué)術(shù)會(huì)議主席；IEEE 計(jì)算智能學(xué)會(huì)數(shù)據(jù)挖掘技術(shù)委員會(huì)主席等。曾獲國(guó)家自然科學(xué)二等獎(jiǎng)、兩次教育部自然科學(xué)一等獎(jiǎng)、亞太數(shù)據(jù)挖掘卓越貢獻(xiàn)獎(jiǎng)、12 次國(guó)際期刊 / 會(huì)議論文 / 競(jìng)賽獎(jiǎng)等。

周志華教授作為特邀嘉賓發(fā)表報(bào)告

在過(guò)去的二十年中，人類手機(jī)、存儲(chǔ)、傳輸、處理數(shù)據(jù)的能力取得了飛速發(fā)展，亟需能有效地對(duì)數(shù)據(jù)進(jìn)行分析利用的計(jì)算機(jī)算法。機(jī)器學(xué)習(xí)作為智能數(shù)據(jù)分析算法的源泉，順應(yīng)了大時(shí)代的這個(gè)迫切需求，因此自然地取得了巨大發(fā)展、受到了廣泛關(guān)注。

“現(xiàn)在是大數(shù)據(jù)時(shí)代，但是大數(shù)據(jù)不等于大價(jià)值?！?/p>

我們要從大數(shù)據(jù)里面得到價(jià)值的話，就必須要有一些有效的數(shù)據(jù)分析。正因?yàn)檫@個(gè)原因，這幾年機(jī)器學(xué)習(xí)特別熱。這是從人工智能里面產(chǎn)生的一個(gè)學(xué)科，利用經(jīng)驗(yàn)改善系統(tǒng)學(xué)習(xí)。在計(jì)算機(jī)系統(tǒng)里面，不管是什么經(jīng)驗(yàn)，一定是以數(shù)據(jù)的形式呈現(xiàn)的。所以機(jī)器學(xué)習(xí)必須對(duì)數(shù)據(jù)分析，這個(gè)領(lǐng)域發(fā)展到今天主要是研究智能數(shù)據(jù)分析的理論和方法。我們可以看到圖靈獎(jiǎng)連續(xù)兩年授予在這方面取得突出成就的學(xué)者，這其實(shí)一定程度上也表現(xiàn)出了大會(huì)對(duì)此的重視。

那么究竟什么是機(jī)器學(xué)習(xí)？這里給出一個(gè)具體的實(shí)例。

|“文獻(xiàn)篩選”的故事

• 什么是文獻(xiàn)篩選呢？

這是“循證醫(yī)學(xué)”中，針對(duì)特定的臨床問(wèn)題，先要對(duì)相關(guān)研究報(bào)告進(jìn)行詳盡評(píng)估。那么人們一般通過(guò) PubMed 獲取相關(guān)候選論文的摘要，然后通過(guò)人工的方式找到值得全文審讀的文章。

• 為什么要這么做呢？

我們都知道，現(xiàn)在優(yōu)質(zhì)醫(yī)學(xué)資源非常稀缺，為了緩解這個(gè)問(wèn)題，國(guó)外產(chǎn)生了一種叫做“循證醫(yī)學(xué)”的做法。以后患病了不是先去找專家，而是先去看一看文選資料，因?yàn)楹芸赡芤呀?jīng)有人患過(guò)，甚至已經(jīng)有醫(yī)生診治過(guò)這個(gè)病，發(fā)表過(guò)論文。那么如果我們暴露里面和這個(gè)病相關(guān)的最新技術(shù)，把它匯集起來(lái)，很可能就能得到很好的解決方案。

• 如何實(shí)現(xiàn)這個(gè)想法呢？

第一步，我們要從這個(gè)浩如煙海的醫(yī)學(xué)文獻(xiàn)里面，把可能有關(guān)的文章匯集出來(lái)?，F(xiàn)在有很多基礎(chǔ)工作建設(shè)，例如在醫(yī)學(xué)上有 Pub Med 的系統(tǒng)，我們還可以用谷歌學(xué)術(shù)等搜索關(guān)鍵詞，就能搜到很多文章。但這些檢索出來(lái)的文章和我們真正需要的可能還有很大的距離，因?yàn)樗赡苤皇莾H僅包含搜索的關(guān)鍵詞而已。

所以第二步就需要請(qǐng)人類專家來(lái)過(guò)濾它們，找出到底哪些東西需要深入研究。這部分的工作量有多大呢？我們舉個(gè)例子，在一個(gè)關(guān)于嬰兒和兒童殘疾的疾病研究里面，這個(gè)美國(guó) Tufts 醫(yī)學(xué)中心在第一步的篩選之后就拿到了 33000 篇摘要。中心的專家效率非常高，他們每三十秒鐘就可以過(guò)濾 1 篇。但就算這樣，這個(gè)工作還是要做 250 個(gè)小時(shí)?？上攵退阋粋€(gè)醫(yī)生三十秒鐘看一篇文章，一天八小時(shí)不吃飯、不喝水、不休息，也需要一個(gè)多月才能完成。而且糟糕的是每一項(xiàng)新的研究我們都要重復(fù)這個(gè)麻煩的過(guò)程。還有更可怕的是，隨著醫(yī)學(xué)的發(fā)展，我們發(fā)表的論文數(shù)量也越來(lái)越多。

所以如果沒(méi)有其他解決途徑，“循證醫(yī)學(xué)”可能就沒(méi)有未來(lái)了。為了解決這個(gè)問(wèn)題，降低昂貴的成本，Tufts 醫(yī)學(xué)中心引入了機(jī)器學(xué)習(xí)技術(shù)。

• 怎么來(lái)做呢？

我們挑出大量的文章，只邀請(qǐng)熟練的專家判斷是有關(guān)還是無(wú)關(guān)的，然后基于這個(gè)信息建立一個(gè)分類模型，用這個(gè)分類模型對(duì)剩下沒(méi)有看過(guò)的文章做一次預(yù)測(cè)。其中相關(guān)的文章再請(qǐng)專家來(lái)審讀，這樣的話，專家需要讀的東西就會(huì)大幅度減少。

這樣做之后，得到的性能指標(biāo)已經(jīng)非常接近、甚至一定程度上超過(guò)了原來(lái)專家過(guò)濾的效果。因?yàn)槲覀冎酪粋€(gè)專家三十秒鐘讀一篇文章，需要連續(xù)工作一個(gè)月，而且中間出錯(cuò)的可能性太多?，F(xiàn)在用機(jī)器學(xué)習(xí)來(lái)做只需要一天時(shí)間，所以被當(dāng)成是機(jī)器學(xué)習(xí)對(duì)現(xiàn)在機(jī)器醫(yī)學(xué)發(fā)展的一個(gè)很重要貢獻(xiàn)而報(bào)道出來(lái)。

這里面非常關(guān)鍵的一步就是我們?cè)趺礃影堰@個(gè)分配模型做出來(lái)，其實(shí)就是用的機(jī)器學(xué)習(xí)。

| 一張 PPT 說(shuō)清機(jī)器學(xué)習(xí)過(guò)程

現(xiàn)在假設(shè)把數(shù)據(jù)組織成一個(gè)表格的形式，每一行表示一個(gè)對(duì)象或者一個(gè)事件，每一列表示我刻畫的對(duì)象的屬性。比如說(shuō)每一行指的就是“西瓜”，那最后我們特別關(guān)心的是這個(gè)“西瓜”好還是不好，我們把它叫做類別標(biāo)簽。

之后，我們經(jīng)過(guò)一個(gè)訓(xùn)練過(guò)程就得到了模型，今后我們拿到一個(gè)沒(méi)有見過(guò)的新數(shù)據(jù)時(shí)，只要知道它的輸入，把輸入提供給這個(gè)模型，這個(gè)模型就可以給你一個(gè)結(jié)果，究竟是好的還是不好的“西瓜”。

所以在現(xiàn)實(shí)生活中，我們碰到的各種各樣的分類預(yù)測(cè)預(yù)報(bào)問(wèn)題，抽樣出來(lái)看，如果在計(jì)算機(jī)上通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)解決它，其實(shí)就是在做一個(gè)機(jī)器學(xué)習(xí)的過(guò)程。

把數(shù)據(jù)變成模型要用到學(xué)習(xí)算法。有一種說(shuō)法是計(jì)算機(jī)科學(xué)就是關(guān)于算法的學(xué)問(wèn)。那如果從這個(gè)道理上來(lái)講的話，機(jī)器學(xué)習(xí)其實(shí)就是關(guān)于學(xué)習(xí)算法的設(shè)計(jì)分析和每個(gè)學(xué)科領(lǐng)域的應(yīng)用。

| 人工智能的三個(gè)階段

機(jī)器學(xué)習(xí)本身確實(shí)是起源于人工智能，而我們都知道人工智能是 1956 年達(dá)特茅斯會(huì)議上誕生的。到今天恰恰是六十周年。那么在過(guò)去的六十年里面，其實(shí)我們從人工智能的主流技術(shù)上看，可以認(rèn)為是經(jīng)過(guò)了三個(gè)階段。

在最早的一個(gè)階段，大家都認(rèn)為要把邏輯推理能力賦予計(jì)算機(jī)系統(tǒng)，這個(gè)是最重要的。因?yàn)槲覀兌颊J(rèn)為數(shù)學(xué)家特別的聰明，而數(shù)學(xué)家最重要的能力就是邏輯推理，所以在那個(gè)時(shí)期的很多重要工作中，最有代表性的就是西蒙和紐厄爾做的自動(dòng)定理證明系統(tǒng)，后來(lái)這兩位也因?yàn)檫@個(gè)貢獻(xiàn)獲得了七五年的圖靈獎(jiǎng)。

但是后來(lái)慢慢的就發(fā)現(xiàn)光有邏輯推理能力是不夠的，因?yàn)榫退闶菙?shù)學(xué)家，他也需要有很多知識(shí)，否則的話也證明不出定理來(lái)。所以這個(gè)時(shí)候，主流技術(shù)的研究就很自然地進(jìn)入了第二階段。

大家開始思考怎么樣把我們?nèi)祟惖闹R(shí)總結(jié)出來(lái)，交給計(jì)算機(jī)系統(tǒng)，這里面的代表就是知識(shí)工程專家系統(tǒng)。像知識(shí)工程之父愛德華·費(fèi)根鮑姆就因?yàn)檫@個(gè)貢獻(xiàn)獲得了 1994 年的圖靈獎(jiǎng)。

但是接下來(lái)大家就發(fā)現(xiàn)要把知識(shí)總結(jié)出來(lái)交給計(jì)算機(jī)，這個(gè)實(shí)在太難了。一方面總結(jié)知識(shí)很難，另外一方面在有些領(lǐng)域里面，專家實(shí)際上是不太愿意分享他的經(jīng)驗(yàn)的。

所以到底怎么解決這個(gè)問(wèn)題呢？我們想到人的知識(shí)就是通過(guò)學(xué)習(xí)來(lái)的，所以很自然的人工智能的研究就進(jìn)入了第三個(gè)階段。

這時(shí)候機(jī)器學(xué)習(xí)作為這個(gè)階段的主流研究?jī)?nèi)容，可以看到機(jī)器學(xué)習(xí)本身其實(shí)就是作為突破知識(shí)工程的一個(gè)武器而出現(xiàn)的。但是，事實(shí)上并沒(méi)有達(dá)到目的，今天大多數(shù)的機(jī)器學(xué)習(xí)的結(jié)果都是以黑箱的形式存在的。另外一方面，為什么機(jī)器學(xué)習(xí)這么熱門呢？其實(shí)恰恰是因?yàn)樵诙兰o(jì)九十年代中后期，我們?nèi)祟愃鸭?、存?chǔ)、管理、處理數(shù)據(jù)的能力大幅度提升，這時(shí)候迫切需要數(shù)據(jù)分析的技術(shù)，而機(jī)器學(xué)習(xí)恰恰是迎合了這個(gè)大時(shí)代的需求，所以才變得特別的重要。?

今天的社會(huì)，機(jī)器學(xué)習(xí)已經(jīng)可以說(shuō)是無(wú)所不在了，不管是互聯(lián)網(wǎng)搜索、生物特征識(shí)別、汽車自動(dòng)駕駛、還是火星機(jī)器人，甚至是美國(guó)總統(tǒng)選舉，包括軍事決策助手等等，基本上只要有數(shù)據(jù)需要分析，可能就可以用到機(jī)器學(xué)習(xí)。

機(jī)器學(xué)習(xí)這個(gè)學(xué)科里產(chǎn)生出了很多種有效的機(jī)器學(xué)習(xí)的技術(shù)和算法，但是更重要的就是機(jī)器學(xué)習(xí)是一個(gè)有堅(jiān)實(shí)理論基礎(chǔ)的學(xué)科，其中最重要的就是計(jì)算學(xué)習(xí)理論。

而計(jì)算學(xué)習(xí)理論中最重要的一個(gè)理論模型就是概率近似正確模型 —— PAC。它的提出者 Valiant 教授也因此獲得了圖靈獎(jiǎng)。

| 關(guān)于未來(lái) —— 技術(shù)

2006 年 Hinton 在 Nature 發(fā)表了關(guān)于深度學(xué)習(xí)的文章。2012 年他又組隊(duì)參加 ImageNet，獲得冠軍。冠軍沒(méi)什么特別的，因?yàn)槊磕甓加泄谲姟５^(guò)第二名 10 個(gè)百分點(diǎn)的成績(jī)引起了大家的注意，深度學(xué)習(xí)就此興起，現(xiàn)在深度學(xué)習(xí)的應(yīng)用越來(lái)越廣泛了。

所以如果折中一下，從 2010 年至今，深度學(xué)習(xí)的熱潮已經(jīng) 6 年了。

從技術(shù)層面來(lái)看，深度學(xué)習(xí)其實(shí)就是很多層的神經(jīng)網(wǎng)絡(luò)。這里畫了一個(gè)三層的神經(jīng)網(wǎng)絡(luò)，就是所謂的一個(gè)神經(jīng)元，通過(guò)很多連接連接在一起。那么每個(gè)神經(jīng)元就是一個(gè)所謂的 M-P 模型。

所謂的一個(gè)神經(jīng)元其實(shí)就是這么一個(gè)函數(shù)，我們所謂的神經(jīng)網(wǎng)絡(luò)其實(shí)就是很多這樣的多層函數(shù)嵌套形式的數(shù)學(xué)模型，它在一定程度上受到了這個(gè)生物神經(jīng)技術(shù)的啟發(fā)，但是更重要的是數(shù)學(xué)和工程上的東西在支撐。

最著名的深度學(xué)習(xí)模型叫做卷積神經(jīng)網(wǎng)絡(luò)（CNN），其實(shí)早在 1995 年就提出了，但為什么現(xiàn)在才火呢？要先提兩個(gè)問(wèn)題：

• 有多深？

• 為何深？

提升模型的復(fù)雜度可以提升學(xué)習(xí)能力，增加模型深度比寬度更有效，但提升模型的復(fù)雜度并不一定有利，因?yàn)榇嬖谶^(guò)擬合和計(jì)算開銷大的問(wèn)題。

跳出這些技術(shù)細(xì)節(jié)來(lái)看，深度學(xué)習(xí)最重要的作用是表示學(xué)習(xí)。所以也就知道了深度學(xué)習(xí)究竟適用何處？

那么關(guān)于深度學(xué)習(xí)會(huì)有很多問(wèn)題，這里統(tǒng)一到一句話：深度學(xué)習(xí)會(huì)不會(huì)“一統(tǒng)江湖、千秋萬(wàn)載”？

我們可以看到非常清楚的交替模式：熱十年冷十五年。

但這真的是巧合嗎？我們不妨把每次繁榮的開始時(shí)間往前推 5-8 年，可以找到規(guī)律。 

所以，在技術(shù)層面對(duì)于未來(lái)的一個(gè)判斷是：未必是深度學(xué)習(xí)，但應(yīng)該是能有效利用 GPU 等計(jì)算設(shè)備的方法。

| 關(guān)于未來(lái) —— 任務(wù)

談到任務(wù)，需要提一提前段時(shí)間的 AlphaGo，被認(rèn)為是機(jī)器學(xué)習(xí)的偉大勝利。但是學(xué)界普遍認(rèn)為這并不能代表機(jī)器學(xué)習(xí)就是人工智能的未來(lái)，尤其是通用人工智能。

為什么這么說(shuō)？這里只講簡(jiǎn)單的一點(diǎn)。

在 3 月 13 日李世石九段下出了“神之一手”，后來(lái) Deepmind 團(tuán)隊(duì)透露：錯(cuò)誤發(fā)生在第 79 手，但 AlphaGo 知道第 87 手才發(fā)覺，這期間它始終認(rèn)為自己仍然領(lǐng)先。

這里點(diǎn)出了一個(gè)關(guān)鍵問(wèn)題：魯棒性。

人類犯錯(cuò)：水平從九段降到八段。

機(jī)器犯錯(cuò)：水平從九段降到業(yè)余。

傳統(tǒng)的機(jī)器學(xué)習(xí)任務(wù)大都是在給定參數(shù)的封閉靜態(tài)環(huán)境中，而現(xiàn)在正在慢慢轉(zhuǎn)向開放動(dòng)態(tài)環(huán)境。

“雪龍?zhí)枴笔菄?guó)內(nèi)的一個(gè)例子，下面介紹一些國(guó)外的探討情況。這里也提到：

隨著人工智能技術(shù)取得巨大發(fā)展，越來(lái)越多地面臨“高風(fēng)險(xiǎn)應(yīng)用”，因此必須有“魯棒的AI”。

| 關(guān)于未來(lái) —— 形態(tài)

要分析未來(lái)，首先得知道現(xiàn)狀。那么機(jī)器學(xué)習(xí)現(xiàn)在的形態(tài)是什么？有人會(huì)說(shuō)算法，有人會(huì)說(shuō)數(shù)據(jù)。

“其實(shí)機(jī)器學(xué)習(xí)的形態(tài)就是算法 + 數(shù)據(jù)?！?/p>

但是這樣的形態(tài)下，它有哪些局限性呢？主要分為 3 個(gè)大的方面和其他一些小方面：

• 局限 1：需要大量訓(xùn)練樣本；

• 局限 2：難以適應(yīng)環(huán)境變化；

• 局限 3：黑箱模型。

我們可以看到機(jī)器學(xué)習(xí)的技術(shù)局限性仍然很多，當(dāng)然，我們可以針對(duì)每個(gè)問(wèn)題一一解決，但這難免進(jìn)入一種“頭疼醫(yī)頭，腳疼醫(yī)腳”的境地。所以我們是否可以跳出這個(gè)框架，從整體上來(lái)解決這些問(wèn)題呢？

那么我們都知道有硬件（Hardware），有軟件（Software），這里提出一個(gè)類似于這兩者的新概念“學(xué)件”（Learnware）：

學(xué)件（Learnware）= 模型（model）+規(guī)約（specification）

很多人可能在自己的應(yīng)用中已經(jīng)建立了這樣的模型，他們也很愿意找到一個(gè)地方把這些模型分享出去。那以后一個(gè)新用戶想要應(yīng)用，也許不用自己去建立一個(gè)，而是先到“學(xué)件”的市場(chǎng)上找一找有沒(méi)有合適的，可以拿來(lái)使用修改。

比如說(shuō)，要找一把切肉的刀，可以先看看市場(chǎng)上有沒(méi)有這樣的刀，不會(huì)說(shuō)自己從采礦開始重新打一把刀。如果沒(méi)有合適的刀，也許會(huì)選擇一把西瓜刀，然后用自己的數(shù)據(jù)重新“打磨”一下，讓它滿足自己應(yīng)用的需要。

所以，這個(gè)想法就是希望能夠部分地重用他人的結(jié)果，不必“從頭開始”。

從規(guī)約的角度需要給出模型的合適刻畫。

從模型的角度需要滿足 3 個(gè)要求：

• 可重用

• 可演進(jìn)

• 可了解

規(guī)約需要能清楚地說(shuō)明在做什么，主要有三種方式：

• 基于邏輯

• 基于統(tǒng)計(jì)量

• 技術(shù)與精簡(jiǎn)數(shù)據(jù)

這些也許可以借鑒軟件工程中的規(guī)約方法來(lái)處理。

我們可以看到，有了“學(xué)件”的框架以后，很多之前提到的局限可能都會(huì)迎刃而解：

• “可重用”的特性能夠獲取大量不同的樣本；

• “可演進(jìn)”的特性可以適應(yīng)環(huán)境的變化；

• “可了解”的特性能有效地了解模型的能力；

• 因?yàn)槭菍＜一A(chǔ)上建立的，所以比較容易得到專家級(jí)的結(jié)果；

• 因?yàn)楣蚕沓鰜?lái)的是模型，所以避免了數(shù)據(jù)泄露和隱私泄露的問(wèn)題。

除了解決了原有的問(wèn)題，“學(xué)件”很有可能會(huì)催生出一個(gè)新產(chǎn)業(yè)，類似于軟件產(chǎn)業(yè)。因?yàn)榇蠹铱梢园炎约旱哪Ｐ头诺绞袌?chǎng)上，提供給別人使用，如果被使用得很多，又很好用，用戶很廣泛，那么可以對(duì)這個(gè)“學(xué)件”定價(jià)使用，創(chuàng)造出經(jīng)濟(jì)價(jià)值。

| 總結(jié)

最后，對(duì)今天的報(bào)告內(nèi)容進(jìn)行一個(gè)總結(jié)，主要有下面幾點(diǎn)：

• 深度學(xué)習(xí)可能有“冬天”，它只是機(jī)器學(xué)習(xí)的一種技術(shù)，總會(huì)出現(xiàn)更“潮”的新技術(shù)；

• 機(jī)器學(xué)習(xí)不會(huì)有“冬天”，只要有分析數(shù)據(jù)的需求，就會(huì)用到機(jī)器學(xué)習(xí)；

• 關(guān)于未來(lái)的思考：

  1、技術(shù)上：一定是能有效利用 GPU 等計(jì)算設(shè)備的方法（未必是深度學(xué)習(xí)）；

  2、任務(wù)上：開放環(huán)境的機(jī)器學(xué)習(xí)任務(wù)特別重要（魯棒性是關(guān)鍵）；

  3、形態(tài)上：希望是從現(xiàn)在的“算法 + 數(shù)據(jù)”過(guò)渡到“學(xué)件”的形態(tài)。

如果要對(duì)未來(lái)這三點(diǎn)加上一個(gè)預(yù)測(cè)期限的話，分別是 5 年、10 年、15 年。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。