雷鋒網(wǎng)按：隨著 DARPA（美國國防高級(jí)研究計(jì)劃局）的項(xiàng)目 L2M（終身學(xué)習(xí)機(jī)器）和歐盟聯(lián)合項(xiàng)目 LLIS（智能系統(tǒng)的終身學(xué)習(xí)）出現(xiàn)，LML（終身機(jī)器學(xué)習(xí)）開始備受關(guān)注。研究者們意識(shí)到在一種數(shù)據(jù)集中運(yùn)行一種機(jī)器算法的傳統(tǒng)機(jī)器學(xué)習(xí)范例遠(yuǎn)遠(yuǎn)不能達(dá)到真正意義上的智能，它只適用于狹窄的領(lǐng)域。人類自身的學(xué)習(xí)過程則與之截然不同。我們?cè)陂_放環(huán)境中能夠持續(xù)學(xué)習(xí)，積累學(xué)習(xí)到的知識(shí)，并用于未來的學(xué)習(xí)和解決問題當(dāng)中。

LML 旨在達(dá)到這些能力。在 NLP 中，聊天機(jī)器人等具有語言能力的機(jī)器人越來越被廣泛使用。對(duì)這些系統(tǒng)而言，在開放的世界中與人類和其他機(jī)器人的互動(dòng)中不斷學(xué)習(xí)，能夠?qū)崿F(xiàn)更好地聊天是夢(mèng)寐以求的。在這次演講中，劉兵教授將主要講述這種模式轉(zhuǎn)變，關(guān)于 NLP 進(jìn)入下一層級(jí)的最新研究以及 LML 所面臨的挑戰(zhàn)。

劉兵，伊利諾伊芝加哥分校教授，ACM、AAAI、IEEE Fellow，主要研究領(lǐng)域有終身機(jī)器學(xué)習(xí)、情感分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語言處理。

以下為劉兵教授在第二屆語言與智能高峰論壇的演講，雷鋒網(wǎng)做了不改變?cè)獾膭h減。

我今天想講的是我這幾年做的一個(gè)事情，是講怎么樣讓機(jī)器能夠永遠(yuǎn)一直學(xué)下去，而不是說像現(xiàn)在這種還是一個(gè)一個(gè)的去學(xué)。

我的應(yīng)用主要還是在自然語言方面比較多一些。為什么我們做機(jī)器學(xué)習(xí)的人，還是在做一個(gè) Isolated Single-task Learning（單任務(wù)學(xué)習(xí)），它不考慮別的事情。如果我們要用圖來表示，先來 Task T，然后來一個(gè) Data T，通過機(jī)器學(xué)習(xí)算法算出一個(gè) Model，它拿來直接用就是 Application。

但是這個(gè)有什么問題呢？它不考慮其他與之相關(guān)的事情，而且不考慮你以前學(xué)過的東西，這就存在很多問題，使得機(jī)器在學(xué)的時(shí)候需要非常大的數(shù)據(jù)，沒有人那種長期記憶在里面，只能解決非常狹窄的問題。

雖然我們做了很多應(yīng)用，但我覺得真正的智能真的沒有達(dá)到，我們要做的是怎么樣讓機(jī)器能夠自驅(qū)動(dòng)來學(xué)習(xí)。這樣才能夠舉一反三達(dá)到人的智能，而僅僅只有單任務(wù)學(xué)習(xí)是不夠的。

我們?cè)趺礃影堰@個(gè)事情解決呢？很多學(xué)者研究小樣本學(xué)習(xí)，或者根本不要樣本，但這個(gè)東西都是需要 Prior Knowledge（先驗(yàn)知識(shí)）的，沒有知識(shí)就不可能學(xué)。這個(gè)問題就大了，這些先驗(yàn)知識(shí)哪里來的？

你說是人給的，但這不靠譜，我覺得這不是一個(gè)理想的解決方案。而應(yīng)該是在這個(gè)過程中積累一些知識(shí)，然后用在將來，這也是我對(duì)終身機(jī)器學(xué)習(xí)感興趣的驅(qū)動(dòng)力，如果這個(gè)只是有人在這邊輔助，意義就不大了，這不是智能。

人的學(xué)習(xí)和機(jī)器學(xué)習(xí)還不太一樣，舉一個(gè)很簡單的例子，你給我 1000 個(gè)正例和 1000 個(gè)負(fù)例，然后可以讓機(jī)器學(xué)習(xí)學(xué)一個(gè) Model 出來?？墒悄阆胂耄氵@輩子有過這種經(jīng)歷嗎？從來沒有。

如果你沒有知識(shí)，就算給你這個(gè)東西你也學(xué)不到。比如說我現(xiàn)在給你中文文章，你可以看看，大概知道這個(gè)主題是什么，但阿拉伯語的文章你不懂，給你 1000個(gè)、10000 個(gè)，你能學(xué)得了嗎？我覺得你肯定學(xué)不了，除非你用了翻譯。所以，人其實(shí)不是這樣學(xué)的。

無論如何，Humans never learn in isolation from scratch（人類永遠(yuǎn)不會(huì)從零開始學(xué)習(xí)）——不是說任何一件事情都是從頭開始，過去的什么事情都不知道。而是隨著我們從小到大積累了很多知識(shí)，然后用這些積累的知識(shí)幫助我們?nèi)W(xué)，而且需要自驅(qū)學(xué)習(xí)，就是你自己怎么樣去往前走。

比方說，人給你一個(gè)問題你去解決，人不給你問題怎么辦？那你就不管了是不是？在這個(gè)開放世界里 ，那你是沒辦法生存的，沒辦法得到更多的知識(shí)。

我們就是需要讓終身機(jī)器學(xué)習(xí)模仿人的學(xué)習(xí)能力。如果機(jī)器沒有這個(gè)能力真正的人工智能不可能出現(xiàn)，這是我自己的觀點(diǎn)，雖然可能跟別人可能不一樣，但我堅(jiān)持己見。 

終身機(jī)器學(xué)習(xí)正在引起人們關(guān)注，去年我跟學(xué)生寫了一本書，叫《Lifelong Machine Learning》。今年美國的 DARPA 有一個(gè)很大的項(xiàng)目叫做 Lifelong Learning  Machines（終身學(xué)習(xí)機(jī)器）。可是，我最早知道這個(gè)事情是今年 3、4 月的時(shí)候，歐洲辦公室當(dāng)時(shí)給我寄一個(gè)東西，我一看是 European  Union Coordinated 的項(xiàng)目，就是很多國家一起搞的，叫做“智能系統(tǒng)的機(jī)器學(xué)習(xí)”，這個(gè)問題實(shí)在是非常的難解決，但引起了人們的重視。

在自然語言方面，舉個(gè)例子，我做 Sentiment Analysis（情感分析）的時(shí)候，就覺得這個(gè)東西好像是越學(xué)（要學(xué)的）東西就越少，這是怎么回事？之前美國一個(gè)公司也需要做情感分析，但是我們做著做著，感覺怎么這個(gè)跟以前的差不多，這個(gè)東西好像我也做過。就是雖然你覺得其實(shí)每個(gè)都不一樣，但你做著做著就覺得這個(gè)東西好像是不需要做的，差不多都是過去的東西。

所以，你們想一想人是不是這樣？從小你學(xué)習(xí)，越學(xué)越?jīng)]啥學(xué)的了？這就讓我想起來，我們能不能來建模型這個(gè)事情。

又讓我想起了，大部分的領(lǐng)域的產(chǎn)品特征有很多重復(fù)，當(dāng)然你看看這邊，每個(gè)領(lǐng)域都有一個(gè) Price、Battery、Screen，現(xiàn)在我們的學(xué)生給百示麥（音）做一個(gè)項(xiàng)目，做一千多個(gè)類別，你想想，如果你一個(gè)一個(gè)去做的話，做得了嗎？

后來我們也做了一些比較，剛才有人講，我們要用經(jīng)驗(yàn)知識(shí)幫助解決下一個(gè)問題，可是后來又想想，這個(gè)先驗(yàn)知識(shí)哪里來的？所以我們也在文章中也做了說明。

另外一個(gè)，我講的是自然語言對(duì)終身學(xué)習(xí)非常的適合，為什么呢？因?yàn)樽匀徽Z言不管到什么地方，雖然存在有一些歧義，但基本上都是一樣的。

自然語言的知識(shí)自然是積累性和組合性的，有一個(gè)排列組合在里面。而且不同的 Task 其實(shí)都是相關(guān)的，不管在什么領(lǐng)域，你都是可以應(yīng)用的。 

我現(xiàn)在講一個(gè)，終身學(xué)習(xí)的定義是什么？

這是比較早的定義，我們加了一個(gè) Knowledge Base（知識(shí)庫），就是這個(gè)長期記憶在里面，這個(gè)定義其實(shí)還不夠。在任何一個(gè)時(shí)段，我已經(jīng)解決了很多的問題，現(xiàn)在面臨的新問題，可以用我以前學(xué)過的知識(shí)，來幫我解決問題，讓它可能做的更好，或者要很少的數(shù)據(jù)，算得更快。把這個(gè)做完了以后，知識(shí)還可以返回到這個(gè)系統(tǒng)里面，然后這個(gè)知識(shí)接著又可以幫將來的人做這個(gè)事情。

我們?nèi)ツ陮憰臅r(shí)候，給了一個(gè)定義，這個(gè)定義其實(shí)不夠完整。你要是從圖上看的話，那個(gè)定義基本上就是像這樣的。這個(gè) Task 就是 T1、T2...直到最后到 Tn+1。

這個(gè)問題就是它也有數(shù)據(jù)，這個(gè) Learner 就是機(jī)器學(xué)習(xí)的算法得要有知識(shí)，或者說傳統(tǒng)那種比如 SCM，你直接上就可以，你要知道怎么樣用知識(shí)。

學(xué)術(shù)東西那邊存起來就是，還有一個(gè)就是 Past Knowledge 幫助我學(xué)習(xí)下一個(gè)問題，來學(xué)的更好。當(dāng)然，然后就是輸出，所以這個(gè)定義就是根據(jù)前面那個(gè)來表述的。

現(xiàn)在我們的定義是這樣的，前部分還是一樣的，后面加了一些，就是最后這兩邊 Discovered new problem（發(fā)現(xiàn)新問題），你的模型運(yùn)行的時(shí)候，要發(fā)現(xiàn)新的問題。要不然的話，這個(gè)也不靠譜。

另外就是說，這個(gè)世界是一個(gè)動(dòng)態(tài)的、開放的世界，不能說你學(xué)到什么東西，這個(gè)世界就只有那些東西。這個(gè)世界不是封閉的，比如說自動(dòng)駕駛，你如果用傳統(tǒng)那個(gè)學(xué)法，你這個(gè)車永遠(yuǎn)開不了。

怎么樣發(fā)現(xiàn)問題，然后自動(dòng)去學(xué)，你可以重新返回來，重新給我一個(gè)任務(wù)，接著學(xué)，所以這部分我們就可以閉環(huán)，這個(gè)就是自驅(qū)動(dòng)學(xué)習(xí)。

我們底下加了一個(gè)的部分，就你在用這個(gè)模型的時(shí)候，我還可以接著學(xué)，就是說我用這個(gè)模型很久以后，這個(gè)模型變得更好，現(xiàn)在基本上算法可以做到這一點(diǎn)。

為什么這個(gè)很重要？因?yàn)楦耸且粯拥摹Ｄ阍趯W(xué)校，老師教你學(xué)什么東西，學(xué)了這些東西，然后要下去實(shí)踐。實(shí)踐的時(shí)候還得學(xué)，不是說剛才教你了之后，老師教我啥我就只會(huì)干啥。這是不可能的事情，因?yàn)檫@個(gè)世界太復(fù)雜，你要有這種能耐。

最后我們就成為比較有意思的閉環(huán)，那么 Application（應(yīng)用）可以非常的復(fù)雜，里面有人、還有其它東西，可以給你的環(huán)境的反饋，如果能夠這樣的話，那是比較理想化的了，這就是終生機(jī)器學(xué)習(xí)的一個(gè)定義，跟我今年做的東西有一些關(guān)系。

另外一個(gè)就是它的主要特點(diǎn)是什么？其實(shí)還應(yīng)該再加一個(gè)，就是一個(gè)不間斷的學(xué)習(xí)過程，不是說我不學(xué)，或者是我干這個(gè)事情就不干；還有一個(gè)是知識(shí)非得要積累，得要有一個(gè)長期記憶。

還有就是你一定要在用的時(shí)候，就是怎么樣適應(yīng)、知道這個(gè)知識(shí)是否適合你，這個(gè)知識(shí)怎么樣用到你遇到的這種新情況。我們還有一個(gè)可以加的，就是說你可以自己發(fā)現(xiàn)問題，在運(yùn)用的時(shí)候還可以自己改進(jìn)。

其實(shí)很多人都在朝這個(gè)方向走，最明顯的就是 Transfer Learning（轉(zhuǎn)化學(xué)習(xí)） 和 Multitask Learning（多任務(wù)學(xué)習(xí)），轉(zhuǎn)化學(xué)習(xí)大家可能都比較熟悉，就是說怎么樣用 Source Domain（源域） 很多數(shù)據(jù)來幫助學(xué)這個(gè) Target Domain（目標(biāo)域），后者可能就沒有什么數(shù)據(jù)。

它還不是一個(gè)持續(xù)學(xué)習(xí)過程，還是比較人為的東西。就是說我知道這個(gè)能夠幫那個(gè)，不是說我自己去找知識(shí)，而是我知道這個(gè)能夠幫那個(gè)，所以我才這樣做。它其實(shí)也沒有一個(gè)知識(shí)積累，它還是一個(gè)單向性的。

多任務(wù)學(xué)習(xí)其實(shí)跟傳統(tǒng)的也沒有太大的差別，我把很多任務(wù)一起連結(jié)優(yōu)化。但也存在一些問題，它除了數(shù)據(jù)沒有知識(shí)積累，任務(wù)多樣時(shí)很難再學(xué)習(xí)。我們就想從這方面看有沒有什么突破，但這是非常難的。

我現(xiàn)在講幾個(gè)例子，Lifelong Supervised Learning（終身監(jiān)督學(xué)習(xí)）怎么去做？別人也做了一些，但不是跟自然語言相關(guān)的。

這是一個(gè)我自己做一些情緒分類，這就是一個(gè)簡單的例子。

現(xiàn)在的算法，基本上來說，如果我給你一些數(shù)據(jù)，把它放在一個(gè)終身學(xué)習(xí)的架構(gòu)里面，假設(shè)我以前做過很多，但現(xiàn)在這些新的東西可能就不需要太多的數(shù)據(jù)。雖然這個(gè)東西是新的，但很多情況下不需要數(shù)據(jù)，因?yàn)槊總€(gè)東西都是很相像的。

如果我用同樣的數(shù)據(jù)，只用這個(gè)領(lǐng)域或者用過去的數(shù)據(jù)，它的結(jié)果可能相差非常大。過去因?yàn)槲乙娮R(shí)多，所以我做的就比你做的好。

但是有時(shí)候又不行，為什么不行呢？這是一個(gè)很大的問題，就是你怎么知道過去的知識(shí)是不夠用的？會(huì)有兩個(gè)問題：

第一，我們現(xiàn)在做的很多都是 Statistics Learning（統(tǒng)計(jì)學(xué)習(xí)），不能保證正確性。

第二，既然不能保證正確，它到這里是不是適合？

所以，最后這個(gè)例子就是說，我們做了很多領(lǐng)域了，現(xiàn)在要做的這個(gè)領(lǐng)域就是個(gè)玩具。在很多領(lǐng)域里面，你說個(gè)東西就是一個(gè)玩具，一般來說這個(gè)是不好的，這個(gè)東西沒什么用。所以要用適合你用的，不要去用不適合你用的。

這就是兩個(gè)非常重要的問題。我們最后是用一種在訓(xùn)練數(shù)據(jù)中沒有出現(xiàn)的東西，就是說可以考慮過去的東西好不好？適合不適合使用？

還有一個(gè)很有意思的問題，就是說如果現(xiàn)在只用傳統(tǒng)的辦法，只用訓(xùn)練數(shù)據(jù)來分出這個(gè)測試數(shù)據(jù)，如果你的訓(xùn)練數(shù)據(jù)沒有見過一個(gè)詞，你在測試的時(shí)候，你不敢用的，對(duì)不對(duì)？一般你是不用的，把它丟了，因?yàn)槟悴蛔鲞@個(gè)，沒有見過，但是這里我就可以用。

另外就是說 Lifelong Unsupervised Learning（終身無監(jiān)督學(xué)習(xí)），這是是我們最早做的，我們開始做的就是 Knowledge Base（知識(shí)庫），然后最后就是我剛剛說的，你讓它自己生成知識(shí)，做的更加智能。

我們用主題模型，我可以在很多文檔找出一些主題，但它是一些詞，一些組成元素。比如說我找那個(gè)主題我也不管它是啥，比如像這些詞 Money,Dollar 這些詞。

這個(gè)問題需要很大量的知識(shí)來做這件事情，就是現(xiàn)實(shí)中有很多數(shù)據(jù)，結(jié)果還不一樣。過去我已經(jīng)見過的這些東西，已經(jīng)做過這個(gè)事情，但是在做新的時(shí)候，就可以做的很好，雖然我過去見的東西跟你這個(gè)不完全一樣，但是有很多東西是一樣的。

我就可以去找適合我用的東西，不用我不適合的。因?yàn)樗泻芏?Sharing，讓你可以不用，也可以用。這個(gè)算法是什么意思呢？就是說我先拿這個(gè)模型來算一下，這個(gè)數(shù)據(jù)還是有點(diǎn)多，我用這個(gè)模型來試的時(shí)候，基本上我知道我這里有啥。

然后我就去在我的知識(shí)庫里面就去匹配，哪些東西跟我比較像，我就可以做一些數(shù)據(jù)挖掘，給它做出比較好的結(jié)果，就是這樣的。這個(gè)全部的過程，不需要人給任何指示。不像我們以前最早做的事，需要人為給你一些東西。

比如說，我現(xiàn)在這個(gè)領(lǐng)域有一個(gè)主題。我到過去做過的東西，找到一些跟我差不多的，然后再做一個(gè)數(shù)據(jù)挖掘，這個(gè)最終是來干什么的呢？就是我要保證過去的知識(shí)是正確的，不能說我見過一次就覺得正確，而是見過很多次，然后覺得這個(gè)可能還比較靠譜，用這個(gè)知識(shí)反過來建模。 

另外一個(gè)我想講的就是怎么在開放世界中學(xué)習(xí)，當(dāng)你這個(gè)算法放在這個(gè)世界里面，這個(gè)世界里面不光是你需要去學(xué)會(huì)的東西，還有其它的東西你沒有學(xué)過。你沒有學(xué)過怎么辦？

我們現(xiàn)在機(jī)器學(xué)習(xí)基本上是一個(gè)很狹窄的，因?yàn)槲覍W(xué)到的東西跟我將來見的東西是一樣的，比如說我現(xiàn)在做一個(gè)分類，其實(shí)是說現(xiàn)在學(xué)的時(shí)候有 5 個(gè) Class，在用的時(shí)候，我覺得這個(gè)世界里只有 5 個(gè) Class，沒有別的東西。你想想這東西靠不靠譜？如果你想做自動(dòng)駕駛的話，你絕對(duì)沒辦法開始。因?yàn)樽詣?dòng)車要見的東西太多了，太復(fù)雜了。

這個(gè)系統(tǒng)如果不知道它們自己知道什么，不知道什么，它是沒辦法學(xué)習(xí)的。如果這個(gè)事情全都是我知道的，那你學(xué)什么呢？所以你要知道什么東西你不知道，然后你才能越學(xué)越多，這個(gè)是什么問題呢？當(dāng)然問題很簡單，就是說我現(xiàn)在學(xué)的很多 Class，我的 Class Level 是從 1 到 P 的。

假設(shè)這個(gè)開放域還有其它的東西，我不知道這個(gè)東西是什么，但是最起碼要知道這個(gè)東西我知不知道。然后你的模型要自己想一想怎么辦，要是你采取這種方式，這個(gè)算法就要改一改。

我們講個(gè)算法，第一個(gè)算法就是比較簡單的一個(gè)算法，是一個(gè) Space Transformation（空間轉(zhuǎn)換），但是我們做的效果不是很好。

下面是傳統(tǒng)學(xué)習(xí)和 CBS 學(xué)習(xí)的一個(gè)比較。假設(shè)你在實(shí)踐中見到這些一些其它的東西，你怎么辦？如果是傳統(tǒng)的分類的話，就是說這個(gè)是正的，但是這個(gè)肯定是不合適的，對(duì)不對(duì)？

然后，我們應(yīng)該怎么做呢？辦法就是在這里找一個(gè)中心點(diǎn)，在這個(gè)陣列里每個(gè) Class 基本上找一個(gè)中心，比如說這個(gè)中心在這里，我們就可以做。在那個(gè) Space 上做一個(gè) Learning，再回到這個(gè) Space，是不是基本上就是個(gè)圓。這樣的話，就可以做到我知道這個(gè)不是我，我見到新的東西了，要去學(xué)這個(gè)新的東西。

我們學(xué)到這個(gè)東西，知道這個(gè)東西以后，我知道這個(gè)東西不是我的，要怎么自動(dòng)去學(xué)它？當(dāng)然有這些情況：一個(gè)就是我們說的 Text，Text 有一點(diǎn)麻煩，就是說這個(gè)東西可能不同的類別，這個(gè)之后就要求幫助了，大概就是這樣。

假設(shè)這個(gè)如果是一個(gè) Picture，Object，我們就可以完成。比如說我見到一個(gè)人，這個(gè)人我不認(rèn)識(shí)，我可以問他怎么樣，叫什么名字。下次就可以放很多照片，然后把他選下來，下次我在見到他的時(shí)候，這人我認(rèn)識(shí)，完全可以。

怎么樣讓模型用到學(xué)習(xí)的時(shí)候，讓這個(gè)模型越做越好？要在測試和執(zhí)行中改進(jìn)模型，有一個(gè)想法是從提取結(jié)果連結(jié)這些特征，使更多結(jié)果變成更好的特征。

今天，我介紹了終身機(jī)器學(xué)習(xí)和一些 NLP 的應(yīng)用。最后我總結(jié)一下，這個(gè)領(lǐng)域確實(shí)比較難，就是這個(gè)知識(shí)你不知道正不正確，就算正確，也不一定能用。

現(xiàn)有的終身機(jī)器學(xué)習(xí)仍然處于非常初期的階段，我們對(duì)它的理解也是非常有限的；其次，存在很大的挑戰(zhàn)，包括知識(shí)呈現(xiàn)和推理、自驅(qū)學(xué)習(xí)、組合性等方面，這是下一步需要解決的問題。

（雷鋒網(wǎng)整理）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。