3
| 本文作者： 新智元 | 2016-05-01 13:57 |
雷鋒網(wǎng)按：本文作者朱不換。
【雷鋒網(wǎng)導(dǎo)讀】“讓機(jī)器會(huì)做夢(mèng)，從某種程度上來說，是人工智能發(fā)展的一個(gè)關(guān)鍵技能”，Bengio在接受O'reilly的采訪時(shí)說到。在這里，“做夢(mèng)”代表的是想象的能力，也是監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的主要區(qū)分之一，如果只能通過監(jiān)督學(xué)習(xí)的方法來學(xué)習(xí)，那就必須要通過真實(shí)經(jīng)歷，才能產(chǎn)生認(rèn)知。在對(duì)真正的人工智能的探索中，無監(jiān)督學(xué)習(xí)仍然是關(guān)鍵謎題之一。我們可以在一個(gè)最不可思議的地方，即機(jī)器所做的夢(mèng)里，找到一種對(duì)我們朝著這一目標(biāo)的進(jìn)度的測(cè)量。
Yoshua Bengio 是蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授，也是該系的機(jī)器學(xué)習(xí)實(shí)驗(yàn)室（MILA）主任，并擔(dān)任加拿大統(tǒng)計(jì)學(xué)學(xué)習(xí)算法研究主席。他的研究目標(biāo)是理解那些產(chǎn)生智能的學(xué)習(xí)過程的原則。
自然語言處理（NLP）自出現(xiàn)以來已走過了一段很長(zhǎng)的路。通過向量描述和定制的深度神經(jīng)網(wǎng)絡(luò)等技術(shù)，該領(lǐng)域已經(jīng)向著真正的語言理解邁出了有意義的步伐。
深度學(xué)習(xí)所支持的語言模型與喬姆斯基學(xué)派的模型不符，而是源于從1980年代開始流行的聯(lián)結(jié)主義思想。
在神經(jīng)科學(xué)與機(jī)器學(xué)習(xí)的關(guān)系方面，二者總是互相激勵(lì)，一方的進(jìn)步為另一方帶來新的啟發(fā)。
在對(duì)真正的人工智能的探索中，無監(jiān)督學(xué)習(xí)仍然是關(guān)鍵謎題之一。我們可以在一個(gè)最不可思議的地方——機(jī)器所做的夢(mèng)里——找到一種對(duì)我們朝著這一目標(biāo)的進(jìn)度的測(cè)量。
Yoshua Bengio 是蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授
該系的機(jī)器學(xué)習(xí)實(shí)驗(yàn)室（MILA）主任
加拿大統(tǒng)計(jì)學(xué)學(xué)習(xí)算法研究主席
【O'reilly】讓我們從聊聊你的個(gè)人背景開始吧。
【Yoshua】我從1980年代起就研究神經(jīng)網(wǎng)絡(luò)。我于1991年在麥吉爾大學(xué)獲得了博士學(xué)位，此后我在麻省理工學(xué)院跟從Michael Jordan做博士后研究。之后，我在貝爾實(shí)驗(yàn)室與Yann LeCun, Patrice Simard, Léon Bottou, Vladimir Vapnik等人一起工作。后來我又回到了蒙特利爾，并在這里度過了人生的大部分時(shí)光。
由于造化弄人，神經(jīng)網(wǎng)絡(luò)在1990年代遇冷，直到上一個(gè)十年才復(fù)興。不過在那段時(shí)間里，我的實(shí)驗(yàn)室和其他幾個(gè)團(tuán)隊(duì)仍在前進(jìn)。而后在2005年或2006年前后，我們?nèi)〉昧送黄?。我們首次發(fā)現(xiàn)了能成功地訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，而此前的嘗試都未能成功。
從那時(shí)起，我的實(shí)驗(yàn)室便逐漸成長(zhǎng)為一個(gè)擁有五到六位教授的研究機(jī)構(gòu)，總共擁有65位研究員。在這些年間，除了促進(jìn)無監(jiān)督學(xué)習(xí)領(lǐng)域的發(fā)展之外，我們的團(tuán)隊(duì)還對(duì)自然語言、遞歸網(wǎng)絡(luò)等不少領(lǐng)域作出了貢獻(xiàn)。其中，遞歸網(wǎng)絡(luò)是一種用來處理語言和其他領(lǐng)域中的序列的神經(jīng)網(wǎng)絡(luò)。
同時(shí)，我也對(duì)神經(jīng)科學(xué)與深度學(xué)習(xí)之間的聯(lián)系非常感興趣。這種關(guān)系是雙向的。一方面，19世紀(jì)50年代，人工智能最開始發(fā)端時(shí)，某些研究趨勢(shì)是從人類心智研究來支撐的。不過，自從神經(jīng)網(wǎng)絡(luò)東山再起之后，情況就反轉(zhuǎn)了，我們開始指望機(jī)器學(xué)習(xí)作為一種思路，發(fā)現(xiàn)對(duì)大腦學(xué)習(xí)過程的高階理論解釋。
【O'reilly】讓我們接下來談?wù)勛匀徽Z言。這個(gè)領(lǐng)域是如何發(fā)展的？
【Yoshua】我在2000年的神經(jīng)信息處理系統(tǒng)進(jìn)展大會(huì)（NIPS）上發(fā)表了我的第一篇關(guān)于自然語言處理的重要文章。當(dāng)時(shí)人們普遍認(rèn)為，最高水平的語言處理方法也無法實(shí)現(xiàn)人工智能，直白地說，因?yàn)檫@些方法還太笨了。當(dāng)時(shí)流行的基本技術(shù)是去數(shù)一下某個(gè)詞后面跟著另一個(gè)詞的情況出現(xiàn)過多少次，或者一個(gè)由三個(gè)詞組成的序列出現(xiàn)過多少次——并由此來預(yù)測(cè)某個(gè)詞的下一個(gè)詞或者去翻譯一個(gè)詞或詞組。
然而，這樣一種方法缺乏關(guān)于意義的概念，不能運(yùn)用于那些高度復(fù)雜的概念，也無法被正確泛化到未曾見過的詞語。考慮到這一點(diǎn)，我便用神經(jīng)網(wǎng)絡(luò)來著手處理這一問題，我相信神經(jīng)網(wǎng)絡(luò)能夠克服“維數(shù)災(zāi)難”，并提出了一組方法和論證 。從那時(shí)起，這些方法和論證便成為了對(duì)深度學(xué)習(xí)的理論分析的核心方法和論證。
這個(gè)所謂的“維數(shù)災(zāi)難”涉及機(jī)器學(xué)習(xí)面臨的一個(gè)基礎(chǔ)性難題。當(dāng)我們?cè)噲D使用大量變量來預(yù)測(cè)某個(gè)東西的時(shí)候，這些變量的各種可能的組合方式的數(shù)量極大，而這使得問題的難度會(huì)呈指數(shù)級(jí)增加。例如，如果你考慮一個(gè)由三個(gè)詞組成的序列，其中每個(gè)詞都來自一個(gè)十萬詞的詞庫，那么一共有多少個(gè)可能的序列呢？一共有10,0000的3次方個(gè)序列。一個(gè)人一輩子也不可能把所有這些序列都數(shù)完。更糟糕的是，典型的短句子大約由十個(gè)左右的單詞構(gòu)成，而如果你考慮一個(gè)由十個(gè)詞構(gòu)成的序列，那么你將面臨的數(shù)字是10,0000的10次方，一個(gè)大得不可思議的數(shù)字。
值得慶幸的是，我們可以用對(duì)詞的代表（即所謂的詞向量）來替代詞，并學(xué)習(xí)這些詞向量。每個(gè)詞都被映射到一個(gè)向量，而這個(gè)向量自身是一組數(shù)字，這些數(shù)字分別對(duì)應(yīng)于從詞上自動(dòng)學(xué)習(xí)到詞的特征。學(xué)習(xí)系統(tǒng)同時(shí)利用這些特征來學(xué)習(xí)如何在給定前面的詞的情況下去預(yù)測(cè)下一個(gè)詞，或者學(xué)習(xí)如何產(chǎn)生一個(gè)譯文句子。
可以把詞向量設(shè)想為一個(gè)（以詞為行，以特征為列的）巨大表格，其中每一個(gè)詞向量都由數(shù)百個(gè)特征構(gòu)成。機(jī)器讀取這些特征并把它們輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)有多個(gè)輸出，它為詞庫中的每個(gè)詞都產(chǎn)生一個(gè)輸出，而除此之外它在其他方面都類似于傳統(tǒng)網(wǎng)絡(luò)。要正確地預(yù)測(cè)句子中的下一個(gè)詞，或者要確定句子的正確譯文，該神經(jīng)網(wǎng)絡(luò)可能需要產(chǎn)生100,000個(gè)輸出。
這個(gè)方法很管用。剛開始時(shí)，我們?cè)诒容^小的規(guī)模上測(cè)試這一方法。接下來的十年，研究者在“更大的數(shù)據(jù)集上訓(xùn)練越來越大的模型”這個(gè)方向取得了巨大的進(jìn)步。這一技術(shù)已經(jīng)取代了一些陳舊的自然語言處理方法，并一再戰(zhàn)勝那些最高水平的測(cè)試標(biāo)準(zhǔn)。說得更大一點(diǎn)，我相信我們正處于自然語言處理領(lǐng)域的巨大轉(zhuǎn)變之中，特別是在涉及語義的方面。換句話說，我們正在通向?qū)ψ匀徽Z言的理解，尤其能體現(xiàn)出這一點(diǎn)的是，近期對(duì)遞歸網(wǎng)絡(luò)的擴(kuò)展已包含了推理的部分。
除了對(duì)自然語言處理的直接影響之外，該工作也涉及到人工智能領(lǐng)域的其他臨近主題，例如機(jī)器如何回答問題和進(jìn)行對(duì)話。此前，DeepMind 在《自然》雜志上發(fā)表了一篇論文，其主題與關(guān)于對(duì)話的深度學(xué)習(xí)緊密相關(guān)。他們的論文描述了一種擊敗了歐洲圍棋冠軍的深度強(qiáng)化學(xué)習(xí)系統(tǒng)。無論以何種標(biāo)準(zhǔn)，圍棋都是一種非常難的游戲，這使得許多人預(yù)測(cè)要到幾十年后電腦才能與職業(yè)圍棋手對(duì)戰(zhàn)。換個(gè)角度看，一個(gè)像圍棋這樣的游戲很像一場(chǎng)人類玩家與機(jī)器之間的對(duì)話。我很期待能看到這些研究將通向何方。
【O'reilly】深度學(xué)習(xí)與喬姆斯基的語言理論的相符程度如何？
【Yoshua】深度學(xué)習(xí)指向與喬姆斯基完全相反。深度學(xué)習(xí)幾乎完全依賴通過數(shù)據(jù)進(jìn)行的學(xué)習(xí)。當(dāng)然，我們?cè)O(shè)計(jì)了神經(jīng)網(wǎng)絡(luò)的構(gòu)架，但在大部分時(shí)候，它都依賴于數(shù)據(jù)、大量的數(shù)據(jù)。至于喬姆斯基，則是聚焦于固有語法和對(duì)邏輯的使用，而深度學(xué)習(xí)則關(guān)注意義。我們發(fā)現(xiàn)，語法只是像蛋糕上的糖霜一樣的表層的東西。相反，真正重要的東西是我們的意圖：我們對(duì)詞的選擇決定了我們要表達(dá)什么意義，而與詞相聯(lián)系的意義是可以被學(xué)習(xí)的。這些思想都與喬姆斯基學(xué)派的觀點(diǎn)針鋒相對(duì)。
【O'reilly】是否有其他語言學(xué)學(xué)派的觀點(diǎn)與深度學(xué)習(xí)更吻合呢？
【Yoshua】1980年代的時(shí)候，一些心理學(xué)家、計(jì)算機(jī)科學(xué)家和語言學(xué)家發(fā)展出了認(rèn)知心理學(xué)的聯(lián)結(jié)主義路徑。通過使用神經(jīng)網(wǎng)絡(luò)，這些研究者依靠來自神經(jīng)科學(xué)的概念為人類如何思考、如何學(xué)習(xí)的問題帶來了新的啟發(fā)。實(shí)際上，反向傳播算法和其他一些今天仍在使用的算法都可以回溯到當(dāng)年的那些努力。
【O'reilly】這是否意味著兒童早期語言發(fā)展或者人類心智的其他功能有可能在結(jié)構(gòu)上與反向傳播算法或其他這類算法相同？
【Yoshua】我們研究社區(qū)中的研究者們有時(shí)會(huì)從大自然與人類智能中尋找啟發(fā)。舉個(gè)例子，就拿課程學(xué)習(xí)（curriculum learning）這種方法來說吧。這種方法促進(jìn)了深度學(xué)習(xí)，特別是在推理任務(wù)方面。相反，傳統(tǒng)的機(jī)器學(xué)習(xí)把所有的實(shí)例都裝進(jìn)一個(gè)大袋子，并讓機(jī)器以隨機(jī)的順序檢測(cè)這些實(shí)例。人類可不是以這種方式來學(xué)習(xí)的。通常，在教師的指導(dǎo)下，一開始，我們學(xué)習(xí)比較容易的概念，隨后才逐步學(xué)習(xí)處理那些越來越難和復(fù)雜的概念，整個(gè)過程都建立在我們?cè)缦鹊倪M(jìn)展的基礎(chǔ)之上。
從最優(yōu)化的角度來看，訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)是困難的。盡管如此，通過從小處著手并逐漸地增加難度的層級(jí)，我們可以解決一些此前被認(rèn)為是太困難而無法學(xué)習(xí)的任務(wù)。
【O'reilly】你的工作包括關(guān)于深度學(xué)習(xí)構(gòu)架的相關(guān)研究。你可以談?wù)勥@些構(gòu)架是如何隨著時(shí)間演化的嗎？
【Yoshua】我們從1980年代到21世紀(jì)的第一個(gè)十年都在使用同一種非線性構(gòu)架，但我們不一定非要使用這種構(gòu)架。
過去，我們依賴雙曲正切函數(shù)，它是一種平緩遞增的曲線，對(duì)小數(shù)值和大數(shù)值的變化不敏感，但卻會(huì)對(duì)中間數(shù)值做出反應(yīng)。在我們的工作中，我們發(fā)現(xiàn)了另一種隱藏在平凡外表之下的非線性，即整流函數(shù)（rectifier）,它讓我們能夠訓(xùn)練更深度的網(wǎng)絡(luò)。這一模型從人腦那里獲得了啟發(fā)，因?yàn)榕c雙曲正切函數(shù)相比，人腦更符合整流函數(shù)的模式。有趣的是，這種模型為什么會(huì)有效，其原因仍然有待澄清。在機(jī)器學(xué)習(xí)領(lǐng)域，理論常常產(chǎn)生于實(shí)驗(yàn)之后。
【O'reilly】未來有哪些其他的挑戰(zhàn)是你想談?wù)劦哪兀?/p>
【Yoshua】除了理解自然語言之外，我們也在關(guān)注推理本身。對(duì)符號(hào)、數(shù)據(jù)結(jié)構(gòu)和圖象進(jìn)行處理，這曾經(jīng)是（無學(xué)習(xí)的）人工智能的經(jīng)典領(lǐng)域，但在過去幾年中，神經(jīng)網(wǎng)絡(luò)重新導(dǎo)向了這類嘗試。我們已經(jīng)看到一些模型，它們能夠處理堆棧和圖象等數(shù)據(jù)結(jié)構(gòu)，用內(nèi)存來儲(chǔ)存和提取對(duì)象，通過一連串的步驟進(jìn)行工作。這些模型在支持對(duì)話和其他需要綜合不同證據(jù)的任務(wù)時(shí)也有一定的潛力。
除了推理之外，我也對(duì)無監(jiān)督學(xué)習(xí)很感興趣。在很大程度上，機(jī)器學(xué)習(xí)的進(jìn)步是由對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行訓(xùn)練所帶來的利益所驅(qū)動(dòng)的，這些數(shù)據(jù)集帶有數(shù)以百萬計(jì)的標(biāo)記實(shí)例，而對(duì)這些標(biāo)記實(shí)例的解釋是由人來完成的。這樣的方法無法規(guī)?；涸诂F(xiàn)實(shí)中我們不可能為每一件東西做標(biāo)記并一絲不茍地向電腦解釋所有的細(xì)節(jié)。而且，人類在學(xué)習(xí)大多數(shù)東西的時(shí)候也根本不是這樣學(xué)的。
當(dāng)然，作為有思考能力的動(dòng)物，我們?nèi)祟惣认蛭覀兊沫h(huán)境和人類同伴提供反饋，也依賴來自他們的反饋。但如果與一個(gè)典型的標(biāo)記數(shù)據(jù)集相比較的話，這些反饋的數(shù)量是十分稀少的。簡(jiǎn)單說來，就是一個(gè)孩子在世界中觀察他的環(huán)境，不斷努力地理解環(huán)境以及事物背后的原因。在他追求知識(shí)的過程中，他試驗(yàn)并提出問題，從而持續(xù)地對(duì)他為環(huán)境所建立的內(nèi)在模型進(jìn)行修正。
若要機(jī)器以類似的方式學(xué)習(xí)，我們需要在無監(jiān)督學(xué)習(xí)方面取得更多進(jìn)步。目前，這一探索中最令人振奮的領(lǐng)域是圖像生成?？疾煲粋€(gè)機(jī)器的無監(jiān)督學(xué)習(xí)能力的一種方式是：向它展現(xiàn)許多圖像，比方說汽車的圖像，并要求它“想象”出一個(gè)新的汽車模型——人們已經(jīng)證明這種方法適用于汽車、臉龐和其他種類的圖像。不過，與計(jì)算機(jī)繪圖（computer graphics）所能達(dá)到的水平相比，這些生成的圖像的視覺質(zhì)量仍相當(dāng)糟糕。
如果當(dāng)我們要求計(jì)算機(jī)生成一幅嶄新但像樣的圖像的時(shí)候，它能產(chǎn)生一個(gè)合理的、并非復(fù)制品的輸出，這就將意味著它對(duì)這些對(duì)象的理解已經(jīng)達(dá)到了很深的水平。也就是說，在某種意義上，這臺(tái)計(jì)算機(jī)已經(jīng)發(fā)展出了一種對(duì)這些對(duì)象的深層解釋的理解。
【O'reilly】你剛才說你會(huì)要求計(jì)算機(jī)“做夢(mèng)”。在某種意義上，或許可以問，是不是像Philip K.Dick說的那樣，機(jī)器人也會(huì)夢(mèng)見電子羊呢？
【Yoshua】是的。我們的機(jī)器已經(jīng)在做夢(mèng)了，不過是以一種模糊的方式。我們通過“想象”這種工具來設(shè)想那些我們并未實(shí)際經(jīng)歷的東西，而機(jī)器人的夢(mèng)仍不如人類的夢(mèng)和想象那樣活潑和富于內(nèi)容。我能夠想象，開車時(shí)因?yàn)檗D(zhuǎn)向錯(cuò)誤而與迎面來車相撞的后果，謝天謝地我并不需要實(shí)際經(jīng)歷這些就能認(rèn)識(shí)到這樣做的危險(xiǎn)。如果只能通過監(jiān)督學(xué)習(xí)的方法來學(xué)習(xí)，那就必須真實(shí)經(jīng)歷這些場(chǎng)景以及這些場(chǎng)景的無窮無盡的置換排列。我們?cè)跓o監(jiān)督學(xué)習(xí)方面的研究目標(biāo)是，幫助機(jī)器在它關(guān)于世界的現(xiàn)有知識(shí)的前提下推理和預(yù)測(cè)將來可能發(fā)生什么。這代表了人工智能的一種關(guān)鍵技能。
正是這樣的方法在驅(qū)動(dòng)著科學(xué)的前進(jìn)。那就是，從給定的觀察中辨認(rèn)出因果解釋的方法論路徑。換句話說，我們致力于讓計(jì)算機(jī)能像小科學(xué)家或小孩子一樣做研究。或許需要幾十年才能達(dá)到這種真正自主的無監(jiān)督學(xué)習(xí)，不過我們已經(jīng)在這條探索之路上了。
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
