雷鋒網(wǎng)按：本文為Yann Lecun在CoRL 2017大會(huì)上做的演講的概述，雷鋒網(wǎng)作為受邀媒體參加了CoRL大會(huì)，所有資料來自于官方公開資源整理。

Lecun為Facebook AI研究院院長(zhǎng)，他同時(shí)也是紐約大學(xué)的終身教授。他因著名的卷積神經(jīng)網(wǎng)絡(luò)（CNN）相關(guān)的工作而被人稱為CNN之父。在演講中，Lecun回顧了其早期利用神經(jīng)網(wǎng)絡(luò)用于機(jī)器人的研究做了一個(gè)基本的介紹，在當(dāng)時(shí)Lecun的論文被RSS拒稿，然而今天CNN卻在人工智能領(lǐng)域大放異彩，新技術(shù)的發(fā)展往往是螺旋式的發(fā)展，然而卻又能帶來驚人的變化，實(shí)在難以預(yù)料。

接著Lecun重點(diǎn)講解了他的成名作——卷積神經(jīng)網(wǎng)絡(luò)（CNN），并分析了阻礙人工智能繼續(xù)前進(jìn)的因素，在他看來，現(xiàn)在的人工智能系統(tǒng)距離真正的人工智能相去甚遠(yuǎn)，要想讓機(jī)器像人或動(dòng)物一樣有效學(xué)習(xí)，需要更好地就無監(jiān)督學(xué)習(xí)上繼續(xù)研究，并討論了利用對(duì)抗網(wǎng)絡(luò)進(jìn)行無監(jiān)督學(xué)習(xí)的重要性。

Lecun的演講標(biāo)題是：《機(jī)器該如何像動(dòng)物和人類一樣有效學(xué)習(xí)》？

Lecun先從今年9月的CCN（Cognitive Computational Neuroscience，認(rèn)知計(jì)算神經(jīng)科學(xué)）大會(huì)上，MIT的認(rèn)知計(jì)算專家Josh Tennenbaum的一句話說起：我們現(xiàn)在看到的所有AI系統(tǒng)都不是真正的AI。這是因?yàn)?，大腦的學(xué)習(xí)效率比我們目前所有的機(jī)器學(xué)習(xí)方法效率都要高：監(jiān)督學(xué)習(xí)需要大量的范例，增強(qiáng)學(xué)習(xí)需要上百萬次試錯(cuò)，這也是我們的機(jī)器人無法像貓或老鼠一樣靈活、以及無法造出擁有常識(shí)的對(duì)話系統(tǒng)的原因。

我們可以通過強(qiáng)化學(xué)習(xí)訓(xùn)練機(jī)器識(shí)別如桌子、凳子、夠、汽車、飛機(jī)等實(shí)例，只要我們有足夠的計(jì)算能力和訓(xùn)練樣本，機(jī)器業(yè)能識(shí)別出之前未見過的東西。

Lecun還比較了傳統(tǒng)的模式識(shí)別方法、改進(jìn)的模式識(shí)別方法、深度學(xué)習(xí)的不同。

從2013年到2017年，從VGG到DenseNet（這也是Facebook用于圖像識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)），深度卷積神經(jīng)網(wǎng)絡(luò)變得越來越深，識(shí)別效果也變得越來越好。

而在Lecun將機(jī)器學(xué)習(xí)應(yīng)用于機(jī)器人的研究在2003年，當(dāng)時(shí)DARPA找到Lecun，通過模仿學(xué)習(xí)進(jìn)行避障的研究。2005年，Lecun將論文投給了第一屆RSS（機(jī)器人領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議之一），但很不幸的被拒了，隨后Lecun將論文轉(zhuǎn)投當(dāng)年的NIPS，論文被收錄發(fā)表。而這一研究的階段性成果也打動(dòng)了DARPA，并催生了之后的DARPA LAGR項(xiàng)目（這么說來，Lecun在機(jī)器人方面的研究天賦是不是被RSS耽誤了呢）。

DARPA LAGR：一個(gè)將機(jī)器學(xué)習(xí)應(yīng)用于地面機(jī)器人、基于感知的自主導(dǎo)航項(xiàng)目。

Lecun在機(jī)器人上使用了一個(gè)叫ComNet的網(wǎng)絡(luò)，在當(dāng)時(shí)算是非常前衛(wèi)的做法。

當(dāng)時(shí)的識(shí)別效果，在地圖上設(shè)定終點(diǎn)后可自主進(jìn)行路線規(guī)劃。

然而，每秒只能進(jìn)行一幀圖像的識(shí)別，無法有效躲避突然出現(xiàn)的行人。

若干年后的另一個(gè)研究，將視頻中的場(chǎng)景識(shí)別為不同種類，如道路、汽車、建筑等。當(dāng)時(shí)還缺乏對(duì)應(yīng)的數(shù)據(jù)集，需要進(jìn)行大量的標(biāo)注。由于缺乏數(shù)據(jù)，這并不是卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)項(xiàng)，只是相比其他方法來說算是一個(gè)不錯(cuò)的選擇而已（直到2012年ImageNet上的突破）。

2012年在FPGA上跑到20幀，這也推動(dòng)了之后如Mobileye和NVIDIA在無人駕駛上的研究。

其他的應(yīng)用，如將Mask R-CNN用于實(shí)例分割；

Mask R-CNN在COCO數(shù)據(jù)集上的圖像分割結(jié)果。

以及姿態(tài)預(yù)估的結(jié)果；

3D語義識(shí)別；

用于翻譯；

視覺推理中的推斷和執(zhí)行（雖然Lecun懟過Jurgen，但不得不說LSTM還是很有用的嘛）；

諸多的用促成了FAIR的諸多開源項(xiàng)目（Lecun說，這里大多數(shù)項(xiàng)目自己沒有參與，他只是在說別人的研究工作）；

展望未來，Lecun認(rèn)為阻礙人工智能繼續(xù)前進(jìn)的因素在于目前我們打開AI的方式不正確，像人或動(dòng)物都無需大量的標(biāo)識(shí)數(shù)據(jù)或者大量試錯(cuò)；

這當(dāng)中的差別在于“常識(shí)”，就是通過想象來填補(bǔ)空白的能力，這也是某種形式的非監(jiān)督學(xué)習(xí)。

大多數(shù)人或動(dòng)物的學(xué)習(xí)方式都是非監(jiān)督學(xué)習(xí)。

人類具有通過觀察形成常識(shí)的能力，例如“Josh拿起包離開了房間”，我們?nèi)祟惡苋菀桌斫庀鄳?yīng)的行為，但很難教機(jī)器去理解這一系列動(dòng)作；

從認(rèn)知科學(xué)的角度，人類在嬰兒時(shí)期學(xué)習(xí)到各種概念的時(shí)間表；

為什么下需要進(jìn)一步發(fā)展非監(jiān)督學(xué)習(xí)？這是由于用于訓(xùn)練一個(gè)大的學(xué)習(xí)機(jī)器的必要樣本量取決于我們要求它能預(yù)測(cè)多少信息，你對(duì)機(jī)器要求越多，所需要的數(shù)據(jù)也越多。在人類大腦中有10^14個(gè)神經(jīng)元觸突，而人的一生大概有10^9秒，這意味著在人類大腦這個(gè)系統(tǒng)中參數(shù)遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)量，而機(jī)器想要趕上人類，必須模仿人類的非監(jiān)督學(xué)習(xí)方式。

三種不同學(xué)習(xí)方式的比較。

然后Lecun展示了他著名的“蛋糕”理論。“真正的”強(qiáng)化學(xué)習(xí)好比蛋糕上的櫻桃，監(jiān)督學(xué)習(xí)好比蛋糕上的糖衣，而蛋糕本身是非監(jiān)督學(xué)習(xí)（預(yù)測(cè)學(xué)習(xí)）。這里L(fēng)ecun也表示，這一比喻對(duì)做強(qiáng)化學(xué)習(xí)的兄弟可能不太友好——“Because the cherry is not optional”。

在Lecun看來，真正的強(qiáng)化學(xué)習(xí)是很難在現(xiàn)實(shí)世界中應(yīng)用的，一不小心出錯(cuò)就會(huì)釀成大禍，還是玩玩游戲就好了。

比如說，打星際。

經(jīng)典的強(qiáng)化學(xué)習(xí)框架Dyna：“現(xiàn)在大腦中推演然后再行動(dòng)”；

以及經(jīng)典的基于模型的最優(yōu)控制理論。

Lecun進(jìn)行了概括：未來的AI革命必然是非監(jiān)督學(xué)習(xí)。

人工智能系統(tǒng)的兩個(gè)重要組成部分：一個(gè)會(huì)學(xué)習(xí)的Agent和一個(gè)不變的目標(biāo)函數(shù)。Agent從世界中感知，做實(shí)際決策，再感知，再做決策………通過這樣一個(gè)不斷循環(huán)迭代的過程，達(dá)到長(zhǎng)期的期望損失最小化的目標(biāo)。

預(yù)測(cè)+規(guī)劃=推理，而通過最小化預(yù)測(cè)損耗，可以使Agent進(jìn)一步優(yōu)化決策過程。

對(duì)應(yīng)的迭代式的學(xué)習(xí)方式和優(yōu)化如上圖所示。這種非監(jiān)督學(xué)習(xí)方式也是人類諸如學(xué)開車等技能獲得的重要方式，因?yàn)槿藗儠?huì)推演行為帶來的后果，并不斷調(diào)整達(dá)到最優(yōu)。

基于卷積網(wǎng)絡(luò)的PhysNet，可預(yù)測(cè)物體的掉落軌跡；

Lecun的學(xué)生不久前做的另一個(gè)前向模型，可模擬飛船在星際旅行中的運(yùn)動(dòng)規(guī)劃。

關(guān)于問答與對(duì)話系統(tǒng)中的預(yù)測(cè)模型。Lecun稱要預(yù)測(cè)未來，你首先要記住過去，因而需要將記憶引入神經(jīng)網(wǎng)絡(luò)中，即所謂的記憶網(wǎng)絡(luò)（Memory Network）。

以及關(guān)于記憶網(wǎng)絡(luò)的若干模型。

端到端的記憶網(wǎng)絡(luò)。你之前告訴機(jī)器的東西會(huì)被儲(chǔ)存起來，并在之后詢問提及時(shí)被激活，這一方式可以用于構(gòu)建對(duì)話系統(tǒng)，而且對(duì)話系統(tǒng)和機(jī)器人與世界進(jìn)行交互的過程有著諸多相似之處；

如果要設(shè)計(jì)一個(gè)好的對(duì)話系統(tǒng)，需要對(duì)對(duì)話有良好的預(yù)測(cè)能力。

在這方面的一些研究。

然后Lecun提到了在非確定條件下的預(yù)測(cè)方式（非監(jiān)督學(xué)習(xí)）。

簡(jiǎn)單來說就是學(xué)習(xí)一個(gè)能量函數(shù)，使得其在數(shù)據(jù)流形狀上具有較低的值，而在其他地方具有較高的值。

即在希望的輸出上壓低能量值，在其他地方提高能量值。但是我們?nèi)绾未_定什么地方應(yīng)該提高呢？這當(dāng)有八、九種方法，比如蒙特卡洛方法等。

而對(duì)抗網(wǎng)絡(luò)也是新的處理這一問題的有效手段。

到具體的問題，最困難之處在于基于不確定性的預(yù)測(cè)。例如放開一支筆，讓系統(tǒng)回答筆半秒鐘后會(huì)導(dǎo)向何方，系統(tǒng)感知到的輸入X只是世界里真實(shí)分布的一個(gè)采樣，假設(shè)其由某個(gè)隱變量Z而決定，如果Z不同，預(yù)測(cè)的結(jié)果Y也會(huì)不一樣，即便是我們?nèi)祟愐埠茈y預(yù)測(cè)Y在空間中的帶狀分布。

對(duì)抗學(xué)習(xí)：由生成器來決定讓哪些點(diǎn)的能量值變高或者變低；

基于能量的生成對(duì)抗網(wǎng)絡(luò)在ImageNet上訓(xùn)練的例子。

我們同樣還可以將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用在視頻預(yù)測(cè)上。

我們是否可以訓(xùn)練機(jī)器像我們大腦一樣，對(duì)未來進(jìn)行預(yù)測(cè)呢？通過生成對(duì)抗網(wǎng)絡(luò)，我們已經(jīng)取得了一些進(jìn)展，但這個(gè)問題仍然遠(yuǎn)遠(yuǎn)未能解決。

用生成對(duì)抗網(wǎng)絡(luò)預(yù)測(cè)未來5幀的例子總體來說不錯(cuò)，但如果我們預(yù)測(cè)未來50幀的狀態(tài)就要大打折扣了。

Lecun最近的研究：視頻預(yù)測(cè)的語義分割

該研究在如自動(dòng)駕駛等領(lǐng)域?qū)?huì)有不錯(cuò)的應(yīng)用，例如預(yù)測(cè)0.5秒后行人或其他車輛的狀態(tài)；

Lecun最新的研究：錯(cuò)誤編碼網(wǎng)絡(luò)（將在明天發(fā)布到Arxiv上，雷鋒網(wǎng)也將進(jìn)一步跟進(jìn)。）

在一個(gè)測(cè)試集上的例子：用機(jī)器手臂戳物體并預(yù)測(cè)其位置。

Lecun稱，對(duì)未來的預(yù)測(cè)是AI系統(tǒng)的一個(gè)重要環(huán)節(jié)，而這一問題尚未得到解決。生成對(duì)抗網(wǎng)絡(luò)為解決這一問題提供了一個(gè)思路，同時(shí)他也期待有其他更好的方法來解決這一問題。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。