0
| 本文作者： 宗仁 | 2017-05-13 14:29 |
文章由宗仁，曉樺聯(lián)合采訪。
宗仁，曉樺，曉凡聯(lián)合編輯。
“ICLR算是一個(gè)必須的選擇吧，因?yàn)槠鋵?shí)沒有很多的選擇。所以從1996或者1997年以后，我組織了一個(gè)工作室，學(xué)習(xí)工作室，每年大概只有八九十人參加。到了2006、2007年，深度學(xué)習(xí)的大潮來臨的時(shí)候，這個(gè)工作室增長得很快，我們覺得需要有一個(gè)深度學(xué)習(xí)方面的會(huì)議，所以我們就在4年前的時(shí)候把這個(gè)邀請(qǐng)制的工作室變成了開放式的會(huì)議。我覺得這個(gè)決定非常棒，每年都吸引了很多參加者。今年1100人，去年500多人，前年兩三百人，第一年的時(shí)候130人，所以本質(zhì)上它發(fā)展得也很快?！?/span>
4月23-26日，ICLR在土倫舉行了第五屆國際學(xué)習(xí)表征會(huì)議，雷鋒網(wǎng)［AI科技評(píng)論］前線記者親赴現(xiàn)場(chǎng)的同時(shí)，采訪了ICLR會(huì)議創(chuàng)辦人，深度學(xué)習(xí)三大巨頭之一的 Yann LeCun教授，探討了關(guān)于GAN的未來，本屆ICLR的亮點(diǎn)，ICLR論文的爭議，ICLR和Facebook相關(guān)工作的關(guān)聯(lián)性問題，以下是雷鋒網(wǎng)［AI科技評(píng)論］采訪原文。
對(duì)，我以前就有說過，GAN是最近10年內(nèi)機(jī)器學(xué)習(xí)領(lǐng)域最棒的一個(gè)點(diǎn)子。它是一個(gè)很有用的點(diǎn)子，能夠讓非監(jiān)督學(xué)習(xí)發(fā)揮作用。有件事情我一直很相信，就是人工智能系統(tǒng)需要有一種預(yù)測(cè)模型，能夠有預(yù)測(cè)未來的能力。預(yù)測(cè)未來當(dāng)中的問題是，預(yù)測(cè)的結(jié)果是不確定的，未來會(huì)有很多種可能。所以當(dāng)你訓(xùn)練一個(gè)能夠預(yù)測(cè)未來的學(xué)習(xí)機(jī)器的時(shí)候，因?yàn)闀?huì)有固定的一個(gè)合理的答案，就很難使用正常的算法。那么GAN就是解決這種問題的方法之一。這也是我對(duì)GAN很感興趣的原因，我覺得它能夠在解決人工智能發(fā)展之路的這個(gè)問題上發(fā)揮很大作用。
我們現(xiàn)在只看見了一部分內(nèi)容，會(huì)議才剛剛開了一半。我覺得GAN方面確實(shí)有一些有意思的論文，其它方面比如自然語言處理、自然語言理解、知識(shí)的表征學(xué)習(xí)，包括但不限于向量和神經(jīng)網(wǎng)絡(luò)，要更通用一些。神經(jīng)網(wǎng)絡(luò)的內(nèi)在狀態(tài)是用向量表示的，20年前就有人想到過可以用更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)來概括和表示神經(jīng)網(wǎng)絡(luò)的內(nèi)在狀態(tài)，比如圖和張量。這方面的研究我們也看到了一些，有神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)預(yù)測(cè)的結(jié)合，而且在神經(jīng)學(xué)習(xí)和增強(qiáng)學(xué)習(xí)之間的聯(lián)系也有很多研究。但我覺得我們還沒有見什么大的進(jìn)步，在訓(xùn)練出一個(gè)正常的增強(qiáng)學(xué)習(xí)網(wǎng)絡(luò)之外的真正的大進(jìn)步，我們需要新的概念，或者把簡單的增強(qiáng)學(xué)習(xí)作為一項(xiàng)商業(yè)來制造這種機(jī)器。其它的亮點(diǎn)我還沒太多關(guān)注。
我覺得應(yīng)該沒有什么被忽視的（亮點(diǎn)）東西。但是我覺得大家可以多花一點(diǎn)注意力在“基于模型的增強(qiáng)學(xué)習(xí)”或者“基于模型的規(guī)劃”上，還有“階梯式規(guī)劃”，ICLR收到了好幾篇這方面的論文，我覺得這可能是我們建立更智能的系統(tǒng)的路線，因?yàn)樗渲心軌蛴玫竭@個(gè)世界的模型，能夠讓機(jī)器提前進(jìn)行規(guī)劃，而不是直接在環(huán)境里進(jìn)行訓(xùn)練。人類和動(dòng)物用很少很少的樣本就可以進(jìn)行學(xué)習(xí)，這其中的原因就是因?yàn)槲覀兡X中就有很好的世界運(yùn)行的模型，而我們還沒有在AI上嘗試過這些，因?yàn)槟壳斑€沒有好的模型能夠給AI建立世界運(yùn)行的模型，尤其是預(yù)測(cè)性模型，比如拿個(gè)東西到空中，然后松手它就會(huì)掉下去，或者把盛水的玻璃杯倒過來，水會(huì)流出來把別的東西淋濕。我們?nèi)祟悓?duì)世界的很多背景知識(shí)都不是靠觀察得來的，而是靠行動(dòng)，現(xiàn)在還沒有什么好方法能夠讓機(jī)器也這樣做。所以GAN這樣的方法是最有希望取得進(jìn)步的方法，不過也還不能徹底解決。以及，現(xiàn)在也還沒誰有很好的方法能夠讓GAN發(fā)揮出作用，GAN有很多種不同的類型，各自都有優(yōu)點(diǎn)缺點(diǎn)，但是現(xiàn)在還沒什么廣泛接受的類型或者技巧能夠保證GAN每次都起到作用。這也是未來一兩年內(nèi)這方面研究會(huì)遇到的主要問題。
（笑）我也想知道。這個(gè)我還真不知道，沒法回答。不過總體上說，人們喜歡的論文要包含三件事，一是新點(diǎn)子，新點(diǎn)子能讓大家從不同角度進(jìn)行思考；然后就是好的結(jié)果；以及規(guī)范的實(shí)驗(yàn)流程，讓大家看到你的點(diǎn)子有效果。如果你的論文能包含這三件事情，那就是一篇有影響力的論文，很有可能會(huì)有上臺(tái)給大家演講介紹的機(jī)會(huì)。
第三點(diǎn)是說證明新方法是可行的？
對(duì)，但是需要通過規(guī)范的實(shí)驗(yàn)流程來證明。你需要說明你得到好的結(jié)果要?dú)w功與你的新點(diǎn)子，而不是因?yàn)槠渌恍┰颍热绨涯Ｐ驼{(diào)節(jié)得很好之類的。
沒問題，可以的?，F(xiàn)在這方面的研究還并不多，但是這件事肯定是可行的。
您最近公布了wav2char，需要至少十分鐘的語音數(shù)據(jù)。從語音生成是對(duì)目標(biāo)聲音的模仿這個(gè)角度來看，如果我們?cè)谡Z音生成中使用GAN，有什么測(cè)試方法嗎？以及，能否先訓(xùn)練一個(gè)通用的語音模型，然后再用某個(gè)具體的人的聲音去訓(xùn)練生成的聲音。
應(yīng)該是wav2char吧。這方面有一些研究，有很多人用GAN研究語音生成，有的是直接用波形，有的是利用頻譜。那么用GAN的時(shí)候的主要問題之一是，我們沒有特別好的數(shù)字化方法可以對(duì)人工智能的水平進(jìn)行測(cè)量。用GAN生成圖片的時(shí)候，我們可以看那些圖片，看看視覺效果如何；如果生成語音的話，我們就要聽語音有沒有問題。但是我們沒有可量化、客觀、固定的方法來估計(jì)GAN生成的語音數(shù)據(jù)的質(zhì)量。這是個(gè)大問題，因?yàn)檫@會(huì)讓調(diào)整和選擇最好的方案變得很難。
有爭議是好事，爭議推動(dòng)著科學(xué)的發(fā)展。有人有不同意見，他就會(huì)去思考什么樣才是最好的。科學(xué)發(fā)展的方向上就是會(huì)有爭議，而權(quán)威性并不重要，真理有時(shí)候就是會(huì)來自于不怎么出名的人。所以，我覺得這里面沒啥好平衡的。
FAIR是一個(gè)研究性的實(shí)驗(yàn)室，所以雖然有我們研發(fā)出的技術(shù)會(huì)用在Facebook產(chǎn)品中，我們多數(shù)的研究的目的還是為了在領(lǐng)域內(nèi)做出新發(fā)現(xiàn)，而不是直接為了應(yīng)用。不過我們做的許多東西確實(shí)還是用在了Facebook的服務(wù)中的，比如圖像識(shí)別、翻譯，都是直接應(yīng)用在Facebook產(chǎn)品中的。
機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺等等，這些成果VR&AR中都是很實(shí)用的。比如你需要定位和分割物體、加視覺特效、做3D補(bǔ)全、特征追蹤、目標(biāo)識(shí)別等等，所以AI會(huì)對(duì)VR&AR起到很大的影響，其實(shí)現(xiàn)在就有很大影響了。
哈哈，ICLR算是一個(gè)必須的選擇吧，因?yàn)槠鋵?shí)沒有很多的選擇。所以從1996或者1997年以后，我組織了一個(gè)工作室，學(xué)習(xí)工作室，每年大概只有八九十人參加。到了2006、2007年，深度學(xué)習(xí)的大潮來臨的時(shí)候，這個(gè)工作室增長得很快，我們覺得需要有一個(gè)深度學(xué)習(xí)方面的會(huì)議，所以我們就在4年前的時(shí)候把這個(gè)邀請(qǐng)制的工作室變成了開放式的會(huì)議。我覺得這個(gè)決定非常棒，每年都吸引了很多參加者。今年1100人，去年500多人，前年兩三百人，第一年的時(shí)候130人，所以本質(zhì)上它發(fā)展得也很快。同時(shí)我也把這個(gè)會(huì)議作為了實(shí)現(xiàn)OpenReview的機(jī)會(huì)，ICLR使用著這種不常見的公開評(píng)審機(jī)制，ICLR也是對(duì)這種機(jī)制進(jìn)行實(shí)驗(yàn)的機(jī)會(huì)。
對(duì)的，對(duì)話式AI現(xiàn)在還很難讓人滿意。如果要讓虛擬助理變得有用，它們需要具備一定的常識(shí)水平。但現(xiàn)在的機(jī)器還太笨了，沒辦法具有常識(shí)。這也是我們?cè)谘芯款A(yù)測(cè)式模型的原因，這是讓AI最終具有常識(shí)的方法之一。
我正在研究的課題有好幾個(gè)，用GAN研究預(yù)測(cè)模型，其實(shí)本質(zhì)就是無監(jiān)督學(xué)習(xí)；理解深度學(xué)習(xí)目標(biāo)函數(shù)的幾何結(jié)構(gòu)，這是一個(gè)非常復(fù)雜的理論問題，我挺感興趣的；還有就是可轉(zhuǎn)移競(jìng)爭，也是我感興趣的。所以我正在研究的課題就是這三個(gè)。
Facebook在研究聊天機(jī)器人方面花了很大努力，不過這項(xiàng)技術(shù)并不僅僅是為了造一個(gè)虛擬助理的。所以這個(gè)方面有很多研究都還在緊張的進(jìn)行中。
這個(gè)傳聞是假的。聊天機(jī)器人的商業(yè)化策略在不斷演變，所以有些東西會(huì)關(guān)閉或者縮水，有一些其它的方面會(huì)得到提升。但是這方面的研究還是非常活躍的。
圍棋中的競(jìng)爭理論和競(jìng)爭策略一直以來都很有意思，所以這個(gè)比賽對(duì)他們來說也很重要。其中Google也由于這個(gè)比賽的關(guān)系獲得了很高的關(guān)注度，這也是他們繼續(xù)比賽的原因。我覺得Alpha Go肯定是能打敗柯潔的。
雷鋒網(wǎng)［AI科技評(píng)論］曾經(jīng)在《論文被拒千百遍，團(tuán)隊(duì)不受待見，Yann LeCun為何仍待深度學(xué)習(xí)如初戀？》一文中介紹過，Yann LeCun是人工智能神經(jīng)網(wǎng)絡(luò)方面的大牛，現(xiàn)在是Facebook人工智能研發(fā)團(tuán)隊(duì)的領(lǐng)軍人物?？墒撬难芯恐凡⒉皇且环L(fēng)順，在神經(jīng)網(wǎng)絡(luò)變得今天這樣火熱之前，他也經(jīng)歷過非常悲催的歲月。如果從1980年代，Yann LeCun在巴黎讀大學(xué)時(shí)候的算起，Yann LeCun已經(jīng)深耕“神經(jīng)網(wǎng)絡(luò)”30多年了，曾經(jīng)他的研究方向不被看好，論文被各種學(xué)術(shù)會(huì)議拒絕，貝爾實(shí)驗(yàn)室項(xiàng)目被叫停，與Hinton和Bengio結(jié)成了一個(gè)不怎么正式的同盟來復(fù)興神經(jīng)網(wǎng)絡(luò)，不過現(xiàn)在在ICLR上，他的夙愿都達(dá)成了。
他親眼目睹著自己曾經(jīng)的心儀的一個(gè)學(xué)術(shù)活動(dòng)從一個(gè)工作室的規(guī)模逐漸增加到300人，500人，1000人；他為了求變求新，不拘一格地啟用了OpenReview這種不常見的公開評(píng)審機(jī)制；他料到大會(huì)上一些論文必有爭議，但還是欣然鼓勵(lì)和推動(dòng)。甚至在被問到“大會(huì)是如何在爭議性和權(quán)威性之間做出平衡”的問題上時(shí)，他毫不猶豫地表示：“科學(xué)發(fā)展的方向上就是會(huì)有爭議，而權(quán)威性并不重要?！?。
或許，只有經(jīng)歷過詆毀并堅(jiān)持到底的人，才敢無懼爭議并走向更大的成功。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
