編輯 | 叢 末
Yoshua Bengio來Twitter傳道授業(yè)解惑啦！Yoshua Bengio是2018年圖靈獎獲得者，蒙特利爾大學計算機科學與運籌學系教授，蒙特利爾學習算法研究所（MILA）科學主任，以及微軟研究院顧問。這是他首次在Twitter上亮相，不過可惜的是，他并沒有開通自己的Twitter賬號，而是借著微軟研究院的官方Twitter 賬號發(fā)言。早在7月11日，Bengio就在微軟研究院的官方Twitter上發(fā)布了一個視頻，表示會在7月16日與網友進行問答互動。Bengio在視頻中說，可以就他的研究工作提任何問題，并特別提到他發(fā)表在ICML2020的一項工作。不過提問者似乎對如何入坑AI以及其它學術問題更感興趣，有人甚至問Bengio如何教小學生學習AI，Bengio也毫不介意，非常熱情耐心地回答了二十多個問題，讓我們來看看Bengio都分享了哪些真知灼見吧。 可以在這個網頁或Twitter上搜索“#AskYoshua”查看所有網友的問題。雖然回答時間已經過去了，仍有不少網友想請教Bengio。#AskYoshua問答：https://twitter.com/hashtag/AskYoshua?src=hashtag_clickBengio提到的發(fā)表在ICML2020的論文是《Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules》，感興趣的同學可以去看看：
論文的ICML主頁：https://icml.cc/virtual/2020/poster/6039 以下是問答內容，AI科技評論進行了不改變原意的整理：01、Rakshith V：為了從理論轉向實際從而更好地理解深度學習，我應該怎么做？是實現(xiàn)論文，還是參加Kaggle競賽，還是其它途徑？Yoshua Bengio：首先，你需要敢于實踐，親自動手嘗試。復現(xiàn)論文是一個很好的起點（除非擁有大量算力，一般我都進行小型實驗）。然后，你可以自問，采用什么方法可以使實現(xiàn)結果變得更好。如果發(fā)現(xiàn)論文中的結果不可復現(xiàn)，請不要猶豫，立刻與作者聯(lián)系！最后，不要猶豫，發(fā)表你的復現(xiàn)結果吧（例如，發(fā)表在arXiv），不管它是否奏效（知道復現(xiàn)結果的難度也是很有用的）。02、Zaryab Akram：您對剛進入AI領域的研究人員有什么建議？Yoshua Bengio：通過閱讀足夠深入地了解AI領域之后，將注意力集中在可以逐漸成為專家的某個領域，花時間閱讀該領域的文獻。另外，通過自己進行實驗來建立你的直覺，然后開始聽從這些直覺去實踐，有些會起作用，有些則不會。03、Marcos Pereira：如果有人想開展獨立研究以彌補深度學習當前的缺點（涉及構建人類智能的更大目標），您認為如何開始比較好？Yoshua Bengio：每個機器學習研究人員都會對這個問題有不同的答案，這很棒，因為我們不知道什么idea是有用的：研究是一種探索。您可以通過觀看我最近的演講，并閱讀我的近期論文來了解。04、deva satya sriram chinthapenta：我是一名學生，對深度學習研究感興趣，但對應用不感興趣。我該如何從純數(shù)學（概率統(tǒng)計）著手研究計算機視覺或其他領域？Yoshua Bengio：即使只想進行基礎研究，也應該動手理解概念，多親自觀察實驗的結果，建立不僅基于理論而且基于經驗的強烈直覺。系統(tǒng)1（經驗）和系統(tǒng)2（理論）需要協(xié)同工作！05、Ash：來自軟件工程等應用領域的人如何開始AI研究？Yoshua Bengio：我和Ian Goodfellow、Aaron Courville合作寫了《深度學習》，這本書可以為你們提供幫助。電子版免費哦：https://www.deeplearningbook.org/還有中文版哦：https://github.com/exacity/deeplearningbook-chinese學會必要的數(shù)學知識，然后去研究建議的參考文獻，以確保具備閱讀機器學習論文所需的知識。然后閱讀大量論文，并親自進行大量實驗。問自己問題，不要認為任何事情都是理所當然的。06、Rakshith V：您對近期自監(jiān)督學習的發(fā)展有什么看法？Yoshua Bengio：自監(jiān)督學習是一個非常古老的想法，只是用了新術語，它基本上是從無標簽（或標簽不足）的數(shù)據中生成表征形式。近年來，它的威力變得越來越為人所知，它將繼續(xù)成為我們工具箱的一部分，但僅憑自監(jiān)督學習不足以解決諸如OOD泛化和學習更高級別的抽象之類的問題。07、Mayur Jain：現(xiàn)實生活中存在偏見/歧視，而偏見/歧視又反映在數(shù)據中。由于很難在現(xiàn)實中更改數(shù)據，那要如何克服數(shù)據中存在的偏見/歧視？Yoshua Bengio：我不是這個問題的專家，但是有專門針對此問題的講座和教程。出發(fā)點是同情心，要思考我們的行為如何傷害或幫助他人，并且要明白讓不公正現(xiàn)象繼續(xù)存在是不可接受的。我們每個人只要做一點點改變就可以逐漸改變社會規(guī)范、文化和實踐，從而朝著更加公平和包容的社會邁進。在日常生活（包括工作）中思考自己可以做的事情，以及從其他人正在做的事情中尋找啟發(fā)。08、Antonio Regalado：請問您的新論文是對計算機和人類推理偏見（bias）的辯護嗎？Yoshua Bengio：歸納偏置（inductive bias）和偏見不是一個概念。機器學習探索各種歸納偏置。在這項研究中，我們嘗試從大腦中獲取靈感，以探索可能有更好泛化能力的神經網絡架構。最好的歸納偏置有很好的泛化能力。很多基于推理的經典AI都是受人類認知啟發(fā)的，現(xiàn)代機器學習也是如此。09、Harm van Seijen：研究模塊化網絡上時要注意的主要陷阱是什么？Yoshua Bengio：這是機器學習和深度學習研究的常規(guī)方法，我認為，我們應該從OOD泛化性和遷移學習任務中的樣本復雜性方面衡量增益，而不是依據常規(guī)的基準。實驗效果不佳的話，可能會讓人們感到沮喪，過去這也發(fā)生在我身上。解決方案是：用長遠的眼光重新思考，以決定是否繼續(xù)努力。10、Alejandro Piad Morffis：您對AutoML感興趣嗎？您認為AutoML和NAS是機器學習和深度學習未來發(fā)展的重心還是邊緣領域，或者它僅是面向應用的方法？Yoshua Bengio：我對AutoML研究，以及架構搜索和生物進化之間的聯(lián)系感到著迷。不僅是架構，學習過程本身也應該成為搜索的一部分。然而，這種盲目搜索的問題在于：它使得我們更難以科學地（例如在數(shù)學上）理解算法的過程。我想說這種研究是不得已而為之，是一種絕望的選擇，認為我們可能無法使用理性找到解決方案，而需要依賴蠻力。11、Samiul Hasan：神經網絡還無法解決哪些問題？Yoshua Bengio：當前的神經網絡大多擅長人類的系統(tǒng)1（經驗）的能力，但并不擅長某些系統(tǒng)2（理論）的能力。語言學家一直特別強調，與當前的機器學習（包括深度學習）相比，人類擅長系統(tǒng)概括。人類可以系統(tǒng)地將通用概念重組以形成清晰而新穎的含義，甚至可以應用到全新的領域，。12、Mohit Sharma：許多機器學習研究是易于進行的并且可以獨立進行。但是，理論研究很難獨立地在沒有指導的情況下發(fā)表在COLT / ICML中。您對此有什么建議呢？Yoshua Bengio：去接觸從事您認為有趣的工作的初級研究人員。13、Hitesh Kumar Balapanuru：在AI中存在以下幾個問題：（1）泛化能力vs在有限測試數(shù)據集上更高的準確率（數(shù)據可能反映現(xiàn)實世界模式）Yoshua Bengio：機器學習領域將很多研究精力放在泛化的一般形式上，以測試與訓練數(shù)據擁有相同分布的數(shù)據。我認為我們正在轉向分布外（out-of-distribution）泛化，這將實現(xiàn)更強的魯棒性。此外，從擬合數(shù)據分布轉向建立其抽象表征以捕獲因果結構的方法（使用類似于單詞的概念，即語義表征），也應該有助于解釋性。14、Venkateshwar Ragavan @ ICML’2020：鑒于神經科學對理解人工神經網絡產生了深遠的影響，還有哪些學科（如物理學等）將在理解人工神經網絡黑箱子方面發(fā)揮關鍵作用？Yoshua Bengio：物理學已經對神經網絡產生了重大影響，比如基于能量的模型、玻爾茲曼機、熵和互信息的概念，以及物理和因果推理之間的關系。推薦你看看這個視頻：https://www.youtube.com/watch?v=4qc28RA7HLQ15、Ujjwal Upadhyay：有一個觀點說，表征學習有助于解決對抗性學習問題，您怎么看？Yoshua Bengio：首先，人類也容易遭受對抗攻擊（視錯覺、心理偏見等）。其次，我相信，一旦能夠訓練深層網絡捕獲對世界的高級抽象理解，我們將得到更加魯棒的系統(tǒng)。這個問題與系統(tǒng)2（理論）相關聯(lián)，當然，也以系統(tǒng)1（經驗）為基礎。當前許多成功作弊的對抗樣本都利用了系統(tǒng)依賴于底層特征（即不夠抽象的特征）的特點。16、Alex Simonelis：您認為國家是否應該限制AI研究？Yoshua Bengio：這是一個棘手的問題。但是，作為研究人員或工程師，我們確實需要注意誤用AI對社會的影響。 17、Greg Yang：我很好奇您在“意識先驗”方面的最新研究成果是什么？相關論文：https://arxiv.org/abs/1709.08568Yoshua Bengio：我最近的論文中有很大一部分是對此的后續(xù)研究，有幾篇正在提交中。值得注意的有兩個分支：一個是關于因果發(fā)現(xiàn)（在稀疏的因果圖中）的系列論文，另一個是關于模塊化循環(huán)架構的論文。關于循環(huán)獨立模塊，我在ICML發(fā)表的論文中涉及的自上而下的注意力就是一個例子?？梢圆榭次易罱难葜v以得到更廣泛的了解，比如在Tubingen機器學習Summer Schoool上的演講。No1：https://www.youtube.com/watch?v=c_U4THknoHENo2：https://www.youtube.com/watch?v=PDPdIDihPvc18、Harm van Seijen：您認為，是否存在可以對大多數(shù)形式的組合進行編碼的模塊化網絡設計？還是我們需要不同形式來編碼不同形式的組合？Yoshua Bengio：在深度網絡架構中，至少已經利用了兩種形式的組合性，一種形式來自分布式表征，另一種形式來自深度。模塊化和注意力以及可能的其他機制（例如工作記憶）可能是另一種形式的要素，有可能幫助實現(xiàn)人類所擁有的系統(tǒng)概括能力。19、Pinaki Dasgupta：您認為未來五年深度學習或意識處理會如何發(fā)展？Yoshua Bengio：我認為，大腦中關于意識處理的一些機制會在接下來的幾年中逐漸融入了深度學習架構和訓練框架中。此外，執(zhí)行控制的優(yōu)勢也能為深度學習帶來好處，例如重用知識、遷移學習、處理反事實的能力、抽象的信用分配等等。20、Devon Hjelm：在您看來，是什么idea促成了當前機器學習領域的現(xiàn)狀？您認為我們在不久的將來（未來5年）將走向何方？Yoshua Bengio：你可以看我最近發(fā)布的演講視頻《Deep Learning》，第一個視頻回答了你第一個問題，第二個視頻回答了你第二個問題。No1：https://www.youtube.com/watch?v=c_U4THknoHENo2：https://www.youtube.com/watch?v=PDPdIDihPvc21、Stefania：這是一個假想問題，您會如何設計K12（學前教育至高中教育的縮寫）機器學習教育？Yoshua Bengio：我會讓孩子加強對數(shù)學和CS的學習，但更重要的是讓孩子在學習過程中具有自主權。讓他們成為發(fā)現(xiàn)物理定律和數(shù)學技巧的人，而不是被強迫加入其中。我會將孩子當成新手研究人員，給予建議和指導。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
