CIFAR 機(jī)器與大腦學(xué)習(xí)項(xiàng)目的聯(lián)合主席 Yoshua Bengio

雷鋒網(wǎng) AI 科技評(píng)論按：深度學(xué)習(xí)三駕馬車、四大金剛中，相比于 Yann LeCun 經(jīng)常以（曾任） Facebook 人工智能研究院 FAIR 負(fù)責(zé)人以及 Facebook 首席 AI 科學(xué)家的身份發(fā)表言論、接受采訪，Geoffrey Hinton 經(jīng)常進(jìn)行對(duì)深度學(xué)習(xí)反思的講座，吳恩達(dá)更是研究兼創(chuàng)業(yè)的社交媒體大紅人，Yoshua Bengio 似乎要低調(diào)得多，我們不常見(jiàn)到 Bengio 的公開(kāi)采訪和新聞。

近日，Graham Taylor 對(duì) Yoshua Bengio 進(jìn)行了一次采訪，聊了聊 Bengio 的學(xué)術(shù)方法論和如何管理實(shí)驗(yàn)室，是一次誠(chéng)摯的反思，也是一份給年輕博士、教授、實(shí)驗(yàn)室管理者們的參考建議。雷鋒網(wǎng) AI 科技評(píng)論全文編譯如下。

Graham Taylor 是 CIFAR 機(jī)器和大腦學(xué)習(xí)項(xiàng)目的全球?qū)W者，任圭爾夫大學(xué)和矢量研究所工程學(xué)院的副教授。Yoshua Bengio 目前是 CIFAR 機(jī)器與大腦學(xué)習(xí)項(xiàng)目的聯(lián)合主席，加拿大計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系的全職教授，蒙特利爾大學(xué)統(tǒng)計(jì)學(xué)習(xí)算法研究主席。

Taylor ：能講講您第一次任職教授的經(jīng)歷嗎？

Bengio：我第一次任職是在蒙特利爾大學(xué)，從事機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)研究，當(dāng)時(shí)我是唯一研究這一方向的人，所以我非常有激情，欣然接受了每個(gè)來(lái)到我身邊想學(xué)習(xí)的學(xué)生，現(xiàn)在想起來(lái)，我當(dāng)時(shí)應(yīng)該更謹(jǐn)慎一些。

當(dāng)時(shí)我通過(guò)在博士后期間合作過(guò)的朋友，與 Geoff ，還有在多倫多從事機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)研究的學(xué)者取得了聯(lián)系。與學(xué)界內(nèi)的人建立聯(lián)系非常重要，畢竟當(dāng)時(shí)我是蒙特利爾大學(xué)唯一從事這一方向的人。我很幸運(yùn)，很感謝蒙特利爾大學(xué)看到了我的潛力，很快就減少了我的授課壓力。

Taylor：一開(kāi)始就減少了課程安排？

Bengio：是的。一般來(lái)說(shuō)教授要教三門(mén)課，但前七年，我只需要上兩門(mén)課程，而在成為加拿大研究主席后，就變成了一門(mén)課程。教學(xué)負(fù)擔(dān)過(guò)重，還要兼顧實(shí)驗(yàn)室，這當(dāng)時(shí)對(duì)我來(lái)說(shuō)挑戰(zhàn)非常大。我有些遺憾，當(dāng)時(shí)的工作太忙，又正逢我的第二個(gè)孩子出生，讓我有些不知所措?，F(xiàn)在回想起來(lái)，我當(dāng)時(shí)應(yīng)該學(xué)會(huì)平衡自己的工作和生活。

Taylor：在學(xué)校里有沒(méi)有人能給予一些指導(dǎo)呢？

Bengio：沒(méi)有。事實(shí)上我當(dāng)時(shí)應(yīng)該去向更資深的教授請(qǐng)教經(jīng)驗(yàn)，即使不一定是同一研究方向的教授，也可以請(qǐng)教一些教學(xué)經(jīng)驗(yàn)。如果我不那么害羞，可能會(huì)和資深的教授建立聯(lián)系并獲得他們的反饋。我當(dāng)時(shí)沒(méi)有意識(shí)到的一點(diǎn) —— 新人應(yīng)該主動(dòng)去與資深教授建立聯(lián)系。盡管資深教授可能不會(huì)主動(dòng)來(lái)找你，但只要新教授主動(dòng)去聯(lián)系，資深的教授們都很樂(lè)意向新人授經(jīng)驗(yàn)。

Taylor：除了校內(nèi)，您還獲得了哪些最佳建議呢？

Bengio：在我擔(dān)任教授的第一個(gè)十年里，我和 Geoff Hinton 經(jīng)常聯(lián)系，盡管我們不在同一個(gè)城市。他給予了我很大幫助，讓我明白了專注的重要性。

不要讓自己的精力過(guò)于分散；總是追求當(dāng)前的想法，就會(huì)忘記了長(zhǎng)期的挑戰(zhàn)。建立自我的過(guò)程是很難的，我們很容易被當(dāng)下的事情分散注意力，比如發(fā)表足夠的論文、然后要申請(qǐng)終身教職等等。但事實(shí)上，我們必須要花一些時(shí)間專注于長(zhǎng)期的事情，這才是事業(yè)成功的關(guān)鍵。總是局限于當(dāng)下，很容易陷入困境，錯(cuò)過(guò)一些重要的事情。Geoff 讓我理解到了這一點(diǎn)。

Taylor：你認(rèn)為機(jī)器學(xué)習(xí)成為眾人矚目的焦點(diǎn)是件好事嗎？某些公司或其他合作者可能會(huì)拿著一個(gè)非常具體的應(yīng)用項(xiàng)目來(lái)找你，這同樣會(huì)分散你的注意力。

Bengio：我想每個(gè)人都需要找到自己的路，在某一領(lǐng)域研究透徹，成為專家并取得突破。因此，作為年輕的教員，如果想要做出一些實(shí)際應(yīng)用，就應(yīng)該專注于一個(gè)方向，并成為這個(gè)方向內(nèi)最強(qiáng)大的人。

應(yīng)用機(jī)器學(xué)習(xí)的一個(gè)風(fēng)險(xiǎn)，是它的應(yīng)用方向很多。90 年代時(shí)我就曾接觸了許多的應(yīng)用方向。

Taylor：所以和現(xiàn)在一樣多的應(yīng)用方向嗎？

Bengio：在 90 年代，神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)在企業(yè)界也有許多研究，加拿大學(xué)界鼓勵(lì)與工業(yè)界合作，這能幫助實(shí)驗(yàn)室獲得更多研究資金，非常有吸引力。我當(dāng)時(shí)把一些合作的資金用于支持一些長(zhǎng)期研究。這不是他們預(yù)想之內(nèi)的，但學(xué)業(yè)界和企業(yè)界的合作間接地鼓勵(lì)并推動(dòng)了長(zhǎng)期發(fā)基礎(chǔ)研究。我們應(yīng)該賦予長(zhǎng)期的研究更大的價(jià)值，因?yàn)?nbsp;AI 如今的驚人的進(jìn)步都是這些長(zhǎng)期研究帶來(lái)的。

我想再多說(shuō)一下研究授權(quán)的事情。我開(kāi)始時(shí)沒(méi)有意識(shí)到，加拿大自然科學(xué)和工程研究委員會(huì)（NSERC）這樣的組織，向他們申請(qǐng)課題經(jīng)費(fèi)的時(shí)候，他們其實(shí)并不太關(guān)心你是否按照自己之前描述的去做了，他們會(huì)希望你做好研究并能在之后匯報(bào)自己的成果。

在研究中，很難預(yù)測(cè)什么是熱門(mén)的、會(huì)遇到什么問(wèn)題。學(xué)會(huì)適應(yīng)和調(diào)整是很重要的，NSERC 允許這樣做（但與企業(yè)合作的、為了幫助企業(yè)的項(xiàng)目可能并不適用）。其實(shí)你不需要把自己做事的范圍限定的太緊，只要你能讓掏錢(qián)的人覺(jué)得滿意就行。NSERC 的要求就只是做好科學(xué)、發(fā)布研究成果、維持靈活的研究路徑。

Taylor：你管理實(shí)驗(yàn)室的方法是什么、有沒(méi)有什么非常推薦的做法？你的實(shí)驗(yàn)室有那么多學(xué)生、設(shè)備和項(xiàng)目。

Bengio：請(qǐng)求別人的幫助。實(shí)驗(yàn)室發(fā)展的早期我不能給博士后很多工資。通常我會(huì)選擇對(duì)實(shí)驗(yàn)室相對(duì)熟悉的博士后，他們不需要兩年的時(shí)間來(lái)適應(yīng)環(huán)境，而且還可以幫助管理團(tuán)隊(duì)。作為博士后，其實(shí)并沒(méi)有學(xué)習(xí)過(guò)如何去管理團(tuán)隊(duì)或領(lǐng)導(dǎo)團(tuán)隊(duì)，但這種管理能力正是我們需要的。我發(fā)現(xiàn)很有意義的一件事，是去發(fā)現(xiàn)學(xué)生自身的領(lǐng)導(dǎo)力。我很樂(lè)意用實(shí)習(xí)生，實(shí)驗(yàn)室有許多來(lái)自其他地方的本科生或研究生，當(dāng)然也有喜歡并擅長(zhǎng)管理的博士生。有時(shí)候會(huì)有那么一個(gè)很會(huì)管理的；也有一些學(xué)生最終可以一個(gè)人指導(dǎo)好幾個(gè)別的學(xué)生。我們不應(yīng)低估年輕人的管理能力。

Taylor：現(xiàn)在給博士后的工作機(jī)會(huì)很多，招聘高質(zhì)量的博士后會(huì)更加困難嗎？

Bengio：是的，也不是。在這方面，我不認(rèn)為我是一個(gè)好的榜樣。

我通常會(huì)尋找有一定數(shù)學(xué)或物理背景并且涉足機(jī)器學(xué)習(xí)的人，這些人可以快速地學(xué)習(xí)機(jī)器學(xué)習(xí)，因此兩到三年的博士后是很值得招募的。他們或許暫時(shí)無(wú)法進(jìn)入 Google Brain 這樣的地方工作，因?yàn)樗麄冞€沒(méi)有證明自己在機(jī)器學(xué)習(xí)方面的能力。這里面有一些運(yùn)氣成分，不過(guò)對(duì)我來(lái)說(shuō)還成功了好幾次。

Taylor：你是如何說(shuō)服博士后進(jìn)入實(shí)驗(yàn)室而不去企業(yè)界工作的呢？

Bengio：來(lái)到機(jī)器學(xué)習(xí)實(shí)驗(yàn)室并參與到發(fā)表研究中，將大大提高他們對(duì)于工業(yè)界的價(jià)值，這對(duì)他們之后找到好工作、高薪資都是有幫助的。當(dāng)然這因人而異，有些博士生畢業(yè)以后不需要做博士后就可以找到很好的工作了。所以更重要的因素可能是想不想發(fā)展自己的學(xué)術(shù)生涯，因?yàn)殄X(qián)并不是人們唯一關(guān)心的事情。 對(duì)于這類博士生，做一個(gè)博士后當(dāng)然是一件好事：了解學(xué)術(shù)界如何運(yùn)作，參與管理角色等等。

基礎(chǔ)研究實(shí)驗(yàn)室的工作和在企業(yè)的工作是差別很大的，在企業(yè)中，你會(huì)成為研究人員或是有大量開(kāi)發(fā)工作的技術(shù)人員，而在實(shí)驗(yàn)室，你則有更多自由去做基礎(chǔ)研究。企業(yè)界的具體職位有很多，但是博士后更喜歡的像實(shí)驗(yàn)室的那種工作很少。

Taylor：但進(jìn)入企業(yè)界工作的博士生還是會(huì)繼續(xù)增長(zhǎng)，對(duì)嗎？例如在 Google Brain，DeepMind，F(xiàn)AIR這類地方？

Bengio：是的，即使像 Element AI 這樣的新公司也有類似的團(tuán)隊(duì)。

Taylor：就人數(shù)上來(lái)說(shuō)，您認(rèn)為實(shí)驗(yàn)室需要多大規(guī)模？

Bengio：這取決于教授，以及其管理團(tuán)隊(duì)的經(jīng)驗(yàn)。我的實(shí)驗(yàn)室是從三個(gè)人開(kāi)始的，現(xiàn)在我有一個(gè)很棒的團(tuán)隊(duì)。一下子是沒(méi)辦法做到這樣的，所以我逐漸學(xué)會(huì)了如何管理更多人，建立基礎(chǔ)設(shè)施和資金。實(shí)驗(yàn)室應(yīng)該以自己的速度發(fā)展，有些教授不喜歡實(shí)驗(yàn)室太多人，這當(dāng)然也可以。但其實(shí)當(dāng)你有更多的學(xué)生，你可以生產(chǎn)更多的論文。但是，你花在每個(gè)學(xué)生上的時(shí)間會(huì)更少，所以對(duì)學(xué)生來(lái)說(shuō)可能沒(méi)那么有意義。

我實(shí)驗(yàn)室 15 年的大團(tuán)隊(duì)管理經(jīng)驗(yàn)告訴我，促進(jìn)學(xué)生之間的合作很重要。換句話說(shuō)，不要將每個(gè)學(xué)生束縛在他們自己的項(xiàng)目中，而是讓他們靈活地合作。另外，學(xué)生們與教授不是一對(duì)一的關(guān)系，應(yīng)該將整個(gè)實(shí)驗(yàn)室的人組成一個(gè)大的網(wǎng)絡(luò)。

Taylor：所有人互相之間都有溝通。

Bengio：沒(méi)錯(cuò)，這很管用。如果在工作中一個(gè)人只能依賴于某一個(gè)人的反饋，而對(duì)方又很忙沒(méi)有時(shí)間，那他們會(huì)感覺(jué)很不舒服。但如果有十幾個(gè)同事可以給予反饋，這會(huì)創(chuàng)造豐富得多的網(wǎng)絡(luò)，方便大家溝通。

Taylor：通過(guò)哪些辦法可以創(chuàng)建這種網(wǎng)絡(luò)式的環(huán)境？ 有一些措施可能比較具體，有一些就是微妙地改變實(shí)驗(yàn)室文化了吧。

Bengio：具體的措施比如，我會(huì)要求學(xué)生呆在實(shí)驗(yàn)室，而不是在家工作。我會(huì)給他們自由去選擇項(xiàng)目，即使是其他教授的項(xiàng)目也可以，我會(huì)幫助他們接觸到其他教授，讓我們這個(gè)小組變得更大，讓學(xué)生可以與其他教授討論。我們也會(huì)定期組織活動(dòng)，如閱讀小組，研討會(huì)和外部活動(dòng)。

Taylor：我最近和一位在美國(guó)工作的朋友討論了共同指導(dǎo)學(xué)生的問(wèn)題，他認(rèn)為幾個(gè)導(dǎo)師之間的首要議題是討論誰(shuí)出多少錢(qián)。在加拿大好像并不是這樣？

Bengio：在加拿大的實(shí)驗(yàn)室工作，和美國(guó)很大的一點(diǎn)不同，是這里的學(xué)生花費(fèi)比美國(guó)低很多。資金還是挺重要的一個(gè)因素對(duì)吧，不過(guò)可能也和文化有關(guān)吧。其實(shí)相比于資金怎么分配，我更加考慮的是共同合作這件事本身，而且不一定有什么具體的成果要求。說(shuō)到這里也和前面談到過(guò)的授權(quán)以及合作方式有關(guān)系了，就是，我對(duì)家長(zhǎng)包辦的婚姻不是很有信心。換句話說(shuō)，在共同指導(dǎo)以及合作的事情上，我們不會(huì)去搞一個(gè)共同指導(dǎo)協(xié)議之類的東西，而更多的是因?yàn)槲覀冇泄餐呐d趣，經(jīng)常交流，這時(shí)候共同指導(dǎo)和合作自然而然地就發(fā)生了。

希望我解釋清楚了，這就像婚姻，是給了鼓勵(lì)，然后看它會(huì)不會(huì)發(fā)生。如果是一場(chǎng)早已安排好的婚姻，最后的結(jié)局有可能是好的，但也更有可能會(huì)像是一個(gè)監(jiān)獄，甲乙兩個(gè)人被迫接受這種特定的關(guān)系、被迫在同一個(gè)項(xiàng)目里合作。但其實(shí)可能甲和丁的關(guān)系要處得好得多也有可能。例如，在實(shí)驗(yàn)室里，我們有這樣一個(gè)概念—— 有一個(gè)資金池，你可以與任何你想要合作的的人合作，無(wú)論如何你都會(huì)得到資助。

Taylor：這是因?yàn)閰⑴c項(xiàng)目的主要研究人員們喜歡資金池的做法嗎？

Bengio：我會(huì)將自己的研究資金組成共同的資金池。這并不是一種通用的方法，但通常對(duì)于有資深教授的實(shí)驗(yàn)室來(lái)說(shuō)，這種做法會(huì)讓學(xué)生更容易獲得資金。在申請(qǐng)項(xiàng)目經(jīng)費(fèi)的時(shí)候我也會(huì)寫(xiě)明這一點(diǎn)。參與研究的人如果不受到資金的限制，就可以更享受、探索出更多的想法。

Taylor：對(duì)于新教授來(lái)說(shuō)，考慮研究什么方向是很重要的，是做一個(gè)沒(méi)有別的人做的全新的領(lǐng)域，還是做已經(jīng)有別的學(xué)校成員、資深教授在做的，可以有充分合作的領(lǐng)域呢？

Bengio：是這樣，只要你能和大部隊(duì)相處得來(lái)，那么參與已有的研究領(lǐng)域要容易得多。因此，只要你能接受團(tuán)隊(duì)的風(fēng)格，那么在實(shí)驗(yàn)室里，初級(jí)教員就可以輕松上手。他們不必受到資金的壓力，他們可以提出自己的想法，與其他人一起合作指導(dǎo)學(xué)生，也很早就可以獲得關(guān)于自己的研究的反饋。

Taylor：我想談?wù)勱P(guān)于招收學(xué)生的事情。最近正是深度學(xué)習(xí)的熱潮來(lái)臨，應(yīng)該有很多學(xué)生申請(qǐng)實(shí)驗(yàn)室工作，和以前會(huì)很不一樣吧。如果你對(duì)對(duì)方不是很有興趣你會(huì)怎么辦？學(xué)生們突然增加的這么多興趣你又是如何應(yīng)對(duì)的？

Bengio：首先，實(shí)驗(yàn)室不只是在進(jìn)行研究，而是讓它為人所知。做研究的人可以去參加研討會(huì)和會(huì)議，可以去參觀其他實(shí)驗(yàn)室，你不一定非要等別人邀請(qǐng)你。你可以大方地說(shuō)，「嘿，我也在這一領(lǐng)域工作，可以與大家交流一下嗎？」然后你會(huì)慢慢在界內(nèi)為人所知。另外，如果你通過(guò)研究資助進(jìn)行正式的合作，也會(huì)這樣的網(wǎng)絡(luò)效應(yīng)。

這對(duì)實(shí)驗(yàn)室的招人來(lái)說(shuō)是一個(gè)巨大的幫助，當(dāng)然也有教學(xué)上的幫助。教學(xué)的另一作用就是是讓學(xué)生了解你，特別是你的研究生或者是最后一年的本科生。你可以談?wù)撃汴P(guān)心的事情，與他們建立聯(lián)系。你可以慢慢發(fā)現(xiàn)學(xué)生的優(yōu)點(diǎn)，并試著把它們引入到你的實(shí)驗(yàn)室里。

我的實(shí)驗(yàn)室里有來(lái)自本科生和其他地方的暑期實(shí)習(xí)生。通過(guò)這種方式，可以了解一個(gè)人是否具有研究潛力。這樣做比面試一次就招募一個(gè)人要安全得多，畢竟留下來(lái)的人會(huì)與你一起共事五年。

我去年收到了 700 份簡(jiǎn)歷申請(qǐng)，今年可能有 1000 個(gè)，而其實(shí)我需要招募的只有幾十個(gè)，所以必須有條理，需要秘書(shū)去幫助整理。如果不這樣的話，可能會(huì)淹沒(méi)在上千份簡(jiǎn)歷里，也沒(méi)有辦法親自一一回復(fù)每一封郵件。

Taylor：我們要討論的最后一件事是與企業(yè)界的合作。你怎么判斷是否是合適的合作？

Bengio：沒(méi)法立刻判斷，都是幾年后才能意識(shí)到。通常情況是雙方的期望之間存在不匹配，與企業(yè)界的合作必須小心這一點(diǎn)，你需要明確告訴對(duì)方，學(xué)術(shù)界的人可以為他們做什么而不能做什么。重要的是讓他們明白學(xué)術(shù)不是廉價(jià)勞動(dòng)力，也不會(huì)產(chǎn)出產(chǎn)品，而是可以創(chuàng)造一些能改變商業(yè)模式的想法。企業(yè)需要明白，這只是投資的一部分。他們還需要讓內(nèi)部人員將算法和原型轉(zhuǎn)變?yōu)楫a(chǎn)品，否則合作注定要失敗。說(shuō)實(shí)話很多人不愿意聽(tīng)到這些，因?yàn)檫@意味著企業(yè)要花更多的錢(qián)。但是這些話不得不說(shuō)。

Taylor：您是否曾經(jīng)放棄過(guò)與公司的合作？

Bengio：不會(huì)。一般會(huì)發(fā)生的事情是，雙方合作過(guò)之后都同意續(xù)簽合作合同不是很有價(jià)值了，就終止了。

Taylor：通常合作都會(huì)有固定的時(shí)間？

Bengio：是的，這些合同通常是一年，兩年或三年。

Taylor：最后您還有什么想要分享的內(nèi)容嗎？

Bengio：傾聽(tīng)你的直覺(jué)。許多人缺乏自信，因此他們錯(cuò)過(guò)了機(jī)會(huì)。作為研究人員，我們的主要工作是提供有意義的想法來(lái)推動(dòng)知識(shí)進(jìn)步。這些想法隱藏在我們大腦某個(gè)地方，我們需要培養(yǎng)一種能力，讓這些想法能夠發(fā)展成熟并發(fā)布出來(lái)，因此你需要有足夠的時(shí)間來(lái)思考，而不是一直編程，寫(xiě)作甚至閱讀。多考慮一下那些讓你煩惱的大問(wèn)題。

Taylor：謝謝 Bengio。您說(shuō)的很多東西都是我在工作幾年后才明白的經(jīng)驗(yàn)教訓(xùn)。但是對(duì)于有人來(lái)說(shuō)，在第一年或第二年看到這些是非常有價(jià)值的。正如您前面提到過(guò)的，讀博士的目標(biāo)并不僅僅是管好一個(gè)實(shí)驗(yàn)室而已。

via www.cifar.ca，雷鋒網(wǎng) AI 科技評(píng)論編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。