0
本科畢業(yè)于清華姚班，博士畢業(yè)于普林斯頓大學(xué)，如今年僅31歲的馬騰宇，作為 AI 學(xué)界的一顆新星正冉冉升起。
馬騰宇目前擔(dān)任斯坦福大學(xué)助理教授，其主要研究興趣為機(jī)器學(xué)習(xí)和算法方面的研究，課題包括非凸優(yōu)化、深度學(xué)習(xí)及其理論、強(qiáng)化學(xué)習(xí)、表示學(xué)習(xí)、分布式優(yōu)化、凸松弛、高維統(tǒng)計(jì)等。
2017 年，清華 “姚班” 創(chuàng)立者、中國(guó)科學(xué)院院士、中國(guó)首位圖靈獎(jiǎng)得主姚期智先生在談及姚班教育的時(shí)候，曾提到：
“在學(xué)界的，我們有好幾個(gè)做人工智能的學(xué)生，已經(jīng)在大學(xué)任教的有兩個(gè)，一個(gè)是在美國(guó)的杜克大學(xué)，一個(gè)是在美國(guó)的斯坦福大學(xué)做教授，他們都從事人工智能理論基礎(chǔ)方面的工作。他們?cè)谶^(guò)去的四五年，在人工智能理論方面已經(jīng)非常非常出色，不然他們也不會(huì)被雇到這么有名的大學(xué)去，尤其是馬騰宇，他剛剛畢業(yè)，能夠被雇到斯坦福去，不管是中國(guó)學(xué)生還是外國(guó)學(xué)生都是非常少的。……他們確實(shí)可以說(shuō)在人工智能領(lǐng)域是先驅(qū)，將來(lái)一定會(huì)在該領(lǐng)域留下非常深刻的痕跡。”
馬騰宇對(duì)算法理論的興趣始于姚班。據(jù)馬騰宇介紹，讓他印象最深的是當(dāng)時(shí)姚期智先生為當(dāng)時(shí)姚班大一新生所開(kāi)設(shè)的一門課程《mathematics for computer science》，姚期智在這門課程中，每個(gè)章節(jié)都會(huì)用一兩個(gè)最為經(jīng)典的案例讓學(xué)生非常快速地意識(shí)到，為什么在計(jì)算機(jī)領(lǐng)域數(shù)學(xué)非常有用。姚期智在這門課程中并沒(méi)有按部就班系統(tǒng)地介紹計(jì)算機(jī)理論領(lǐng)域的細(xì)節(jié)問(wèn)題，最重要的則是激發(fā)起學(xué)生對(duì)計(jì)算機(jī)理論問(wèn)題的興趣。這就相當(dāng)于在計(jì)算機(jī)理論研究這場(chǎng)尋寶游戲中，激發(fā)起學(xué)生們對(duì)“寶藏”的渴望，至于如何尋找這些寶藏，學(xué)生們則自會(huì)摸索。這對(duì)姚班學(xué)生的興趣培養(yǎng)非常重要，馬騰宇也深受影響。
馬騰宇是清華姚班 2008 級(jí)畢業(yè)生
像之前以及之后的學(xué)長(zhǎng)和學(xué)弟以及身邊的同學(xué)一樣，從姚班畢業(yè)的馬騰宇在本科期間醉心于計(jì)算機(jī)算法的研究。2012年本科畢業(yè)后，他選擇了在普林斯頓讀博， 師從的Sanjeev Arora教授。
馬騰宇開(kāi)始讀博的時(shí)間恰逢其時(shí)。2012年，Hinton和他的學(xué)生在ImageNet比賽中憑借AlexNet遠(yuǎn)超第二名10個(gè)百分點(diǎn)，由此人類進(jìn)入了人工智能的新時(shí)代 —— 以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)時(shí)代。Sanjeev作為算法領(lǐng)域的領(lǐng)軍人物，具有極為敏銳的嗅覺(jué)，意識(shí)到機(jī)器學(xué)習(xí)（特別是深度學(xué)習(xí)）將成為一個(gè)具有潛力的領(lǐng)域，因此從2012起便開(kāi)始布局機(jī)器學(xué)習(xí)算法的研究。馬騰宇進(jìn)入普林斯頓后，選擇了機(jī)器學(xué)習(xí)算法，與鬲融等人一起進(jìn)行非凸優(yōu)化的研究。
在2012年的時(shí)候，大多數(shù)人還在用傳統(tǒng)方法來(lái)做優(yōu)化問(wèn)題，這些基本上都是凸優(yōu)化問(wèn)題。而在深度學(xué)習(xí)的時(shí)代，算法通常需要通過(guò)解決一些非凸優(yōu)化問(wèn)題來(lái)找到最優(yōu)的神經(jīng)網(wǎng)絡(luò)參數(shù)。理論上非凸優(yōu)化是一個(gè)NP-hard問(wèn)題，但實(shí)際中即使非常簡(jiǎn)單的算法也能表現(xiàn)很好。其中原因卻少有人了解。馬騰宇與鬲融等人是最早一批專注于解決這一問(wèn)題的研究者。隨后正是憑借對(duì)非凸優(yōu)化問(wèn)題的系統(tǒng)研究，馬騰宇在 2018 年獲得了ACM博士論文獎(jiǎng)榮譽(yù)獎(jiǎng)(Honorable Mentions)，而鬲融也在2019年獲得了斯隆研究獎(jiǎng)。
馬騰宇的博士論文，獲2018 ACM 博士論文榮譽(yù)獎(jiǎng)
一個(gè)好的導(dǎo)師，對(duì)一個(gè)學(xué)者的研究生涯至關(guān)重要，因?yàn)閷?dǎo)師的學(xué)術(shù)價(jià)值觀和方法論會(huì)深刻影響其弟子在以后研究生涯中的態(tài)度。Sanjeev無(wú)疑是一位好的導(dǎo)師，他所帶的學(xué)生畢業(yè)后大多都去到了美國(guó)頂尖大學(xué)任教，例如鬲融畢業(yè)后去到了杜克大學(xué)。
馬騰宇（2015），Source: princeton news
在普林斯頓期間，導(dǎo)師Sanjeev對(duì)馬騰宇的影響也是極大的。馬騰宇對(duì)他的評(píng)價(jià)是“Sanjeev是一個(gè)‘true scientist’”：
“Sanjeev是真的為了科學(xué)在做科研。對(duì)他關(guān)心的問(wèn)題，他會(huì)細(xì)扣所有的細(xì)節(jié)，從證明，到實(shí)驗(yàn)，到寫(xiě)文章不容許一丁點(diǎn)的錯(cuò)誤存在。另外，Sanjeev也非常的積極，非常的有耐心，在一個(gè)新問(wèn)題上，他常常會(huì)鍥而不舍，從各種可能的角度去嘗試，即使最初所有的嘗試都失敗了，他也仍然會(huì)一遍又一遍地去嘗試新的想法，直到最終成功。這是我從他那里學(xué)到的非常重要的一件事情。”
當(dāng)然，導(dǎo)師的影響只是成功的一個(gè)方面，馬騰宇自身的天分和勤奮讓他在普林斯頓的五年時(shí)間里收獲良多。
2014年，馬騰宇獲得了西蒙斯研究生獎(jiǎng)（理論計(jì)算機(jī)科學(xué)方向），隨后2015年獲得了IBM博士獎(jiǎng)學(xué)金，2016年獲得了NIPS 最佳學(xué)生論文獎(jiǎng)，2018年獲得了COLT 最佳論文獎(jiǎng)，其博士畢業(yè)論文也獲得了ACM 博士論文榮譽(yù)獎(jiǎng)，并在當(dāng)年夏季收到了來(lái)自全球計(jì)算機(jī)Top 5中的四所高校（MIT、CMU、斯坦福、華盛頓大學(xué)）的 Offer 并最終選擇去了斯坦福。
一次的成功或許只是巧合，系列的成功則是實(shí)力和潛力的證明。
NIPS'16最佳學(xué)生論文，2018年修訂版
以2016年NIPS最佳論文獎(jiǎng)為例，這項(xiàng)工作主要是在講為什么可以用 non-convex optimization 做Matrix Completion。Matrix Completion常常被應(yīng)用在推薦系統(tǒng)當(dāng)中。理論可以分析的算法都比較慢，而實(shí)際中使用的算法都基于non-convex optimization, 卻沒(méi)有理論保證和理解。因此就存在一個(gè)大的開(kāi)放性問(wèn)題：為什么non-convex optimization可以解決這個(gè)問(wèn)題？
馬騰宇等人首先在這篇工作中回答了這一問(wèn)題。而事實(shí)上，馬騰宇與鬲融、Jason D. Lee三人從開(kāi)始做這項(xiàng)工作到提交論文，前后只用兩個(gè)月不到的時(shí)間。雖然如此，這卻是長(zhǎng)久的積累，馬騰宇差不多在一年前便意識(shí)到這個(gè)理解non-convex optimizatio的重要性，并偶爾嘗試從不同的角度去解決它，但一直沒(méi)有大的收獲，直到2月份他看到一篇文章中的一個(gè)小技巧，突然靈感而至，很快便將這個(gè)問(wèn)題解決了。對(duì)于這份經(jīng)歷，馬騰宇總結(jié)到
“我覺(jué)得做科研的困難主要有三個(gè)：1）找到一個(gè)重要的方向；2）找到一個(gè)可以解決的問(wèn)題；3）同時(shí)有足夠的技術(shù)儲(chǔ)備和技術(shù)創(chuàng)新。”
COLT'18 最佳論文
2018年，馬騰宇與Yuanzhi Li 、Hongyang Zhang三人合作的論文《Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations》發(fā)表在COLT上，并獲得了最佳論文獎(jiǎng)。而這篇論文與NIPS‘16的最佳學(xué)生論文類似，從開(kāi)始做到投稿，前后仍然只用兩個(gè)月的時(shí)間。在這篇主題為“正則化”的工作中，馬騰宇他們直接follow了之前的一篇工作，但那先前的工作只能解決一個(gè)特殊問(wèn)題，而馬騰宇意識(shí)到如果沿著他們的思路做，可能會(huì)變得越來(lái)越復(fù)雜。意識(shí)到這一點(diǎn)本身非常重要。他說(shuō)：
“做科研，很重要的一點(diǎn)是去理解其他技術(shù)為什么本質(zhì)上不可行。很多時(shí)候，科研之所以思路比較慢，原因在于你有許多選擇，你不知道哪個(gè)選擇是好的，也不知道哪個(gè)選擇是壞的。這很糟糕。一旦你知道哪個(gè)選擇是壞的，剩下可選的好的就不多了。所以做科研，很重要的一步是排除是壞的選擇；其次是，要知道它為什么是壞的，這也比較重要，因?yàn)槟闳绻恢浪鼮槭裁词菈牡脑?，就很難把它變成好的。
一個(gè)想法，如果你能知道它行不通的根本原因，一般情況下就不會(huì)很難通過(guò)針對(duì)性地修改這個(gè)想法得到一個(gè)更好的方案。所以我們這項(xiàng)工作模式上就是：我們發(fā)現(xiàn)一個(gè)想法沒(méi)有效果，然后理解了這個(gè)想法失敗的的原因，修正并提出一個(gè)新的想法；如果新的想法還解決不了問(wèn)題，就找到問(wèn)題，修正，循環(huán)往復(fù)，就是這樣?！?/p>
2018 ACM 博士論文榮譽(yù)獎(jiǎng)?lì)C獎(jiǎng), Source: princeton news
2018年對(duì)29歲的馬騰宇來(lái)講是一個(gè)豐收年，COLT最佳論文、ACM博士論文榮譽(yù)獎(jiǎng)、多所頂尖高校發(fā)出的橄欖枝……然而，受Sanjeev的影響，馬騰宇對(duì)于這些榮譽(yù)表現(xiàn)的極為淡然。他表示
“其實(shí)沒(méi)有太大的感覺(jué)。首先這是大家對(duì)我的工作的一個(gè)肯定，可能的原因是我的博士論文是比較早的一系列試圖理解為什么non-convex optimization 可以解決機(jī)器學(xué)習(xí)的問(wèn)題的工作；在此之前幾乎沒(méi)有這方面的研究?！隹蒲校愕膔eward（受益或回報(bào)） 往往是非常滯后的。博士論文是五年工作的總結(jié)， 包括COLT’18 的最佳論文，其實(shí)是我們?cè)?017年做出來(lái)的。做科研要考慮長(zhǎng)期的reward，而不要考慮短期的reward。”
然而，毋論馬騰宇是否淡然，科研早期的榮譽(yù)對(duì)于一個(gè)科學(xué)家的成長(zhǎng)卻是必不可少的，這可以讓年輕學(xué)者在攀巖科研高峰中充滿信心。
而另一方面，“l(fā)ong-term”，正是馬騰宇做科學(xué)研究的關(guān)鍵詞。當(dāng)談到他的方法論時(shí)，馬騰宇說(shuō)，
“從科研的style來(lái)講，我比較在乎的是long term impact，我的課題選擇也會(huì)受到這方面的影響?！?/p>
在科研的實(shí)踐當(dāng)中，關(guān)注長(zhǎng)期影響力是一個(gè)研究者能否成為真正科學(xué)家的關(guān)鍵一步。以如何看待失敗的嘗試為例，關(guān)注長(zhǎng)期影響力的人會(huì)更積極地看待失敗，因?yàn)閺亩唐趤?lái)看是失敗了，但從長(zhǎng)期來(lái)看這是有益的，失敗了沒(méi)有關(guān)系，如果你能夠知道它為什么失敗，在很多情況下你會(huì)改變它，讓它變成一個(gè)成功的情況。
馬騰宇關(guān)于Non-Convex Optimization 的報(bào)告（2017）, Source: Allen School Colloquia
馬騰宇表示：“在很多情況下，如果我能夠真正地知道我為什么失敗，很多情況下我都能夠把它變成一個(gè)成功的情況。不過(guò)更多的情況是，我只能理解一點(diǎn)點(diǎn)為什么我會(huì)失敗，然后從中汲取一點(diǎn)點(diǎn)的經(jīng)驗(yàn)，但長(zhǎng)期積累，我會(huì)理解為什么整個(gè)過(guò)程都不work。這樣的話，我就能夠摸索出另外一套思路?！?/p>
當(dāng)前人工智能面臨諸多困境，馬騰宇以十年為期，他認(rèn)為人工智能的理論基礎(chǔ)仍然是一個(gè)非常大的困難，我們目前還很難理解算法到底做了什么，因此如何理解算法，如何更好地設(shè)計(jì)算法成了馬騰宇最為關(guān)注的問(wèn)題。正如他的導(dǎo)師Sanjeev，面對(duì)這樣一個(gè)宏大的問(wèn)題，他試圖從各種角度（包括最優(yōu)化、泛化、正則化等）進(jìn)行逼近。如何通過(guò)理論思考來(lái)幫助機(jī)器學(xué)習(xí)，正是馬騰宇的“l(fā)ong-term”問(wèn)題。
他表示，盡管當(dāng)前的機(jī)器學(xué)習(xí)研究過(guò)程中，實(shí)驗(yàn)指導(dǎo)往往重于理論思考的指導(dǎo)。但長(zhǎng)遠(yuǎn)來(lái)看，在隨后的幾年中，理論思考的指導(dǎo)價(jià)值將越來(lái)越凸顯。正如在博士初期選擇布局無(wú)人問(wèn)津的非凸優(yōu)化研究一樣，馬騰宇作為斯坦福的助理教授，現(xiàn)在也在布局機(jī)器學(xué)習(xí)理論的研究，一個(gè)更大的布局。
當(dāng)然，long-term并不意味著“空中樓閣”，十年寫(xiě)一篇文章。為了長(zhǎng)期的計(jì)劃，馬騰宇在實(shí)驗(yàn)指導(dǎo)vs理論思考中取得一個(gè)平衡， 把這個(gè)long-term 分為了一系列非常小的問(wèn)題，表現(xiàn)在成果方面便是一個(gè)個(gè)的topics，一篇篇的論文。目前馬騰宇在斯坦福帶著 5 名博士生以及數(shù)名碩士生，正每年發(fā)表十幾篇論文的速度一步步邁向這個(gè)目標(biāo)。
雷鋒網(wǎng)報(bào)道。雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
