0
本科畢業(yè)于清華姚班，博士畢業(yè)于普林斯頓大學，如今年僅31歲的馬騰宇，作為 AI 學界的一顆新星正冉冉升起。
馬騰宇目前擔任斯坦福大學助理教授，其主要研究興趣為機器學習和算法方面的研究，課題包括非凸優(yōu)化、深度學習及其理論、強化學習、表示學習、分布式優(yōu)化、凸松弛、高維統(tǒng)計等。
2017 年，清華 “姚班” 創(chuàng)立者、中國科學院院士、中國首位圖靈獎得主姚期智先生在談及姚班教育的時候，曾提到：
“在學界的，我們有好幾個做人工智能的學生，已經(jīng)在大學任教的有兩個，一個是在美國的杜克大學，一個是在美國的斯坦福大學做教授，他們都從事人工智能理論基礎方面的工作。他們在過去的四五年，在人工智能理論方面已經(jīng)非常非常出色，不然他們也不會被雇到這么有名的大學去，尤其是馬騰宇，他剛剛畢業(yè)，能夠被雇到斯坦福去，不管是中國學生還是外國學生都是非常少的?！麄兇_實可以說在人工智能領域是先驅(qū)，將來一定會在該領域留下非常深刻的痕跡?！?/p>
馬騰宇對算法理論的興趣始于姚班。據(jù)馬騰宇介紹，讓他印象最深的是當時姚期智先生為當時姚班大一新生所開設的一門課程《mathematics for computer science》，姚期智在這門課程中，每個章節(jié)都會用一兩個最為經(jīng)典的案例讓學生非常快速地意識到，為什么在計算機領域數(shù)學非常有用。姚期智在這門課程中并沒有按部就班系統(tǒng)地介紹計算機理論領域的細節(jié)問題，最重要的則是激發(fā)起學生對計算機理論問題的興趣。這就相當于在計算機理論研究這場尋寶游戲中，激發(fā)起學生們對“寶藏”的渴望，至于如何尋找這些寶藏，學生們則自會摸索。這對姚班學生的興趣培養(yǎng)非常重要，馬騰宇也深受影響。
馬騰宇是清華姚班 2008 級畢業(yè)生
像之前以及之后的學長和學弟以及身邊的同學一樣，從姚班畢業(yè)的馬騰宇在本科期間醉心于計算機算法的研究。2012年本科畢業(yè)后，他選擇了在普林斯頓讀博， 師從的Sanjeev Arora教授。
馬騰宇開始讀博的時間恰逢其時。2012年，Hinton和他的學生在ImageNet比賽中憑借AlexNet遠超第二名10個百分點，由此人類進入了人工智能的新時代 —— 以神經(jīng)網(wǎng)絡為代表的深度學習時代。Sanjeev作為算法領域的領軍人物，具有極為敏銳的嗅覺，意識到機器學習（特別是深度學習）將成為一個具有潛力的領域，因此從2012起便開始布局機器學習算法的研究。馬騰宇進入普林斯頓后，選擇了機器學習算法，與鬲融等人一起進行非凸優(yōu)化的研究。
在2012年的時候，大多數(shù)人還在用傳統(tǒng)方法來做優(yōu)化問題，這些基本上都是凸優(yōu)化問題。而在深度學習的時代，算法通常需要通過解決一些非凸優(yōu)化問題來找到最優(yōu)的神經(jīng)網(wǎng)絡參數(shù)。理論上非凸優(yōu)化是一個NP-hard問題，但實際中即使非常簡單的算法也能表現(xiàn)很好。其中原因卻少有人了解。馬騰宇與鬲融等人是最早一批專注于解決這一問題的研究者。隨后正是憑借對非凸優(yōu)化問題的系統(tǒng)研究，馬騰宇在 2018 年獲得了ACM博士論文獎榮譽獎(Honorable Mentions)，而鬲融也在2019年獲得了斯隆研究獎。
馬騰宇的博士論文，獲2018 ACM 博士論文榮譽獎
一個好的導師，對一個學者的研究生涯至關重要，因為導師的學術價值觀和方法論會深刻影響其弟子在以后研究生涯中的態(tài)度。Sanjeev無疑是一位好的導師，他所帶的學生畢業(yè)后大多都去到了美國頂尖大學任教，例如鬲融畢業(yè)后去到了杜克大學。
馬騰宇（2015），Source: princeton news
在普林斯頓期間，導師Sanjeev對馬騰宇的影響也是極大的。馬騰宇對他的評價是“Sanjeev是一個‘true scientist’”：
“Sanjeev是真的為了科學在做科研。對他關心的問題，他會細扣所有的細節(jié)，從證明，到實驗，到寫文章不容許一丁點的錯誤存在。另外，Sanjeev也非常的積極，非常的有耐心，在一個新問題上，他常常會鍥而不舍，從各種可能的角度去嘗試，即使最初所有的嘗試都失敗了，他也仍然會一遍又一遍地去嘗試新的想法，直到最終成功。這是我從他那里學到的非常重要的一件事情?！?/p>
當然，導師的影響只是成功的一個方面，馬騰宇自身的天分和勤奮讓他在普林斯頓的五年時間里收獲良多。
2014年，馬騰宇獲得了西蒙斯研究生獎（理論計算機科學方向），隨后2015年獲得了IBM博士獎學金，2016年獲得了NIPS 最佳學生論文獎，2018年獲得了COLT 最佳論文獎，其博士畢業(yè)論文也獲得了ACM 博士論文榮譽獎，并在當年夏季收到了來自全球計算機Top 5中的四所高校（MIT、CMU、斯坦福、華盛頓大學）的 Offer 并最終選擇去了斯坦福。
一次的成功或許只是巧合，系列的成功則是實力和潛力的證明。
NIPS'16最佳學生論文，2018年修訂版
以2016年NIPS最佳論文獎為例，這項工作主要是在講為什么可以用 non-convex optimization 做Matrix Completion。Matrix Completion常常被應用在推薦系統(tǒng)當中。理論可以分析的算法都比較慢，而實際中使用的算法都基于non-convex optimization, 卻沒有理論保證和理解。因此就存在一個大的開放性問題：為什么non-convex optimization可以解決這個問題？
馬騰宇等人首先在這篇工作中回答了這一問題。而事實上，馬騰宇與鬲融、Jason D. Lee三人從開始做這項工作到提交論文，前后只用兩個月不到的時間。雖然如此，這卻是長久的積累，馬騰宇差不多在一年前便意識到這個理解non-convex optimizatio的重要性，并偶爾嘗試從不同的角度去解決它，但一直沒有大的收獲，直到2月份他看到一篇文章中的一個小技巧，突然靈感而至，很快便將這個問題解決了。對于這份經(jīng)歷，馬騰宇總結到
“我覺得做科研的困難主要有三個：1）找到一個重要的方向；2）找到一個可以解決的問題；3）同時有足夠的技術儲備和技術創(chuàng)新。”
COLT'18 最佳論文
2018年，馬騰宇與Yuanzhi Li 、Hongyang Zhang三人合作的論文《Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations》發(fā)表在COLT上，并獲得了最佳論文獎。而這篇論文與NIPS‘16的最佳學生論文類似，從開始做到投稿，前后仍然只用兩個月的時間。在這篇主題為“正則化”的工作中，馬騰宇他們直接follow了之前的一篇工作，但那先前的工作只能解決一個特殊問題，而馬騰宇意識到如果沿著他們的思路做，可能會變得越來越復雜。意識到這一點本身非常重要。他說：
“做科研，很重要的一點是去理解其他技術為什么本質(zhì)上不可行。很多時候，科研之所以思路比較慢，原因在于你有許多選擇，你不知道哪個選擇是好的，也不知道哪個選擇是壞的。這很糟糕。一旦你知道哪個選擇是壞的，剩下可選的好的就不多了。所以做科研，很重要的一步是排除是壞的選擇；其次是，要知道它為什么是壞的，這也比較重要，因為你如果不知道它為什么是壞的話，就很難把它變成好的。
一個想法，如果你能知道它行不通的根本原因，一般情況下就不會很難通過針對性地修改這個想法得到一個更好的方案。所以我們這項工作模式上就是：我們發(fā)現(xiàn)一個想法沒有效果，然后理解了這個想法失敗的的原因，修正并提出一個新的想法；如果新的想法還解決不了問題，就找到問題，修正，循環(huán)往復，就是這樣?！?/p>
2018 ACM 博士論文榮譽獎頒獎, Source: princeton news
2018年對29歲的馬騰宇來講是一個豐收年，COLT最佳論文、ACM博士論文榮譽獎、多所頂尖高校發(fā)出的橄欖枝……然而，受Sanjeev的影響，馬騰宇對于這些榮譽表現(xiàn)的極為淡然。他表示
“其實沒有太大的感覺。首先這是大家對我的工作的一個肯定，可能的原因是我的博士論文是比較早的一系列試圖理解為什么non-convex optimization 可以解決機器學習的問題的工作；在此之前幾乎沒有這方面的研究。……但做科研，你的reward（受益或回報） 往往是非常滯后的。博士論文是五年工作的總結， 包括COLT’18 的最佳論文，其實是我們在2017年做出來的。做科研要考慮長期的reward，而不要考慮短期的reward。”
然而，毋論馬騰宇是否淡然，科研早期的榮譽對于一個科學家的成長卻是必不可少的，這可以讓年輕學者在攀巖科研高峰中充滿信心。
而另一方面，“l(fā)ong-term”，正是馬騰宇做科學研究的關鍵詞。當談到他的方法論時，馬騰宇說，
“從科研的style來講，我比較在乎的是long term impact，我的課題選擇也會受到這方面的影響?！?/p>
在科研的實踐當中，關注長期影響力是一個研究者能否成為真正科學家的關鍵一步。以如何看待失敗的嘗試為例，關注長期影響力的人會更積極地看待失敗，因為從短期來看是失敗了，但從長期來看這是有益的，失敗了沒有關系，如果你能夠知道它為什么失敗，在很多情況下你會改變它，讓它變成一個成功的情況。
馬騰宇關于Non-Convex Optimization 的報告（2017）, Source: Allen School Colloquia
馬騰宇表示：“在很多情況下，如果我能夠真正地知道我為什么失敗，很多情況下我都能夠把它變成一個成功的情況。不過更多的情況是，我只能理解一點點為什么我會失敗，然后從中汲取一點點的經(jīng)驗，但長期積累，我會理解為什么整個過程都不work。這樣的話，我就能夠摸索出另外一套思路?！?/p>
當前人工智能面臨諸多困境，馬騰宇以十年為期，他認為人工智能的理論基礎仍然是一個非常大的困難，我們目前還很難理解算法到底做了什么，因此如何理解算法，如何更好地設計算法成了馬騰宇最為關注的問題。正如他的導師Sanjeev，面對這樣一個宏大的問題，他試圖從各種角度（包括最優(yōu)化、泛化、正則化等）進行逼近。如何通過理論思考來幫助機器學習，正是馬騰宇的“l(fā)ong-term”問題。
他表示，盡管當前的機器學習研究過程中，實驗指導往往重于理論思考的指導。但長遠來看，在隨后的幾年中，理論思考的指導價值將越來越凸顯。正如在博士初期選擇布局無人問津的非凸優(yōu)化研究一樣，馬騰宇作為斯坦福的助理教授，現(xiàn)在也在布局機器學習理論的研究，一個更大的布局。
當然，long-term并不意味著“空中樓閣”，十年寫一篇文章。為了長期的計劃，馬騰宇在實驗指導vs理論思考中取得一個平衡， 把這個long-term 分為了一系列非常小的問題，表現(xiàn)在成果方面便是一個個的topics，一篇篇的論文。目前馬騰宇在斯坦福帶著 5 名博士生以及數(shù)名碩士生，正每年發(fā)表十幾篇論文的速度一步步邁向這個目標。
雷鋒網(wǎng)報道。雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
