0
初識蘇煒杰，他與許多青年學(xué)者一樣，外表溫文爾雅、略帶靦腆，但一談起學(xué)術(shù)和 AI 的未來發(fā)展，就充滿激情。
看他的簡歷，成長經(jīng)歷一帆風(fēng)順：本科就讀于富有盛譽的北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院，接著在美國斯坦福大學(xué)攻讀博士，師從美國國家科學(xué)院院士、麥克阿瑟天才獎得主 Emmanuel Candès 和美國國家科學(xué)院和工程院雙院院士 Cynthia Dwork。緊接著跳過博士后階段，執(zhí)教于培養(yǎng)了埃隆·馬斯克和沃倫·巴菲特的沃頓商學(xué)院，并聯(lián)合指導(dǎo)常青藤名校賓夕法尼亞大學(xué)在機器學(xué)習(xí)領(lǐng)域的發(fā)展。
他的團隊在機器學(xué)習(xí)優(yōu)化算法、可信 AI 和高維數(shù)據(jù)分析等領(lǐng)域做出了許多原創(chuàng)甚至突破性的工作，部分成果已經(jīng)應(yīng)用于業(yè)界。但蘇煒杰謙虛地說，和同一階段的其他 AI 學(xué)者相比，他的論文數(shù)量算是少的。而事實是，他「相對較少」的工作已經(jīng)讓他贏得了 NSF Career Award、斯隆研究獎和 SIAM 數(shù)據(jù)科學(xué)青年獎等眾多榮譽。能獲得其中一個獎項已經(jīng)堪稱領(lǐng)域小牛，而蘇煒杰獲獎時的工作年限比平均還早兩三年。顯然，蘇煒杰是以「質(zhì)量取勝」。
他指導(dǎo)過的學(xué)生已經(jīng)或即將執(zhí)教于北京大學(xué)、羅切斯特大學(xué)和曼徹斯特大學(xué)等名校的計算機系，以及供職于 Google 和 Facebook 等硅谷大廠的研究部門。盡管離博士畢業(yè)只有 5 年多時間，但蘇煒杰已經(jīng)向「桃李滿天下」的夢想邁進了一大步。
在這些成績的背后，蘇煒杰的研究經(jīng)歷是否一帆風(fēng)順？又有哪些故事值得有志于 AI 的學(xué)生借鑒？
1、田園的成長經(jīng)歷
盡管沒有相關(guān)統(tǒng)計數(shù)據(jù)，但在農(nóng)村長大的知名 AI 青年學(xué)者比例想必是極少的。而蘇煒杰就是其中一員。
他談起農(nóng)村成長經(jīng)歷的話語中充滿著快樂。蘇煒杰從小就幫父母干農(nóng)活，在夏天和秋天播種和收割水稻期間學(xué)校會放「農(nóng)忙假」，這時候摸田螺和抓黃鱔是他的最愛。平時放學(xué)回家路上，蘇煒杰要路過家里的兩畝地，打開水渠給水稻灌溉。小學(xué)期間他家沒有房子住，全家就暫住在村里廢棄了的供銷社老房子里。令他感到欣喜的是，這個老房子中間有塊空地，他每天回家都能花很多時間種些花花草草。
在農(nóng)村長大，幾乎沒有課業(yè)壓力，蘇煒杰有更多與自然親近的機會。但這無法掩蓋物質(zhì)上匱乏的事實。相比于城區(qū)學(xué)校，蘇煒杰就讀的農(nóng)村小學(xué)和初中教學(xué)資源要少很多，基礎(chǔ)設(shè)施比較差。比如，他的初中操場沒有400米跑道，體育課練跳遠時全校連個皮尺都沒有，更沒有機會接觸計算機，甚至初一開始學(xué)英語時都是用漢字注音。因此周圍的同學(xué)對讀書改變命運普遍信心不足、學(xué)習(xí)興趣也不大，經(jīng)濟條件較好的同學(xué)經(jīng)常中途轉(zhuǎn)學(xué)到城區(qū)學(xué)校。
現(xiàn)在，蘇煒杰曾就讀的這兩所學(xué)校因為農(nóng)村適齡人口減少等原因，都已經(jīng)關(guān)閉。
還有機會上的匱乏。他沒有讀過幼兒園，本應(yīng)該開始讀小學(xué)時，因為教學(xué)資源不足，農(nóng)村孩子必須晚一年上學(xué)，因此后來在高中和大學(xué)他一般都比同學(xué)年齡大一些。蘇煒杰笑著提到還出現(xiàn)過有人以為他是復(fù)讀生的誤會。
在匱乏中的成長經(jīng)歷，讓蘇煒杰從小認(rèn)識到生活的艱辛，特別珍視機會，感恩他人的幫助。
蘇煒杰所在的農(nóng)村隸屬于寧波地區(qū)的余姚市，這是中國經(jīng)濟最發(fā)達的縣級市之一，有著濃厚的經(jīng)商創(chuàng)業(yè)氛圍。特別是在農(nóng)村，大家覺得得早點做生意賺錢更好，讀書是一種性價比很低的人生選擇。這也是江浙籍中科院院士自建國初比例持續(xù)下降的原因之一。
這些經(jīng)歷，大概率會讓蘇煒杰走一條不一樣的道路。
2、在追求知識中走向「豐富」
改變蘇煒杰人生走向的第一個節(jié)點是在小學(xué)五年級。那一年，他的母親從村里培養(yǎng)出大專生的鄰居那借了兩本教科書，一本關(guān)于微積分，另一本關(guān)于線性代數(shù)。在強烈的好奇心趨勢下，經(jīng)過一年時間，他在沒有人幫助的情況下讀懂了這兩本書。之后，初一時父親帶著他去寧波和杭州買了不少高等數(shù)學(xué)和熱力學(xué)、量子力學(xué)、狹義相對論等物理書。浸潤在遠超他年齡的知識海洋中，蘇煒杰當(dāng)時真正看懂的不多，但對知識的渴求已經(jīng)在他心中深深扎根。
誠然，書籍是治愈匱乏最好的療法。蘇煒杰開始經(jīng)常騎很久的自行車去市圖書館，借閱數(shù)學(xué)物理天文地理等各種書籍。通過閱讀《古今數(shù)學(xué)思想》和《為了人類心智的榮耀》等數(shù)學(xué)家傳記，蘇煒杰為高斯、歐拉、黎曼、龐加萊的事跡而激動，為拉馬努金和愛多士等近代數(shù)學(xué)家的故事而傾倒。有一次，他想買價格200多元的《中國大百科全書》精粹版，等了半年才向父母提出來。那次他把厚厚的一本書放在自行車后座，從新華書店回家，是他印象中最快樂的一次騎行。
知識的豐富，很快帶來回報。從未接受過競賽訓(xùn)練的蘇煒杰，初二那年參加初三組數(shù)學(xué)競賽獲獎，收到城區(qū)一所初中的邀請轉(zhuǎn)學(xué)。之后高中就讀于家鄉(xiāng)最好的余姚中學(xué)。從此雖然老家一直在農(nóng)村，但蘇煒杰的求學(xué)生涯永遠告別了田園時光。
更大的回報很快接踵而至。高一第一學(xué)期，蘇煒杰參加高三數(shù)學(xué)競賽，「劍一出鞘」，就獲得了省第六名，代表浙江省參加中國數(shù)學(xué)奧林匹克，這讓這個質(zhì)樸的農(nóng)村男生興奮得都不敢相信是真的。之后，蘇煒杰去了杭州、福州等地參加培訓(xùn)，這也是他第一次真正意義上走出家鄉(xiāng)余姚。跟來自全國各地的優(yōu)秀同學(xué)交流過程中，他感受到了差距，特別是在見識和談吐方面的不及，讓當(dāng)時的他對自己失去信心。
但最后蘇煒杰在決賽中發(fā)揮出色，獲得銀牌，名列浙江省第二名，保送清華大學(xué)數(shù)理基科班。這是他家鄉(xiāng)百萬人口縣級市第一次有高一學(xué)生保送清北，他還因此獲得了「寧波市十佳學(xué)子」的稱號，在家鄉(xiāng)引起了轟動。蘇煒杰至今在家鄉(xiāng)仍有很高的知名度。
高三那年，蘇煒杰再次代表浙江省參加中國數(shù)學(xué)奧林匹克，獲得全國第二名，保送北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院，并進入國家集訓(xùn)隊。大多數(shù)集訓(xùn)隊隊員所在高中之前就有學(xué)長學(xué)姐進過國家隊，而蘇煒杰是其高中進入數(shù)學(xué)國家集訓(xùn)隊的第一人，至今也是唯一一個。
因此，母校老師對他寄予厚望，希望他能成功進入 IMO 國家隊，為余姚中學(xué)帶來第一塊學(xué)科競賽國際金牌。但在集訓(xùn)隊的最后兩次選拔賽中，蘇煒杰發(fā)揮不理想，一步之遙與國家隊失之交臂。十多年過去了，他還對此略感遺憾，但不是因為個人榮譽的得失，而是因為辜負(fù)了高中母校的期望。
參加數(shù)學(xué)競賽讓這個農(nóng)村男生獲得了不敢想象的豐富機會，盡管也有不少失利，但這更讓他珍視機會的來之不易。蘇煒杰感到自己很幸運，因為這一路他并沒有做任何規(guī)劃，只是單純地追隨他內(nèi)心對數(shù)學(xué)之美的熱烈追求。
3、從數(shù)學(xué)夢到與AI結(jié)緣
在北大數(shù)院就讀的四年時光里，匱乏隨之遠去，取而代之的是豐富的數(shù)學(xué)知識海洋。蘇煒杰盡情地投入這場盛宴，不敢有一絲懈怠。他基本不玩游戲，每天就是跟在燕園第一周就在一起的女朋友、現(xiàn)在的妻子在圖書館自習(xí)中度過。
生活方面，北大給蘇煒杰提供了助學(xué)金，加上他每年獲得的最高獎學(xué)金，就可以完全承擔(dān)學(xué)費和生活費。這份恩情他一直記在心里。
身處北大數(shù)院，就是與全國最優(yōu)秀的同齡人共處一個集體。這種感覺是美妙的，有什么問題，跟同學(xué)一交流，馬上就會豁然開朗，甚至意識到之前沒有注意到的問題，而且還會有一點壓力，這又會讓你更加努力。
北大對蘇煒杰的改變是多方面的，對他的思維方式打下深深的烙印。數(shù)學(xué)的思維是向深處探索的，直面真正有難度的問題，力求揭開事物的本質(zhì)。蘇煒杰日后的科研風(fēng)格也正是如此，長期專注于若干重要且基本的問題，很少做推廣別人的工作。
實現(xiàn)兒時數(shù)學(xué)夢近在咫尺，但隨著大四出國申請季的到來，蘇煒杰對未來產(chǎn)生了猶豫和陷入了抉擇的困難。數(shù)學(xué)無與倫比的純粹、簡潔和普適性深深地吸引著他，而申請純數(shù)學(xué)博士是成為一名數(shù)學(xué)家的必要條件，也是實現(xiàn)他數(shù)學(xué)夢的必經(jīng)之路。同時，蘇煒杰在北大數(shù)院的方向也正是基礎(chǔ)數(shù)學(xué)，核心專業(yè)課平均分97分，名列年級第一，再加上他在丘成桐大學(xué)生數(shù)學(xué)競賽的出色成績，可以讓他申請到最好的基礎(chǔ)數(shù)學(xué)博士項目。
但此時的蘇煒杰，隨著年齡和閱歷的增加，有了不一樣的思考。
北大是綜合性大學(xué)，他有機會選修機器學(xué)習(xí)、計算數(shù)學(xué)和統(tǒng)計等課程和參加相關(guān)講座，還在林毅夫教授創(chuàng)辦的國家發(fā)展研究院獲得了經(jīng)濟學(xué)雙學(xué)位。這些另一個維度的經(jīng)歷讓蘇煒杰了解到數(shù)學(xué)在其他領(lǐng)域的作用，可以幫助解決重要的實際問題。
另一個因素是蘇煒杰在大三那年（2010年）暑假得到了在微軟亞洲研究院實習(xí)的機會, 此時機器學(xué)習(xí)方興未艾，在微軟亞研，蘇煒杰了解到機器學(xué)習(xí)的前沿方向和應(yīng)用，產(chǎn)生了濃厚的興趣。當(dāng)時大家還不怎么使用 AI 這個詞，但回想起來，他對 AI 的初印象確是來自于這段實習(xí)經(jīng)歷。這段經(jīng)歷還讓蘇煒杰結(jié)交了很多計算機專業(yè)的同齡人，體會到了不同學(xué)科之間思考方式的差異。
圖注：2010年夏天，蘇煒杰（最左）在微軟亞洲研究院實習(xí)
但讓蘇煒杰決心走一條不一樣的路的最終決定因素是他的成長經(jīng)歷。農(nóng)村的成長經(jīng)歷，讓蘇煒杰希望未來事業(yè)能跟業(yè)界更緊密些， 有機會能改善父母的生活。經(jīng)過一番思想斗爭，最后放棄了純數(shù)學(xué)作為個人事業(yè)。
蘇煒杰后來選擇了斯坦福大學(xué)統(tǒng)計系繼續(xù)他的學(xué)術(shù)夢，就不再是狹義上的數(shù)學(xué)家。但他未來的學(xué)術(shù)風(fēng)格、思考問題的方式以及學(xué)術(shù)情懷，從來沒有離開過數(shù)學(xué)。
4、成熟于硅谷的 AI 學(xué)術(shù)風(fēng)格
懷揣著對未來的憧憬，2011 年蘇煒杰飛躍大洋來到硅谷，在斯坦福最高博士生獎學(xué)金（Stanford Graduate Fellowship）的支持下開啟攻讀博士之旅。蘇煒杰所在的統(tǒng)計系有二十位不到的教授，但卻有近十位是美國國家科學(xué)院院士，因此 「院士只是平均水平」。系里的老師普遍在電子工程系、醫(yī)學(xué)院、計算機系、數(shù)學(xué)系有正式職位，是名副其實的數(shù)據(jù)科學(xué)。
此時的斯坦福和附近的谷歌等公司還處在 AI 即將快速發(fā)展的前夜。這種多元和動態(tài)完美結(jié)合的環(huán)境讓蘇煒杰能深入接觸機器學(xué)習(xí)和數(shù)據(jù)科學(xué)的前沿。
在斯坦福眾多頂級學(xué)者中，他選擇了 Emmanuel Candès 教授作為他的博士導(dǎo)師。Emmanuel 是真正的天才，他曾獲得麥克阿瑟天才獎等大獎，研究的內(nèi)容橫跨計算數(shù)學(xué)、機器學(xué)習(xí)、統(tǒng)計、信息論、信號處理和優(yōu)化等眾多領(lǐng)域，在很年輕的時候就當(dāng)選為美國國家科學(xué)院院士。2020年，他還與陶哲軒一起獲得了當(dāng)年的「IEEE Jack S. Kilby Signal Processing Medal」（信號處理領(lǐng)域最高榮譽）。
2014年，蘇煒杰在微軟研究院硅谷分部實習(xí)，導(dǎo)師是美國國家科學(xué)院和工程院雙院院士 Cynthia Dwork。她是一位初見就覺得是「我的朋友」的老太太，早年在密碼學(xué)和分布式計算做出了奠基性的工作，開啟了工作量證明這個研究方向，為后來的區(qū)塊鏈奠定了部分理論基礎(chǔ)。近幾年 Cynthia 領(lǐng)導(dǎo)了可信 AI（特別是隱私數(shù)據(jù)保護和算法公平性）這個朝氣蓬勃的領(lǐng)域，蘇煒杰也在她的指導(dǎo)下進入了這個領(lǐng)域。從此，她一直給予蘇煒杰學(xué)術(shù)上的指導(dǎo)和支持，是他實際意義上的導(dǎo)師。同時，Cynthia 還是早期的一代女性計算機科學(xué)家，早年作為女性學(xué)習(xí)計算機需要克服諸多困難，蘇煒杰聯(lián)系到自身從農(nóng)村走來也多有坎坷，因此很有共鳴。
圖注：Cynthia Dwork
這兩位教授領(lǐng)域不同，但有相似的學(xué)術(shù)觀點，共同塑造了蘇煒杰今天的學(xué)術(shù)風(fēng)格。這并不是說蘇煒杰從 Emmanuel 和 Cynthia 處學(xué)到很多具體知識點，坦率地講，作為北大數(shù)院的頂尖畢業(yè)生，他的知識儲備在本科基本已經(jīng)完成。但學(xué)術(shù)遠遠不止于知識的積累，更重要的是學(xué)術(shù)風(fēng)格的建立，理解什么是好的學(xué)術(shù)。
首先，以解決問題為導(dǎo)向，而不因?qū)W科限制自己。Emmanuel當(dāng)年與陶哲軒一起發(fā)明壓縮感知（Compressed Sensing）的時候，就是為了加速磁共振成像這個實際問題。這個工作兼具數(shù)學(xué)之美與實際之美，是非常罕見的。而在研究的過程中，他用到了信號處理、信息論、優(yōu)化和統(tǒng)計等多個學(xué)科的思想和方法。Cynthia 早年的領(lǐng)域是理論計算機，但近些年在開啟隱私數(shù)據(jù)保護和算法公平性這些領(lǐng)域的時候深入引進了統(tǒng)計技術(shù)和社會學(xué)思想。
另一個很重要的一點是持久地做自己認(rèn)為重要的課題。Emmanuel 告訴蘇煒杰，他基本不看 arXiv 上最新的論文，而是做自己認(rèn)為重要的問題，且不輕易因為外界的聲音改變。如果過于緊跟潮流，總是在模仿，很容易迷失在浩如煙海的論文海洋之中，研究的內(nèi)容很難有自己的特色，且無法產(chǎn)生深遠的影響力。Cynthia 十多年前剛開啟隱私數(shù)據(jù)保護這個領(lǐng)域時，領(lǐng)域內(nèi)對此有不同聲音，但經(jīng)過十多年的持續(xù)耕耘，現(xiàn)在已經(jīng)在業(yè)界廣泛應(yīng)用。
此外，要重質(zhì)量而不是數(shù)量。蘇煒杰回憶，Emmanuel 好幾次跟他說自己不應(yīng)該寫某些論文，希望從簡歷里刪掉。當(dāng)時蘇煒杰還挺驚訝，因為這些論文的引用量也有數(shù)百。獨立工作后他才明白，現(xiàn)在學(xué)術(shù)圈的問題是論文太多，但真正高質(zhì)量的論文比例卻不高。Emmanuel 告誡他，一篇論文好不好，要看5年甚至10年以后是否還有參考價值。
這些言傳身教讓蘇煒杰受益匪淺，體現(xiàn)在他做科研也不局限于某個具體學(xué)科，經(jīng)常橫跨機器學(xué)習(xí)、優(yōu)化和統(tǒng)計等多個領(lǐng)域，以及習(xí)慣于持續(xù)地研究問題，注重「種樹」而非「摘果」?！阜N樹」的成功率固然不高，但這類工作一旦成功，往往能給本領(lǐng)域提供新的問題和機會。
因為帶學(xué)生有壓力，他也有一些純粹只是為了發(fā)表而發(fā)表的論文，但他每年要求自己至少寫一篇「5年以后還有人讀」的論文?，F(xiàn)在蘇煒杰有40余篇論文，但他坦然說只有3、4篇是他真正喜歡的，具有長期價值。也正是這少量的幾篇高質(zhì)量論文，讓蘇煒杰贏得了眾多榮譽，其成果已經(jīng)在包括賓大、MIT、UC Berkeley、斯坦福、普林斯頓、耶魯、北大、UCSD、UIUC等眾多大學(xué)的數(shù)據(jù)科學(xué)和機器學(xué)習(xí)課程中講授。有朋友跟他說：「未來可以寫進教科書?！?/p>
除了學(xué)術(shù)，兩位導(dǎo)師在生活上對蘇煒杰也很關(guān)心。Emmanuel 有著法國學(xué)者常見的高冷氣質(zhì)，但內(nèi)心卻很關(guān)心學(xué)生，每學(xué)期都會邀請學(xué)生去他家參加派對，有一次得知蘇煒杰遇到經(jīng)濟困難后曾提出經(jīng)濟上的幫助。Cynthia 則經(jīng)常問蘇煒杰工作開不開心，2017年她入職哈佛大學(xué)后，曾提到如果蘇煒杰想來「波士頓的那兩個學(xué)?！梗S時跟她說。
5、豐收篇
2016年，蘇煒杰博士畢業(yè)，論文獲得了首屆「斯坦福 Theodore Anderson 獎」。在 Emmanuel 和 Cynthia 兩位導(dǎo)師的推薦下，入職常青藤名校賓夕法尼亞大學(xué)，開始了在東海岸的獨立工作。
圖注：蘇煒杰和他妻子與Emmanuel Candes的合影
懷揣著對 AI 的熱情，以及深厚的數(shù)學(xué)情懷，蘇煒杰開始迎來學(xué)術(shù)上的豐收。
蘇煒杰的一個主要課題是揭開深度學(xué)習(xí)背后的機制，理解為什么深度神經(jīng)網(wǎng)絡(luò)有時候效果好、有時候不好?；蛟S是因為數(shù)學(xué)背景出身，他除了重視提升效果，也強調(diào)「知其然，也要知其所以然」。
他對 AI 科技評論談道：
有人說深度學(xué)習(xí)是「煉金術(shù)」。這對于人臉識別、下圍棋甚至蛋白質(zhì)折疊等也許沒有特別大的影響，但對于高風(fēng)險的 AI 應(yīng)用卻是至關(guān)重要的。最近 DeepMind 將深度強化學(xué)習(xí)應(yīng)用到核聚變，結(jié)果令人興奮，但在沒有完全理解深度學(xué)習(xí)的機制之前，即使成功率達到99.99%，我們能承受最后變成一顆小型氫彈的0.01%的可能性嗎？
這是一個重要且非常活躍的科研領(lǐng)域，但還沒有一個理論獲得學(xué)界廣泛認(rèn)可。經(jīng)過多年思考，蘇煒杰和他團隊提出了一個深度神經(jīng)網(wǎng)絡(luò)的「局域彈性」（local elasticity）理論，給神經(jīng)網(wǎng)絡(luò)泛化、優(yōu)化等性質(zhì)提供了一個簡單的唯象理論。
這個理論可以用一個很簡單的例子來介紹：神經(jīng)網(wǎng)絡(luò)看到一張波斯貓的圖片后更新了其參數(shù)，然后我們觀察神經(jīng)網(wǎng)絡(luò)更新后在另一張圖片上預(yù)測的改變。實驗發(fā)現(xiàn)，改變的大小取決于新圖片跟波斯貓的相似度：變化在暹羅貓上最大，在老虎上其次，在汽車上最小。形象地說，深度神經(jīng)網(wǎng)絡(luò)像橡皮泥一樣有局部的彈性。
直覺上，蘇煒杰相信這個唯象理論是通向最終理論的必經(jīng)之路，但現(xiàn)在還不完善，還需要大量后續(xù)工作來深入研究。
相關(guān)論文：
The Local Elasticity of Neural Networks
Neurashed: A Phenomenological Model for Imitating Deep Learning Training
蘇煒杰認(rèn)為數(shù)學(xué)理論還可以指導(dǎo)實際的 AI 問題。「There is Nothing More Practical Than A Good Theory」，一個好的理論價值的最直接體現(xiàn)在于能不能指導(dǎo)實際，節(jié)約人力物力。流體力學(xué)和空氣動力學(xué)就是一個很好的例子，現(xiàn)在可以用仿真來替代真實的風(fēng)洞試驗。但 AI 領(lǐng)域很多方向還需要耗費巨大的人力物力來收集數(shù)據(jù)和訓(xùn)練模型，比如最近很熱門的預(yù)訓(xùn)練大模型；另一個例子是自動駕駛，現(xiàn)在離實際的落地應(yīng)用還有很長一段距離，需要逐個解決無數(shù)個"黑天鵝問題"。
學(xué)界在這個方向上的工作都還很初步，但蘇煒杰團隊最近的一個工作算是邁了一小步。這個工作發(fā)表在《美國國家科學(xué)院院刊》（PNAS），對深度神經(jīng)網(wǎng)絡(luò)進行了極大的簡化，著重分析了特征與后繼層參數(shù)在網(wǎng)絡(luò)訓(xùn)練中的相互作用。
論文地址：https://www.pnas.org/doi/epdf/10.1073/pnas.2103091118
運用這個框架，蘇煒杰發(fā)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)不平衡時表現(xiàn)可能會非常差，特別是對數(shù)據(jù)量不夠的類別，其預(yù)測能力會非常隨機。這個發(fā)現(xiàn)完全是理論預(yù)測的，但通過實驗完美地確認(rèn)有這個現(xiàn)象，然后針對性地提出了解決方案。這個工作說明，在一定程度上，數(shù)學(xué)是可以指導(dǎo)深度學(xué)習(xí)的實際應(yīng)用的，但像這樣的工作目前在深度學(xué)習(xí)的研究中還是非常少見的。雷峰網(wǎng)
此外，數(shù)學(xué)對 AI 知識的梳理和傳承也是有很大作用的。恩格斯曾說過：「任何一門科學(xué)的真正完善在于數(shù)學(xué)工具的廣泛應(yīng)用」。這句話或許稍有片面，但也可以看出數(shù)學(xué)對一個學(xué)科發(fā)展的重要性。為什么埃及金字塔、瑪雅歷法、以及中國古代的很多技術(shù)會失傳？本質(zhì)上是因為這些知識當(dāng)時沒有被「數(shù)學(xué)化」，其傳承需要師徒手把手面對面教授繼承。相反，我們現(xiàn)在還可以很好地理解兩千年前的《幾何原本》，因為一個知識體系在被數(shù)學(xué)化后就是精準(zhǔn)的，其傳承就可以超越時空。
但 AI 領(lǐng)域的許多知識目前處于一個「煉金術(shù)」的狀態(tài)，知識是由大量的試錯、經(jīng)驗總結(jié)起來的，缺乏體系，不完整，也存在相互矛盾的現(xiàn)象，這會造成年輕的學(xué)生很難掌握如此繁瑣的 AI 知識和經(jīng)驗，很有可能再過幾十年這些花費巨大資源獲取的知識會被遺忘。
蘇煒杰有一個工作對一類 AI 領(lǐng)域的現(xiàn)象作了梳理和簡化。添加動量（momentum）是優(yōu)化機器學(xué)習(xí)模型時常用的一個技巧，Hinton的一個重要工作指出添加動量可以顯著地加快優(yōu)化深度神經(jīng)網(wǎng)絡(luò)，目前也有很多解釋的工作，但大家還是覺得這個現(xiàn)象很神秘。通過和美國國家工程院院士 Stephen Boyd 、以及導(dǎo)師 Emmanuel 合作，蘇煒杰的一個工作指出可以用動力系統(tǒng)的連續(xù)觀點很直觀地解釋復(fù)雜的加速現(xiàn)象。
論文地址：https://jmlr.org/papers/volume17/15-084/15-084.pdf
這個工作因為明顯的幾何直觀性，在機器學(xué)習(xí)、優(yōu)化和控制論等多個領(lǐng)域都有很大影響力，眾多學(xué)者用這個方法設(shè)計新的加速算法，并做了大量推廣工作。這其中就包括機器學(xué)習(xí)泰斗 Michael Jordan 和著名機器學(xué)習(xí)學(xué)者 Peter Bartlett。Michael Jordan 教授在 2018 年里約國際數(shù)學(xué)家大會的 1 小時報告中，以大篇幅介紹了這個工作。
圖注：Michael Jordan在2018年國際數(shù)學(xué)家大會1小時報告上詳細介紹蘇煒杰的工作
蘇煒杰參加 NeurIPS 等機器學(xué)習(xí)會議時，經(jīng)常碰到不認(rèn)識的人看到他胸前的名牌后問「Are you the Su of the Su, Boyd, Candès?」雷峰網(wǎng)(公眾號：雷峰網(wǎng))
蘇煒杰本科期間曾選修過經(jīng)濟學(xué)雙學(xué)位，經(jīng)濟學(xué)的思想體現(xiàn)在他近期一個旨在提高論文同行評議質(zhì)量的工作。在這個工作中，蘇煒杰把對于預(yù)測精度的追求和效用函數(shù)的最大化分離，因此在更廣的意義上可以將博弈論的觀點有機地引進到很多機器學(xué)習(xí)的問題。這個框架與Michael Jordan近幾年倡導(dǎo)的「ML + Economics」不謀而合。蘇煒杰對推廣這個框架充滿信心，歡迎感興趣的學(xué)者和學(xué)生聯(lián)系他。
相關(guān)論文：
You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism
6、隱私數(shù)據(jù)保護
蘇煒杰進入隱私數(shù)據(jù)保護領(lǐng)域的引路人是 Cynthia Dwork。這個領(lǐng)域是數(shù)據(jù)科學(xué)和機器學(xué)習(xí)的結(jié)合點，具有很多優(yōu)美的性質(zhì)。
數(shù)據(jù)隱私的重要性在于，在這個大數(shù)據(jù)時代，如何妥善獲取和使用與真人相關(guān)的數(shù)據(jù)，漸漸成為亟需解決的問題。沒有人愿意生個病、上個網(wǎng)、買件衣服都會被人隨意知曉，更別提手機里沒有修過的自拍了。在數(shù)據(jù)日益成為AI核心組成部分的今天，保護數(shù)據(jù)隱私的重要性是基建性的。
可能有種錯覺是相比于中國用戶，歐美用戶更注重隱私，但這其實是不對的。蘇煒杰曾和 Cynthia 討論過這個問題，Cynthia 的觀點是隱私的重要性是獨立于文化的。幾年前國內(nèi)某 IT 大佬曾公開宣稱中國用戶不太注重數(shù)據(jù)隱私，第二天就導(dǎo)致其公司股票大降。隨著我國公民意識個人權(quán)益的不斷增強，數(shù)據(jù)隱私保護的重要性會越來越高。
差分隱私由 Cynthia 和合作者于 2006 年提出。除了差分隱私，現(xiàn)在隱私數(shù)據(jù)保護有安全多方計算、同態(tài)加密、聯(lián)邦學(xué)習(xí)等技術(shù)。聯(lián)邦學(xué)習(xí)是從「物理」上形式地保護了隱私，讓數(shù)據(jù)實現(xiàn)在本地計算，從而讓「散戶心理上舒服」，但一般并不能在完全絕對意義上保護隱私，還需要和差分隱私結(jié)合。而差分隱私無論是理論還是實際應(yīng)用，都是現(xiàn)在最成熟的的技術(shù)。硅谷眾多的旗艦大廠都已經(jīng)使用差分隱私多年，Apple 的 iCloud 也用到了這項技術(shù)，2020 年美國人口統(tǒng)計也大規(guī)模地使用了差分隱私。
簡單地說，差分隱私要求數(shù)據(jù)集的單個用戶的改變基本不影響算法輸出，從而嚴(yán)格保護每一個用戶的隱私。為了實現(xiàn)保護，需要給算法添加噪音，噪音加的越大，隱私就越安全，但是隨之性能也會越差。在有限的隱私預(yù)算下，很多時候隱私算法的性能表現(xiàn)會不如人意。
關(guān)于這個問題，蘇煒杰曾跟學(xué)術(shù)圈研究隱私的人交流，他們一般認(rèn)為隱私保護是第一位的；但工業(yè)界的從業(yè)人員認(rèn)為算法的性能與隱私保護一樣重要，兩者需要取舍。蘇煒杰學(xué)經(jīng)濟學(xué)時常聽到「everything has a price」（每一個物品都有一個價格），隱私也是。因此如果為了保護隱私而導(dǎo)致算法效率大幅下降，那么是不可取的。
在保證隱私的前提下，為了提高算法精度，蘇煒杰和合作者提出的高斯差分隱私。
相關(guān)工作：
Gaussian Differential Privacy
Deep Learning with Gaussian Differential Privacy
這個工作的核心是從假設(shè)檢驗的角度來精準(zhǔn)地刻畫隱私程度，從理論上嚴(yán)格證明了這個新框架具有多個最優(yōu)性質(zhì)。蘇煒杰的團隊還把高斯差分隱私應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在同等隱私保護程度的條件下取得了比 Google Brain 更高的預(yù)測精度。
這個新的隱私數(shù)據(jù)分析框架已經(jīng)納入TensorFlow，最近也受到了 Facebook（Meta）的關(guān)注。他的團隊已經(jīng)跟 Meta 合作，希望能將高斯差分隱私部署到他們的廣告推薦系統(tǒng)中。這個工作既有理論上的優(yōu)美保證，又能應(yīng)用到實際提高機器學(xué)習(xí)算法的效率，對此蘇煒杰感到非常興奮的。
7、生活感悟
蘇煒杰在 AI 學(xué)術(shù)上的探索歷程，是一個寒門子弟從早期匱乏逐漸走向「豐富」的成功例子。但這背后也需要他克服更多的困難。
比如，博士第三年，蘇煒杰和妻子突然迎來了他們的第一個孩子，而他妻子不久前辭去了在國內(nèi)本很有發(fā)展前景的工作。隨之而來的經(jīng)濟壓力和科研時間的極大縮短，讓蘇煒杰只能迎頭而上。
圖注：蘇煒杰與他的大兒子
這段時間是蘇煒杰人生中最努力的時候，既要兼顧學(xué)術(shù)與家庭，又要解決物質(zhì)與精神壓力，就只能白天照顧小孩、晚上熬夜搞學(xué)術(shù)。當(dāng)時腦海里就只剩下兩個字：努力。幸運的是，他堅持下來了，做出了讓 Emmanuel 和 Cynthia 非常欣賞的工作。
回想起那段時間，蘇煒杰還有一種「一步走錯則滿盤皆輸」的后怕感。那時他的學(xué)術(shù)剛剛起步，如果在壓力下，做不出成果，就不可能找到好的教職工作，那之前一路堅守的學(xué)術(shù)夢想就沒有意義了。
為了承擔(dān)生育與撫養(yǎng)小孩的費用，以及支付她妻子讀碩士的學(xué)費，蘇煒杰還通過做額外的助教來減輕經(jīng)濟負(fù)擔(dān)。但即便如此，博士畢業(yè)時他的銀行存款已經(jīng)是零，信用卡還透支了一萬五千美元。臨近畢業(yè)時導(dǎo)師建議他去做一年博士后，這對建立人脈和拓展研究方向都有幫助，但因為迫切需要一份正式工作的收入，蘇煒杰沒有考慮。雷峰網(wǎng)
基于這段經(jīng)歷，蘇煒杰有一些對寒門子弟人生規(guī)劃的建議。如果有志于學(xué)術(shù)，但來自農(nóng)村或家庭經(jīng)濟一般，可能選擇跟業(yè)界聯(lián)系緊密、就業(yè)相對容易的領(lǐng)域是個明智的選擇。除了個別領(lǐng)域，絕大多數(shù)領(lǐng)域的博士超過半數(shù)是無法在學(xué)術(shù)圈找到工作的，最終還是會在業(yè)界就業(yè)。而家庭經(jīng)濟一般，往往很難承受學(xué)術(shù)工作找不到、業(yè)界工作也不匹配的風(fēng)險。
對于計劃在業(yè)界就業(yè)的同學(xué)，蘇煒杰的建議是擇業(yè)時更要多地考慮這個方向是不是在上升期，因為處于上升期的領(lǐng)域更看重個人能力和拼搏精神，對社會關(guān)系的要求較低。從這個角度看，如果家庭經(jīng)濟一般的同學(xué)有機會從事AI方面的工作，是一個很好的選擇。本科報專業(yè)的時候可以多考慮計算機、數(shù)學(xué)、統(tǒng)計與數(shù)據(jù)科學(xué)、電氣工程等方向。黃國平博士是一個很好的成功例子，蘇煒杰讀過他的故事，深有共鳴。
8、展望
蘇煒杰懷著兒時就有的數(shù)學(xué)情懷，做出了兼具理論優(yōu)美和實際價值的工作。這在日益壯大的青年 AI 學(xué)者群體中是很少見的。對于有志研究 AI 的同學(xué)，蘇煒杰建議可以多選一些數(shù)學(xué)基礎(chǔ)課程。此外，在「AI+Science」這個趨勢的背景下，也可以學(xué)一些生物、物理、化學(xué)等課程，增加知識維度。
蘇煒杰在可信 AI、優(yōu)化、統(tǒng)計與數(shù)據(jù)科學(xué)、深度學(xué)習(xí)等多個領(lǐng)域都有原創(chuàng)性貢獻，這每一個標(biāo)簽加上他身上也都恰如其分。但蘇煒杰并不喜歡被標(biāo)簽限制住，在 AI 被數(shù)據(jù)驅(qū)動的浪潮中，不同的領(lǐng)域其實是在解決同一類問題，只不過在前后端的側(cè)重點有所不同。這些本應(yīng)該在一起的領(lǐng)域由于歷史的原因被不同的期刊、會議、基金項目和院系所分割。
他特別欣賞斯坦福和 MIT 這兩所大學(xué)的模式。斯坦福通過正式的雙聘制度讓不同的學(xué)科交叉，而 MIT通過建立林肯實驗室、媒體實驗室等部門的方式打破學(xué)科壁壘，以解決具體實際問題為導(dǎo)向，這將是趨勢，蘇煒杰提到。
最后他對 AI 科技評論說道：
在這個激動人心的變革時代，每一位 AI 學(xué)者都在做同樣一件事情。這件事就是 2018 年 Michael Jordan 和張亞勤在烏鎮(zhèn)見面時說的同一句話：「我只是做數(shù)據(jù)分析的」。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
