二本出身，讀了兩個(gè)碩士才在29歲開始讀博，39歲才結(jié)束博士后研究的付杰形容，他的20年就像個(gè)體與系統(tǒng)的博弈：

在一些機(jī)器學(xué)習(xí)的文章中，研究者會(huì)根據(jù)訓(xùn)練初始階段 Training Curve（訓(xùn)練曲線）的模式來判斷一個(gè)模型是否值得繼續(xù)投入資源訓(xùn)練。

通常來說，一個(gè)機(jī)器學(xué)習(xí)模型在開始階段的損失下降明顯、精度上升明顯，最后的結(jié)果也往往是優(yōu)異的；而如果初始階段的訓(xùn)練損失下降地很緩慢，那么后期結(jié)果大概率也不會(huì)好轉(zhuǎn)。

當(dāng)然，也有極少數(shù)的例外：一個(gè)模型在初始階段訓(xùn)練不好，但在后期損失會(huì)上升，模型的精度也會(huì)不斷上升。但出于節(jié)約資源的考慮，研究者往往會(huì)選擇在初始階段就把表現(xiàn)不好的模型「殺死」，然后重新開始。

同樣的「大局思維」遷移到社會(huì)整體，體現(xiàn)便是：如果存在「上帝之眼」，TA 俯瞰整個(gè)社會(huì)系統(tǒng)中有潛力推動(dòng)人工智能發(fā)展的種子選手，在可分配資源有限的情況下，類似付杰這樣的二本生，在高考結(jié)束的那一瞬間，就已經(jīng)被系統(tǒng)提前淘汰了。

從大局出發(fā)，系統(tǒng)的確不應(yīng)該給予付杰太多的資源去嘗試、去試錯(cuò)，因?yàn)樗谧詈蟠蟾怕室矔?huì)失敗。但是，正如付杰所說：「從個(gè)人的角度，我有必須不斷嘗試的動(dòng)力：因?yàn)槟鞘俏业娜松?。?/p>

雖有點(diǎn)動(dòng)漫里中二角色臺詞的味道，倒也很符合他中二少年的氣質(zhì)。

所以，即使路遙多阻，他也要在每次受挫后不斷地將自己「重新啟動(dòng)」，去考研，去讀博，去爭取每一個(gè)能讓自己變強(qiáng)的機(jī)會(huì)。在社會(huì)的運(yùn)轉(zhuǎn)中，「系統(tǒng)」與個(gè)人無時(shí)無刻不在爭奪有限的資源。

「很多時(shí)候我都是站在一個(gè)被淘汰者的角度看著臺上的表演。因?yàn)槲乙恢笔。惨恢痹谂_下，所以我很清醒?！垢督苷f道。作為被系統(tǒng)淘汰的人，他深知，要想繼續(xù)向前，只能靠自己的努力，外加因人而異的“適量”運(yùn)氣成分，將模型啟動(dòng)：

「不一定會(huì)成功，但堅(jiān)持是必要的。慢慢來，比較快。」

1 小朋友的科學(xué)家夢想

每個(gè)小朋友都有夢想，付杰也不例外。

只是，與其他或迫于類政治正確、從而寫下自己夢想當(dāng)培育心靈的「園丁」（教師）或懸壺濟(jì)世的醫(yī)生的小朋友不同，當(dāng)付杰說出“我想當(dāng)一名科學(xué)家”時(shí)，他是發(fā)自內(nèi)心這樣想的。

故事要從他在幼兒園時(shí)說起。

有一天，天真無邪、心靈純潔、放學(xué)回家只知道看電視的付杰守在電視機(jī)前，無意中看到本地的科教頻道正在播放一個(gè)有趣的節(jié)目。節(jié)目里，一個(gè)生物學(xué)家正在自動(dòng)化裝置的幫助下篩選各種藥物，付杰的眼球被吸引住了！

那時(shí)候，他對世界的認(rèn)知?jiǎng)倓偯妊?，剛開始從大人那得知人人都會(huì)衰老與死亡這一令他恐懼不已的事實(shí)，天天幻想著要像《西游記》里的孫悟空等神仙一樣長生不老，煉成仙丹，消滅衰老與死亡，所以他很關(guān)注醫(yī)藥研究。得知國外已有先進(jìn)技術(shù)幫忙篩選藥物，他十分開心。

但同時(shí)，幼小的付杰也對眼前的裝置有自己的思考。雖然可以自動(dòng)篩選，但做生物實(shí)驗(yàn)的速度卻非常慢——在我有生之年，科學(xué)家究竟來不來得及煉成不老仙丹呀？焦急的付杰捶著小拳頭、跺著腳，轉(zhuǎn)眼就開始思考：我是不是應(yīng)該想想辦法，加速科學(xué)家的實(shí)驗(yàn)速度？

對于七歲的付杰小朋友來說，若人類社會(huì)免除衰老與死亡、地球豈不超負(fù)荷這樣的問題，是不在他的考慮范圍之內(nèi)的。他只覺得世界那樣美好，生命那樣寶貴，科學(xué)研究的目標(biāo)里一定少不了一個(gè)出發(fā)點(diǎn)，就是幫助人類減少病痛、延年益壽。

所以，從幼時(shí)開始，付杰就開始幻想著成為一名這樣的科學(xué)家：運(yùn)用像篩選藥物這樣的自動(dòng)化裝置等先進(jìn)技術(shù)，幫助生物醫(yī)學(xué)的發(fā)展，也就是他在動(dòng)畫片里看到過的“人工智能”（Artificial Intelligence）。沒錯(cuò)，付杰在世紀(jì)未開始之前就對 AI 有了認(rèn)知。

「如果我沒有『精神被過度刺激』從而大量篡改自己記憶的話，這個(gè)故事應(yīng)該是非常貼近事實(shí)的?！垢督芨嬖VAI科技評論。

夢想成為一名科學(xué)家的種子很早就埋在付杰的心中。加上他的父親當(dāng)時(shí)在武漢當(dāng)?shù)氐囊凰芯吭汗ぷ?，是一位從事與計(jì)算機(jī)相關(guān)工作的高級工程師，所以付杰從五六歲開始就接觸電腦，用電腦來玩游戲?qū)W習(xí)計(jì)算機(jī)知識。在父親的影響下，付杰知道計(jì)算機(jī)將是二十一世紀(jì)初最先進(jìn)的技術(shù)，所以早早就立定心意，要學(xué)習(xí)計(jì)算機(jī)，尤其是AI。

「高考之后，報(bào)志愿的時(shí)候我就一定要選計(jì)算機(jī)專業(yè)，我一定要學(xué)AI。哪怕我去了二本，我也要學(xué)計(jì)算機(jī)。」順便提一下，他的QQ名從一開始就叫“AI”。

付杰是土生土長的武漢人。高中時(shí)，他就拼命學(xué)習(xí)，挑燈夜戰(zhàn)，揮灑汗水，希望考上武漢排名最靠前的兩所學(xué)校！

嗯…故事寫到這里，忘了說一下：沒錯(cuò)，付杰是一個(gè)從小志存高遠(yuǎn)的有志青年，也有著高風(fēng)亮節(jié)的社會(huì)責(zé)任心，但他并非名列前茅、眾星捧月的學(xué)霸。最終，因?yàn)楦呖挤謹(jǐn)?shù)不夠理想（他再三強(qiáng)調(diào)不是高考失誤，而是自身實(shí)力實(shí)在羞于示人），他只考上了武漢的一所二本大學(xué)。

但這卑微的起點(diǎn)并沒有打擊付杰追逐幼時(shí)夢想的信心！二話不說，他果斷在志愿填寫中瀟灑地寫下了計(jì)算機(jī)專業(yè)，心里寬慰自己：沒事沒事，高考失敗是小事、是小事，丑小鴨能變天鵝、野雞窩里也能飛出鳳凰。

最后，付杰幸運(yùn)被計(jì)算機(jī)系錄取，樂觀的他昂首挺胸就要邁上人生的新道路，朝著他心中的夢想靠近。他沒想到的是，接下來的路會(huì)這么艱難。

2 二本差生

二本，也許是付杰手里的第一張爛牌。

剛進(jìn)入大學(xué)的付杰，還是一個(gè)充滿抱負(fù)的上進(jìn)學(xué)生，對自己的未來充滿激情與信心。他甚至在一開學(xué)就跑去教務(wù)處問本科能不能三年畢業(yè)、提前畢業(yè)有什么要求，還計(jì)劃以后要考研去武漢當(dāng)?shù)氐?85名校繼續(xù)深造。

當(dāng)年的計(jì)算機(jī)本科專業(yè)主要修讀C語言、數(shù)據(jù)庫等課程，但付杰記得，本科那會(huì)他就選過一門人工智能的課程，雖然課上所教授的內(nèi)容與今天的 AI 完全不同。那時(shí)的人工智能依賴的更多是專家系統(tǒng)，「人工」的成分更多。付杰認(rèn)為，這根本不是自己所想象的人工智能，他期待自己能在將來參與到更先進(jìn)的人工智能研究中去。

然而，很快，付杰手里的牌就變成了「二本差生」。成績一般、學(xué)習(xí)沒有效果……整個(gè)學(xué)習(xí)過程非常艱難。

「學(xué)習(xí)方法和態(tài)度都不對」——付杰在采訪中多次這樣反思自己的過去。他坦言自己有些眼高手低，比如，明明本科階段的內(nèi)容就是學(xué)好課本上已有的知識、鞏固好基礎(chǔ)知識就行，但他卻因?yàn)橛X得“沒用”、逃避做練習(xí)題（因?yàn)橄胩颖芫毩?xí)帶來的短暫痛苦），導(dǎo)致對計(jì)算機(jī)知識的掌握程度不夠深，后來大四考研時(shí)成績一敗涂地。

另外，在二本院校，學(xué)習(xí)資源和學(xué)習(xí)氛圍整體上都是不盡如人意的。付杰的耳邊總是充斥著「60分萬歲」這樣的論調(diào)，他似乎也找不到人去討論問題和交換信息。

在這樣的氛圍中，付杰一開始的躊躇滿志隨著日子的一天天流逝，逐漸被消磨殆盡。

而讓付杰在本科徹底滑向谷底的，是初戀女友與他的分手。

他在高中時(shí)暗戀過一個(gè)女生，高考后女生考上了985大學(xué)。大學(xué)那會(huì)，付杰通過當(dāng)時(shí)的搜狐校友錄找到女生，花了很多時(shí)間、一門心思地去追她，但他們只在一起不到半年就分手了。他猶記得，那是一個(gè)寒冷的冬日，臨近春節(jié)，他們在學(xué)校附近的麥當(dāng)勞見面。女生坐在他的對面，向他提分手。仿佛臨頭被潑了一盆冷水的他詢問原因，女生對他說出的最后一句話是：「你不夠強(qiáng)」。

這四個(gè)字猶如縈繞不斷的畫外之音，給了當(dāng)時(shí)在學(xué)業(yè)上已頹廢至谷底的付杰重重一擊，先是當(dāng)頭一棒，后是不斷回響的痛苦?！改悴粔驈?qiáng)」——這句話使付杰對自己的價(jià)值產(chǎn)生了深深的懷疑，更讓從小到大天不怕、地不怕的他產(chǎn)生了自卑心理。

但苦悶的他又一時(shí)找不到出路，更沒有信心重拾自己，也深知自己無法在短時(shí)間內(nèi)達(dá)到與女生相匹配的高度，所以他只想躲避現(xiàn)實(shí)，沉迷在虛擬游戲中，學(xué)業(yè)也更加荒廢。

「我很在乎她對我的看法。我真的那么沒有價(jià)值嗎？其實(shí)我現(xiàn)在回頭看，我當(dāng)時(shí)的確沒什么價(jià)值，就很爛?！垢督苓@樣回憶道。

3 「我好像不是個(gè)廢物」

2005年，付杰本科畢業(yè)。

那時(shí)剛踏入社會(huì)的付杰是一個(gè)什么樣的狀態(tài)呢？

他給出的描述是：幼稚，沒有能力，什么都不行，無助，迷茫。

面對人才市場上黑壓壓的人群，付杰感到無所適從，簡歷也沒敢投就回家了。后來在家人的幫助下勉強(qiáng)找到一份國企的工作，錢少，穩(wěn)定，一眼就能看到頭。即使付杰認(rèn)為自己那時(shí)候沒什么大本事，但日復(fù)一日地做網(wǎng)線、搬東西之類的打雜工作，仍然讓他覺得有些不甘心，而且他從心底里對這種「穩(wěn)定」感到害怕。九十年代的下崗潮，曾讓付杰目睹了周圍親戚原本滋潤的生活急轉(zhuǎn)直下，看起來再穩(wěn)定的系統(tǒng)也有崩潰的可能。

環(huán)境對人的意志的消磨無形但深刻，就好像《肖申克的救贖》里被體制化的（institutionalized）的老人Brooks。彼時(shí)的付杰甚至沒有了想要「打破」的欲望。當(dāng)一個(gè)人不甘于現(xiàn)狀，卻又疲于改變也無力改變的時(shí)候，或許只能選擇逃避。那一年，魔獸世界上線，付杰就鉆到了魔獸世界中，沉迷在虛擬游戲中。

在魔獸世界里，很多個(gè)玩家組成團(tuán)隊(duì)一起協(xié)作，這讓付杰獲得了一種被需要的感覺——原來自己是能做出點(diǎn)貢獻(xiàn)的。

而在游戲中遇到的人，更是給他帶來了人生軌跡的重要轉(zhuǎn)變。

也許很多人都曾聽說過那個(gè)廣為流傳的「曲別針換別墅」的故事：一個(gè)外國青年用一枚曲別針跟別人換到一支鋼筆，再用筆換到了小件藝術(shù)品、烤爐、汽車等等。最終他沒花一分錢，換到了一套雙層別墅。簡而言之，就是通過人際網(wǎng)絡(luò)關(guān)系將小資源置換成大資源。

付杰把他在游戲里的故事與這種過程相類比，只是更多了一些機(jī)緣巧合。

某一天，在魔獸世界里，付杰看到一個(gè)「獵人」新手玩家在「主城」里問哪里可以買到「弓箭」。付杰是個(gè)很熱心的人，于是他主動(dòng)帶這個(gè)人去買了裝備，對方也覺得他人很好，兩人就熟絡(luò)起來。之后他們商量兩人共同玩一個(gè)賬號，這樣一來，付杰就擁有了一個(gè)「獵人」賬號，他們也都可以省點(diǎn)精力，也不必再參與團(tuán)隊(duì)里的搶裝備沖突，可以經(jīng)常下副本劃水、與人聊天。

陰差陽錯(cuò)地，作為「獵人」的付杰又在魔獸世界里認(rèn)識了另一位「獵人」新手玩家。這位新手玩家因?yàn)闆]錢充卡，所以偶爾需要賣金幣換點(diǎn)卡。付杰見其「可憐」，就在游戲里很讓著他。一來二回，兩人逐漸成為網(wǎng)絡(luò)上的朋友，聊得十分投機(jī)。剛好那時(shí)兩人又都在感情上遭遇了相似的挫折，就常常聚在一起討論怎么追回心儀的女生。

后來，付杰發(fā)現(xiàn)，他在網(wǎng)絡(luò)上認(rèn)識的這位朋友根本不是窮人！如果付杰是一個(gè)女生，這大概率會(huì)是一個(gè)白富美偶遇高富帥的離奇故事……當(dāng)然，沒有如果。事實(shí)是，這位網(wǎng)友來自一個(gè)富裕的家庭。他的家庭因?yàn)楦谊J敢拼，白手起家，很早就達(dá)到了家庭資產(chǎn)A9。當(dāng)時(shí)他剛到加拿大念本科，還沒開銀行卡，所以只能靠賣金幣換點(diǎn)卡。

付杰每每談起這位朋友，都要感嘆：如果不是在游戲里，我跟他在現(xiàn)實(shí)生活中完全不可能有交集。這位朋友無論是見識還是財(cái)富上，都遠(yuǎn)遠(yuǎn)超出了當(dāng)時(shí)身處武漢的付杰在二十多年人生里所積累的所有認(rèn)知。他回憶，與這個(gè)朋友的認(rèn)識，直接改變了他原有的人生軌跡。

「你想，他那么有錢，跟我們普通人家看世界的觀點(diǎn)、看法肯定是不一樣的對吧。倒不是說他讓我發(fā)財(cái)，而是他讓我看到了不一樣的世界觀，而這種世界觀徹底改變了我做選擇的態(tài)度?！垢督軐I科技評論說道。

由于他們的家底完全是靠自己闖出來的，在那樣一種崇尚開拓和挑戰(zhàn)的家庭氛圍中浸淫數(shù)年，這位好朋友對于「成功」的定義給當(dāng)時(shí)在國企「混日子」的付杰帶來了沖擊。他經(jīng)常對付杰說：「哪怕你沒有十足的把握，你也一定要去嘗試，你不去嘗試怎么知道自己行不行？」

嘗試的機(jī)會(huì)很快來了。

07年左右，大環(huán)境經(jīng)濟(jì)出現(xiàn)波動(dòng)，這位好朋友的公司也在考慮改變一直以來「粗放增長」的模式，決定使用ERP系統(tǒng)（Enterprise Resource Planning，企業(yè)資源規(guī)劃系統(tǒng)）。這位好朋友聽聞付杰學(xué)計(jì)算機(jī)出身，便邀請他去考察一下國內(nèi)做ERP的公司，并以一種非官方代表的身份去簽單。

付杰認(rèn)真地完成了朋友拜托他幫的小忙，最后完成一份報(bào)告，得到了這位好朋友及其父親的肯定。這對付杰的鼓勵(lì)很大，他開始覺得自己「好像不是個(gè)徹底的廢物」了。

那年暑假，朋友回國，飛到武漢與付杰見了一面，帶他飛。在一番大手筆的吃喝玩樂之中，付杰深感震撼，時(shí)時(shí)感嘆有錢人的生活實(shí)在是他難以想象的。

后來，付杰提出想跟這位朋友做生意。他計(jì)劃先賺上足夠多的錢，然后自己設(shè)立一個(gè)研究院去做學(xué)術(shù)研究。這個(gè)想法在今天的付杰看來當(dāng)然是很幼稚的，但「幼稚」或許是另一種「信念感」的體現(xiàn)，正如他一路走來做過的許多「幼稚」選擇一樣。

那段時(shí)間，付杰請了一周的假，每天晚上跟著朋友去應(yīng)酬，在金錢帶來的快樂體驗(yàn)之外，他慢慢發(fā)覺有些不對勁：「我發(fā)現(xiàn)做生意搞應(yīng)酬很麻煩的。他還教我抽煙喝酒，我就覺得不舒服，感覺我不適合成天應(yīng)酬，覺得不開心?！?/p>

最后，他跟好朋友說自己不適合做生意，想要重新回到校園中，將來去讀個(gè)博士。朋友的態(tài)度無比支持，跟他說：「你盡管去試，哥們支持你」。受到朋友的鼓勵(lì)，付杰就真的去參加了國內(nèi)的研究生考試。

4 趕上深度學(xué)習(xí)的早班車

走到人生的25歲，付杰開始讀他的第一個(gè)碩士。

當(dāng)時(shí)付杰還沒有出國留學(xué)的想法，考研的原因一是父母的期望，二是有了碩士學(xué)歷可以評高級職稱來提高工作待遇。同時(shí)，他還對做學(xué)術(shù)研究懷有著信念，因此讀研時(shí)也報(bào)考了計(jì)算機(jī)專業(yè)。

2008年的考研人數(shù)與往年比有所下降，研究所的競爭也沒有普通高校那么激烈，再加上這次付出了足夠的努力，付杰最后上了岸。

由于自己的基礎(chǔ)太差，在很長一段時(shí)間里，付杰每天斷網(wǎng)看書，花了大把時(shí)間去補(bǔ)回本科時(shí)欠下的「學(xué)術(shù)債」。

讀研的第二年，付杰的又一次「命中注定」的機(jī)遇到來。某天，正在逛校內(nèi)網(wǎng)的付杰被眼前的一條帖子吸引住了：

「你們知道有個(gè)東西叫做深度學(xué)習(xí)嗎？」

這是2010年。付杰第一次聽說深度學(xué)習(xí)的概念。彼時(shí)，深度學(xué)習(xí)還尚未成為人工智能研究的主流技術(shù)，兩年以后，深度神經(jīng)網(wǎng)絡(luò)AlexNet在ImageNet挑戰(zhàn)賽上一舉成名，才宣告了新一輪人工智能浪潮的開始。

但正是在校內(nèi)網(wǎng)上這不經(jīng)意的一瞥，改變了付杰以后的學(xué)術(shù)人生。讀研期間，他真的開始了科研的摸索。雖然沒有深入探討，但他很早就形成了對深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的認(rèn)知。

讀研期間，付杰產(chǎn)生了繼續(xù)讀博深造的想法，并且堅(jiān)定地想要出國。

曾經(jīng)的那句「你不夠強(qiáng)」，在幾年之后仍然如一道陰影籠罩在付杰心頭。他不斷地想：「如果變強(qiáng)會(huì)怎么樣？」

研二的時(shí)候，付杰開始備考英語，嘗試申請國外的博士項(xiàng)目。當(dāng)時(shí)出國留學(xué)的人并不多，付杰能獲得的資源也有限，他在寄托論壇上搜索留學(xué)申請的相關(guān)信息，二本背景的申請案例寥寥無幾，付杰決定先考出托福和GRE分?jǐn)?shù)再說。同時(shí)，付杰有一個(gè)在澳大利亞讀碩士的高中同學(xué)，他愿意幫付杰聯(lián)系學(xué)校里的一個(gè)教授，所以學(xué)校方面算是暫時(shí)有一個(gè)奔頭。

然而，這次申請并不順利，所有學(xué)校都拒絕了付杰。一位教授的回復(fù)郵件中甚至只有一句話：“The chance of accepting you as our student is zero.”（你被我們錄取為學(xué)生的幾率是零。）付杰打開郵件的那一刻直接破防，哭了很久。當(dāng)時(shí)，他暗暗對自己說，如果有一天自己成了教授，一定要給予任何申請者足夠的尊重。

這或許與付杰的學(xué)歷背景有關(guān)。他所就讀的研究所類似于公司里的下屬研究機(jī)構(gòu)，畢竟不同于普通的大學(xué)，不太被國外大學(xué)所認(rèn)可。即使付杰表明愿意自費(fèi)讀博，也都沒有得到回應(yīng)。

沒有辦法，付杰只得重新再讀一個(gè)碩士。

這個(gè)選擇當(dāng)時(shí)并不被父母看好，畢竟是條少有人會(huì)走的路，付杰自己心里也很沒底，但他心意已定。最終付杰申請到了新西蘭奧塔哥大學(xué)（University of Otago）的一年制碩士。那位澳大利亞的朋友也幫他聯(lián)系到一個(gè)學(xué)校，并且拿到了錄取Offer，但奧塔哥大學(xué)的排名更高，而且能為他提供一年10萬人民幣的獎(jiǎng)學(xué)金，所以付杰就選擇去新西蘭讀計(jì)算機(jī)。這筆獎(jiǎng)金，是28歲的付杰所拿到的人生第一筆獎(jiǎng)學(xué)金。

2011年7月，付杰第一次出國，飛往南太平洋。

由于已在國內(nèi)讀過碩士，付杰的導(dǎo)師 Brendan McCane 教授，給他免去了課程的學(xué)習(xí)，只需要寫出畢業(yè)論文即可獲得碩士學(xué)位。

圖注：Brendan McCane教授，付杰在奧塔哥大學(xué)的碩士導(dǎo)師

在申請碩士項(xiàng)目時(shí)，付杰的研究計(jì)劃是聚焦在深度學(xué)習(xí)上。在選擇碩士論文的題目時(shí)，他選擇了將深度學(xué)習(xí)與圖像結(jié)合起來。

當(dāng)時(shí)，他參與了導(dǎo)師組里的一個(gè)項(xiàng)目：對無人機(jī)航拍圖像進(jìn)行特征匹配（feature matching）。他們在用無人機(jī)在新西蘭上空拍攝了許多森林的圖片，希望設(shè)計(jì)算法將這些不同區(qū)域、不同高度的圖片整合成一張完整的大的圖片。圖像的特征匹配是圖像融合的預(yù)處理，匹配做得越精確，融合效果也就越好。由于拍攝時(shí)間和拍攝視角的不同，采集到的圖像存在差異，因此需要做特征匹配。

對于這樣的任務(wù)實(shí)現(xiàn)，付杰想：能不能利用深度學(xué)習(xí)自動(dòng)去設(shè)計(jì)算法，而不是去人工設(shè)計(jì)算法？

他決定去嘗試實(shí)現(xiàn)這個(gè)想法，但在當(dāng)時(shí)，深度學(xué)習(xí)在計(jì)算機(jī)社區(qū)的接受度并不高，也沒有太多可以交流的人，他幾乎是自己悶著頭做。最后文章投出，果然被拒，不過他的碩士導(dǎo)師還是給予了這個(gè)工作高度的肯定。最終，付杰的一年碩士以Distinction（優(yōu)秀）的學(xué)位等級成績和收到新加坡國立大學(xué)的讀博offer圓滿結(jié)束。（公眾號：雷峰網(wǎng)(公眾號：雷峰網(wǎng))）

5 元學(xué)習(xí)：一直失敗，從未放棄

「首先，你們給的獎(jiǎng)學(xué)金挺多的；第二，我想來這里見見我的前女友?！?/p>

在被面試官問到為什么選擇新加坡國立大學(xué)時(shí)，29歲的付杰給出了這樣的坦誠回答。

那時(shí)，九把刀的《那些年我們一起追過的女孩》正火，付杰被電影情節(jié)深深打動(dòng)。當(dāng)時(shí)，他得知初戀女友在新加坡，在收到新加坡國立大學(xué)的offer后?；孟脒@樣的局面：「去到女生的婚禮現(xiàn)場，當(dāng)神父問現(xiàn)場有沒有人反對時(shí)，我一定要喊出『我反對』?！?/p>

不過，在他去到新加坡后，他從其他朋友處偶然得知，女生已嫁為人婦。

那時(shí)已時(shí)隔多年，付杰在少年時(shí)代的遺憾也早已淡然。盡管有這樣幼稚的想象，但他再?zèng)]打擾過故人。

他沒有忘記想要讀博做研究的初衷，就是用人工智能來減少人類病痛。但讓付杰感到意外的是，在讀博的這五年，他的科研路上還是有著太多的失敗與阻礙。

2012年博士入學(xué)后，付杰輾轉(zhuǎn)換了好幾位導(dǎo)師。

他的博士項(xiàng)目原屬于“Graduate School for Integrative Sciences and Engineering”（集成科學(xué)與工程研究院），鼓勵(lì)交叉學(xué)科研究，可以同時(shí)選擇任何院系的多位教授作為導(dǎo)師。最開始他選擇的幾位導(dǎo)師都是做腦科學(xué)的，因?yàn)樗?dāng)年認(rèn)為深度學(xué)習(xí)應(yīng)該更多地從腦科學(xué)里借鑒，同時(shí)有一些項(xiàng)目是研究如何在早期識別老年癡呆?？上蛯?dǎo)師意見不合：有的導(dǎo)師只對腦科學(xué)感興趣，有的導(dǎo)師要求他學(xué)會(huì)自己去做生物實(shí)驗(yàn)（比如去學(xué)會(huì)養(yǎng)大鼠），而他希望把腦科學(xué)和深度學(xué)習(xí)結(jié)合，同時(shí)更偏向于深度學(xué)習(xí)研究。

最后，付杰找到了蔡達(dá)成教授（Tat-Seng Chua）作為博士導(dǎo)師，先集中研究深度學(xué)習(xí)。蔡達(dá)成本人在多媒體搜索研究領(lǐng)域享有盛名，雖然當(dāng)時(shí)還沒有涉足深度學(xué)習(xí)，好在蔡達(dá)成允許他自由探索深度學(xué)習(xí)。

圖注：新加坡國立大學(xué)蔡達(dá)成教授

但研究著研究著，他又慢慢對元學(xué)習(xí)產(chǎn)生了興趣。

元學(xué)習(xí)是一種讓機(jī)器「學(xué)會(huì)學(xué)習(xí)」（Leraning-to-learn）的通用性算法，目標(biāo)是讓機(jī)器具備類似人類解決問題的能力，從數(shù)據(jù)中學(xué)習(xí)并能將模型很好地泛化到差別較大的任務(wù)中。元學(xué)習(xí)的概念可以追溯到上世紀(jì)八十年代，LSTM之父Jürgen Schmidhuber在他的博士論文中提出self-referential learning模式，通過遺傳演化算法實(shí)現(xiàn)模型的自我學(xué)習(xí)和進(jìn)化。但直到最近幾年，元學(xué)習(xí)才真正引起人們的廣泛關(guān)注，比如Chelsea Finn、Pieter Abbeel和Sergey Levine在2017年提出的元學(xué)習(xí)算法MAML（Model-Agnostic Meta-Learning）。

盡管有一腔熱血，但現(xiàn)實(shí)卻是困難重重。與蔡達(dá)成帶的其他學(xué)生相比，付杰的進(jìn)度遠(yuǎn)遠(yuǎn)落后。其他學(xué)生的研究方向與實(shí)驗(yàn)室主方向一致，科研做得也比較順利。而在當(dāng)時(shí)元學(xué)習(xí)還未完全發(fā)展成熟的情況下，付杰幾乎就是孤身一人，且彼時(shí)的他也沒有學(xué)會(huì)積極需求與人合作交流。付杰回憶，當(dāng)時(shí)實(shí)驗(yàn)室里的人都覺得他有些太「孤傲」了。壓力、焦慮、失敗，充斥了他讀博的前三年經(jīng)歷，他甚至一度想要退學(xué)、重新申請一個(gè)博士。

但無論有多少沮喪，他都沒有想過換一個(gè)研究方向，他對元學(xué)習(xí)這條路的選擇非常堅(jiān)定：「我就要做元學(xué)習(xí)，我覺得這個(gè)東西對整個(gè)深度學(xué)習(xí)領(lǐng)域是會(huì)有影響的?！?/p>

在后來與AI科技評論的交談中，他總結(jié)，自己當(dāng)時(shí)的確忽視了做研究所必需的一些外部條件，對自己所做工作的可行性也沒有全面的考慮。

當(dāng)時(shí)，付杰甚至沒有服務(wù)器可用，只好去「賣身」，找到一家正在招實(shí)習(xí)生的電信公司，跟對方一番「畫大餅」，說服他們?yōu)樽约禾峁┭芯抠Y金和服務(wù)器，而他去實(shí)習(xí)可以幫他們做網(wǎng)絡(luò)安全方面的東西。

就這樣，付杰在多重阻礙中艱難行進(jìn)，最后勉強(qiáng)做出了一點(diǎn)成果，比如“DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks”這篇論文，被IJCAI 2016錄取。

論文地址：https://arxiv.org/pdf/1601.00917.pdf

深度神經(jīng)網(wǎng)絡(luò)的性能對其參數(shù)的設(shè)置非常敏感，當(dāng)時(shí)的深度學(xué)習(xí)也主要是依靠調(diào)參來獲得性能提升，付杰設(shè)想利用元學(xué)習(xí)對參數(shù)進(jìn)行自動(dòng)地調(diào)優(yōu)。這項(xiàng)工作針對深度神經(jīng)網(wǎng)絡(luò)中連續(xù)參數(shù)的優(yōu)化問題，提出了一種高存儲(chǔ)效率的超參數(shù)優(yōu)化方法——蒸餾逆模式自動(dòng)微分法（DrMAD），大大縮短了超參數(shù)的優(yōu)化時(shí)間，是第一個(gè)實(shí)現(xiàn)對數(shù)千個(gè)深度神經(jīng)網(wǎng)絡(luò)超參數(shù)進(jìn)行自動(dòng)調(diào)優(yōu)的研究。

但與很多學(xué)術(shù)牛人耀眼的學(xué)術(shù)履歷相比，付杰讀博的這五年可以說是平庸，別人是做一樣成功一樣，而付杰卻「做了好幾次都做不好」。大多數(shù)時(shí)候，他都處于懵懂的探索當(dāng)中，不知怎么做才是正確的，只是硬著頭皮去做。

他回頭反思那時(shí)的自己：一方面是因?yàn)樽约旱膶W(xué)習(xí)方法存在問題，很少和別人交流合作，因此比別人徘徊在門外的時(shí)間要久很多；另一方面，是因?yàn)樽约簭囊婚_始就選擇了一條更難的道路。如今的付杰承認(rèn)，自己當(dāng)初選錯(cuò)了方向，但錯(cuò)的不是元學(xué)習(xí)本身，而是主觀愿望與外界條件的不匹配。

「你想研究一個(gè)重要的問題，這沒有錯(cuò)，但是你得想象一下你自己的知識儲(chǔ)備，你的強(qiáng)項(xiàng)在什么地方，看一看當(dāng)前這個(gè)社會(huì)能給你提供的理論工具、硬件工具有哪些，你再看是不是自己稍微夠一夠就能解決一個(gè)大問題的其中一個(gè)重要的小問題，而且可以沿著這個(gè)繼續(xù)往下做直至解決大問題，而不是死了命一定要把這個(gè)問題在當(dāng)前這個(gè)時(shí)間節(jié)點(diǎn)給解決掉。時(shí)機(jī)沒有成熟，不是你一個(gè)人努力可以做到的。有點(diǎn)類似2021年ACM Communications上的The Hardware Lottery里的觀點(diǎn)，有一些研究方案可能并不是因?yàn)樗鼈內(nèi)鎯?yōu)于另外的競爭方案，而可能是因?yàn)樗鼈兣c當(dāng)時(shí)的軟硬件環(huán)境更加適配。」可惜當(dāng)時(shí)的付杰并沒有意識到這一點(diǎn)，浪費(fèi)了許多時(shí)間。

然而，如果要問任何一個(gè)望從事AI研究的低年級學(xué)生能從付杰的這五年中學(xué)到些什么的話，那便是他從未想過放棄。最困難的時(shí)候，他想的也是再去讀一個(gè)博士。在群星閃耀的 AI 領(lǐng)域，像付杰這樣的故事很少被看見，可能是因?yàn)閭€(gè)體在與社會(huì)博弈的過程中暫時(shí)認(rèn)輸而中途離場。

6 回到最初的夢想

2017年，博士畢業(yè)的付杰原本打算直接找一份工作。他當(dāng)時(shí)投了國內(nèi)多家公司的 AI lab，但沒有得到任何回應(yīng)。他自覺還是因?yàn)樽约耗芰Σ粔?，所以決定申請加拿大MILA（Montreal Institute for Learning Algorithms）實(shí)驗(yàn)室的博士后。

「2017年初的時(shí)候，申請 MILA 博士后的人還沒有特別多。我的運(yùn)氣很好：如果再晚一點(diǎn)，我應(yīng)該是申請不到的?！垢督苷f道。

該實(shí)驗(yàn)室由2018年圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一Yoshua Bengio 教授設(shè)立和領(lǐng)導(dǎo)，在語言建模、機(jī)器翻譯、對象識別和生產(chǎn)模型等領(lǐng)域享譽(yù)國際。付杰師從實(shí)驗(yàn)室的Christopher Pal教授（他的博士導(dǎo)師Brendan Frey師從Geoffrey Hinton，后來創(chuàng)立了Deep Genomics公司），做了三年多的博士后研究，主要方向是自然語言處理。

圖注：MILA實(shí)驗(yàn)室Christopher Pal教授

在博后期間，付杰一開始還是想繼續(xù)做元學(xué)習(xí)的研究。但是，他又失敗了一次。2017年，他沒有出新成果。到了2018年，付杰覺得自己一定要發(fā)表出文章來，畢竟還要靠成果「吃飯」，于是開始轉(zhuǎn)向自然語言處理方向。

同時(shí)轉(zhuǎn)變的，還有付杰對待科研的態(tài)度：

「做研究應(yīng)該是應(yīng)該是慢慢地、一點(diǎn)一點(diǎn)地往前面走，而不是一定要做一個(gè)特別大的一個(gè)項(xiàng)目，那樣一旦失敗的話，壓力會(huì)很大，而且其實(shí)也就證明那個(gè)方式是不對的?！惯@時(shí)的付杰在做學(xué)術(shù)研究方面的確「長大」了許多。

而且，付杰開始更多地和人展開交流與合作。MILA實(shí)驗(yàn)室也非常鼓勵(lì)合作，大家在辦公室的座位都可以自由選擇以方便科研交流。付杰的狀態(tài)一路向好，終于在2019年開始迎來科研的曙光。

他在NLP領(lǐng)域順利地做出了一些成果，如在2019年被ACL錄取的論文中（“Interactive Machine Comprehension with Information Seeking Agents”），付杰與合作者將機(jī)器閱讀理解模型的數(shù)據(jù)集重構(gòu)為交互的、部分可觀察的環(huán)境，來將其更好地?cái)U(kuò)展到Web級別的信息檢索和問答場景中。付杰與合作者的另一篇被ACL 2020接收的論文（“Rikinet: Reading Wikipedia Pages for Natural Question Answering”），旨在解決通過閱讀長文檔來回答開放性問題的難題，團(tuán)隊(duì)提出RikiNet模型，它可以讀取維基百科頁面來回答問題，并取得了很好的測試結(jié)果。付杰還有一篇合作論文被ICLR 2021接收（“CoCon: A Self-Supervised Approach for Controlled Text Generation”），介紹了一種語言模型生成文本內(nèi)容控制器CoCon，能夠在細(xì)粒度級別上用目標(biāo)內(nèi)容控制語言模型所輸出文本的高級屬性（如情感和主題）。

相關(guān)論文地址：

https://arxiv.org/pdf/1908.10449.pdfhttps://arxiv.org/pdf/2004.14560.pdf

https://arxiv.org/pdf/2006.03535.pdf

2021年，付杰迎來了「高光時(shí)刻」——他和其他合作者投稿的一篇關(guān)于超復(fù)雜乘法模型的論文，從860篇論文中脫穎而出，獲得了ICLR 2021杰出論文獎(jiǎng)。

為了解決超復(fù)雜空間的有限預(yù)定義維度所帶來的超復(fù)雜乘法模型的靈活性限制，他們提出一種對超參數(shù)乘法進(jìn)行參數(shù)化的方法，使得模型能夠從數(shù)據(jù)中學(xué)習(xí)乘法規(guī)則，而無需考慮其是否被預(yù)先定義。該方法不僅包含漢密爾頓積，而且還能在任意維度的超復(fù)雜空間上運(yùn)行。

論文地址：https://arxiv.org/pdf/2102.08597.pdf

自2021年1月起，付杰開始師從Yoshua Bengio教授繼續(xù)博士后研究。

圖注：2018年圖靈獎(jiǎng)得主Yoshua Bengio教授

付杰與Bengio的合作集中在人工智能輔助藥物發(fā)現(xiàn)領(lǐng)域。Bengio在近幾年開始關(guān)注用深度學(xué)習(xí)解決藥物發(fā)現(xiàn)問題，比如發(fā)現(xiàn)對癌細(xì)胞系具有活性的高度協(xié)同藥物組合，蛋白質(zhì)和DNA序列等從頭分子的設(shè)計(jì)（de novo molecular design）等。

從2021年年初直至最近，Bengio的研究精力一半都放在了制藥上。這里還有個(gè)小插曲：付杰2019年就聯(lián)系Bengio希望跟他從事博士后研究，但是被拒絕了。1年之后，付杰認(rèn)真修改了博士后研究計(jì)劃，這一次Bengio終于同意了。而且他的第一位博士后導(dǎo)師Chris Pal還積極聯(lián)系Bengio，為付杰寫推薦信，同時(shí)在Bengio拒絕之后依然為付杰提供了后續(xù)的博士后經(jīng)費(fèi)。

在選擇導(dǎo)師這件事情上，付杰認(rèn)為自己是非常幸運(yùn)的。他的每一位導(dǎo)師對待學(xué)生都非常用心，認(rèn)真為學(xué)生著想：「我也一直努力要把這種跟學(xué)生相處的模式傳承下去?！?/p>

目前，付杰已經(jīng)發(fā)表了兩篇藥物發(fā)現(xiàn)相關(guān)的論文，具體旨在解決生物序列設(shè)計(jì)的問題。在“Biological Sequence Design with GFlowNets”這篇論文中，付杰與合作者拓展了Bengio及其團(tuán)隊(duì)在2021年提出的GFlowNets算法，作為設(shè)計(jì)從頭生物序列（de novo biological sequences）的不同候選解決方案的生成器，并提出一種方案合并現(xiàn)有的候選標(biāo)記數(shù)據(jù)集，以加快GFlowNets的學(xué)習(xí)速度。與現(xiàn)有方法相比，他們的方法能夠產(chǎn)生更多樣化和高得分的候選批次。這篇論文被ICML 2022接收。

論文地址：https://arxiv.org/pdf/2203.04115.pdf

付杰與其他合作者的另一篇論文“Unifying Likelihood-free Inference with Black-box Sequence Design and Beyond”被ICLR 2022接收。這項(xiàng)工作構(gòu)建了一個(gè)概率框架，將無似然推理（Likelihood-free Inference）和黑盒序列設(shè)計(jì)（Black-box Sequence Design）進(jìn)行統(tǒng)一，并提出在該框架下構(gòu)建各種序列設(shè)計(jì)方法的方案，從而對以往的藥物發(fā)現(xiàn)方法實(shí)現(xiàn)了改進(jìn)。

論文地址：https://arxiv.org/pdf/2110.03372.pdf

兜兜轉(zhuǎn)轉(zhuǎn)，付杰終于回到了自己最初的夢想：成為一名科學(xué)家，幫助人類減少病痛、延長壽命。這個(gè)兒時(shí)的夢想雖然過了很久才實(shí)現(xiàn)，但還不晚。

對于已經(jīng)發(fā)表的成果，付杰非常謙虛地表示：「這兩篇文章其實(shí)距離真正的藥物發(fā)現(xiàn)還有很長的一段距離，這些機(jī)器學(xué)習(xí)算法僅僅是被用到了一個(gè)虛擬的環(huán)境。它生成的比較好，但是這跟現(xiàn)實(shí)的環(huán)境相差依然很大?！?/p>

無論是跟了Bengio，還是獲得杰出論文獎(jiǎng)，或者是其他的名氣、榮譽(yù)，付杰都不將其歸因于自己的能力，他認(rèn)為自己現(xiàn)在的能力還很弱。

現(xiàn)在，付杰已學(xué)成歸國，在北京市智源人工智能研究院擔(dān)任研究員，但他卻把自己定位成「一個(gè)比較好的學(xué)校的博士二年級學(xué)生」。直到現(xiàn)在，付杰也仍然感到自己并沒有摸索出怎樣才是一個(gè)好的研究者，他強(qiáng)調(diào)這不是在故意謙虛，但同時(shí)他也是樂觀的，因?yàn)樽约哼€有很多成長的空間。未來，總會(huì)慢慢趕上的。

為了保持健康和良好的工作狀態(tài)，付杰已經(jīng)徹底戒糖戒油炸高溫食品很多年了，甚至連米飯都戒掉了而只吃粗糧，每天堅(jiān)持輕斷食，吃大量的蔬菜和植物蛋白，堅(jiān)持適度鍛煉和冥想練習(xí)。

接下來，付杰還想做一件事，那就是將元學(xué)習(xí)與藥物發(fā)現(xiàn)結(jié)合起來，加速制藥過程。沒錯(cuò)，自身經(jīng)過無數(shù)「迭代」的付杰，如今對元學(xué)習(xí)再次充滿了信心：「雖然失敗了好幾次，但我還想再試一次」。

7 后記

付杰的故事寫到這里就暫時(shí)結(jié)束了，但付杰還在繼續(xù)書寫自己未來的人生。

精彩的故事可以是一種談資，一種成功者憑借「曲折離奇的身世」向大眾兜售自己的名片，但這樣的說法套在任何一個(gè)真正經(jīng)歷過黑暗的人身上都是殘忍的。

如付杰所說：「如果我能跟別人一樣順利進(jìn)入國內(nèi)外一流大學(xué)，我當(dāng)然愿意。我可做不到像漩渦鳴人那樣永遠(yuǎn)樂觀。在遭受一連串挫折的時(shí)候，我當(dāng)然也會(huì)陷入一段時(shí)期的低潮期，那種感覺并不好。我可能稍微在行的一點(diǎn)是可以比較快的恢復(fù)。」

讀故事的人，若能在這些回憶、剖白與反思中汲取一些力量，那便是故事的意義。

（公眾號：雷峰網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。