雷峰網(wǎng)消息：近日，亞馬遜機器學(xué)習部門原杰出科學(xué)家/VP Alex Smola與首席科學(xué)家李沐師徒二人已從亞馬遜離職，并且確立新去向：進軍大模型方向創(chuàng)業(yè)。此前兩個月，雷峰網(wǎng)與接近李沐師徒二人的 AI 行業(yè)人士交談，獲悉二人有離職打算。但直到今天，二人動態(tài)才最終確定。據(jù)微信公眾號“親愛的數(shù)據(jù)”消息，Alex Smola于2023年2月從亞馬遜離職后公布了新的創(chuàng)業(yè)項目——一家人工智能公司Boson.ai，擔任首席執(zhí)行官兼聯(lián)合創(chuàng)始人。其Linkedin資料也更新了新的公司信息。而其弟子李沐這次也再次追隨了導(dǎo)師的腳步。從李沐到卡內(nèi)基梅隆大學(xué)Alex Smola門下讀博開始，這兩位頂級AI科學(xué)家?guī)熗降能壽E就高度重合。2016年兩人就曾在深度學(xué)習落地潮中一同創(chuàng)業(yè)，如今在ChatGPT引起的新一輪AI大模型熱潮之際，兩人抓住機遇從大廠離職創(chuàng)業(yè)，新事業(yè)令人期待。
關(guān)于Boson.ai這家新公司，目前的公開資料還不多，Alex Smola簡短透露稱：“我們正在做一件大事……請保持關(guān)注。如果您想從事可擴展基礎(chǔ)模型方面的工作，請聯(lián)系我。”官網(wǎng)目前也在建設(shè)中，頁面顯示其創(chuàng)業(yè)方向為大模型。
Boson.ai 官網(wǎng)
李沐的公開資料還尚未顯示其最新動向，但他已在Github上親自創(chuàng)建了新公司的項目：
李沐的大學(xué)本科在上海交通大學(xué)ACM班度過。ACM班由總教頭俞勇領(lǐng)銜，旨在培養(yǎng)計算機科學(xué)家，匯聚了一群最聰明的年輕人。李沐2004年入學(xué)，在呂寶糧教授的實驗室學(xué)習，開始接觸人工智能。從大一開始，李沐就被周圍同學(xué)尊稱為“沐哥”，據(jù)他的室友李佐凡回憶，李沐有一股難以壓制的領(lǐng)袖氣場從內(nèi)而外地散發(fā)出來，讓人不禁仰視。2007年夏，李沐去微軟亞洲研究院實習，在互聯(lián)網(wǎng)搜索與挖掘組（WSM）和搜索技術(shù)中心（STC）受 Steve Macbeth指導(dǎo)（現(xiàn)在亞馬遜任CE技術(shù)總監(jiān)）。這是李沐與工業(yè)界的初次接觸。畢業(yè)后，李沐并沒有直接去業(yè)界找工作，當時計算機雖是社會上的熱門專業(yè)，但IT公司還沒有那么厲害，尤其是AI方面的技術(shù)還沒那么強。所以在2009年8月，李沐作為訪問學(xué)生到香港科技大學(xué)繼續(xù)深造，之后在那里繼續(xù)擔任研究助理。2011年，李沐嘗試申請了一次美國的博士項目，但當時拿到的offer里并沒有特別合適的導(dǎo)師。所以李沐選擇留在了國內(nèi)，北上投奔師兄戴文淵，在百度做廣告方面的工作。在百度的一年，李沐的主要工作是利用廣告數(shù)據(jù)訓(xùn)練能夠預(yù)測用戶點擊廣告率的模型。李沐從中積累了不少工業(yè)界經(jīng)驗，也為他后來開發(fā)機器學(xué)習系統(tǒng)的長久事業(yè)開了一個頭。李沐后來在回顧百度的這段經(jīng)歷時也說到，在百度“遇到的很多問題成為了之后研究方向的來源，當時深度學(xué)習剛出來，冥冥中覺得應(yīng)該是大規(guī)模機器學(xué)習的未來”。一年后，李沐決定再次踏上求學(xué)之路。在百度的經(jīng)歷讓他清楚了自己的研究短板，而當時國內(nèi)的機器學(xué)習系統(tǒng)并不發(fā)達，選擇他選擇了CMU和MIT兩所美國學(xué)校，把之前的博士申請材料重新寄了一遍，結(jié)果很順利地拿到了CMU的offer。某次，李沐在百度的食堂與余凱、張潼一同就餐，談到去CMU讀博，余凱和張潼就建議他去Alex Smola教授門下，并寫了一封推薦信過去。李沐去CMU讀博的前半年，Alex還在谷歌工作，由于經(jīng)費不足，就找來另一位做分布式系統(tǒng)的教授Dave Andersen一同指導(dǎo)李沐。在博士第一年結(jié)束的暑假，李沐去谷歌實習，主要在研究內(nèi)部代碼和文檔，了解了谷歌的基礎(chǔ)架構(gòu)，開了眼界。當時Google Brain成立不久，李沐在那里見識了Jeff Dean、Geoffrey Hinton等大牛。博士第二年，李沐實現(xiàn)了一個通用的分布式機器學(xué)習框架，即Parameter Server（論文：Parameter Server for Distributed Machine Learning）。該框架一開始的目的是為了做實驗更方便，李沐花了大量時間去設(shè)計接口，做了多個版本實現(xiàn)，還做了一些工業(yè)界級別的大規(guī)模實驗。最后，這項工作發(fā)表在了機器學(xué)習系統(tǒng)領(lǐng)域的頂會OSDI上。Parameter Server后來還合并到了MXNet項目中。李沐對深度學(xué)習的接觸并非起于在CMU的博士研究，而是在國內(nèi)的百度見證了深度學(xué)習的火熱。時任百度深度學(xué)習研究院（IDL）副院長的余凱是他的引路人。當時，余凱正在百度推動深度學(xué)習，啟動了“少帥計劃”以吸引優(yōu)秀的年輕AI人才。李沐入選該計劃，并“入坑”深度學(xué)習。也是在余凱的建議下，李沐開始醞釀做一個深度學(xué)習開源平臺。回到CMU，李沐先是繼續(xù)做Parameter Server項目，寫了許多代碼，并幫助用戶使用這些代碼。但遇到不少困難，比如由于忽視代碼的易讀性，導(dǎo)致只有少部分人能理解代碼從而做一些開發(fā)，再者，沒有人能一起審核代碼接口，導(dǎo)致這些接口個人風格強烈，但很難做到對所有人都簡單明了。幸運的是，李沐發(fā)現(xiàn)了當時在華盛頓大學(xué)讀博的陳天奇，當時陳天奇在做XGBoost項目。兩人交流以后，發(fā)現(xiàn)很多基礎(chǔ)部件是可以多個項目共同使用的，而不是每個項目都造一個輪子。于是，李沐與陳天奇在Github上創(chuàng)建了DMLC（Distributed Machine Learning Community）組織。MXNet項目也在這個組織中很快啟動。李沐將三個不同的開源項目合并到了一起，分別是由在美國的陳天奇的CXXNet，張錚及其學(xué)生王敏捷牽頭的Minerva，以及顏水成學(xué)生林敏牽頭的purine2，最終創(chuàng)建了MXNet框架，并于2015年年底開源。
“參數(shù)服務(wù)器之父”Alex SmolaAlex Smola是國際機器學(xué)習的知名科學(xué)家，此前在亞馬遜期間致力于構(gòu)建人工智能和機器學(xué)習工具。在分布式深度學(xué)習框架領(lǐng)域，他曾提出并行LDA（Latent Dirichlet Allocation）的框架，是參數(shù)服務(wù)器概念的最早來源。
Alex Smola于1996年在慕尼黑工業(yè)大學(xué)獲得碩士學(xué)位，曾在慕尼黑科技大學(xué)、帕維亞大學(xué)和霍姆德爾的AT&T 研究院學(xué)習物理學(xué)。1998年，他獲得柏林工業(yè)大學(xué)的計算機科學(xué)博士學(xué)位，先后去往柏林GMD 軟件工程和計算機體系結(jié)構(gòu)研究所和澳大利亞國立大學(xué)信息科學(xué)與工程研究院工作。2004年，他在NICTA的統(tǒng)計機器學(xué)習項目中擔任高級首席研究員和項目負責人，2008年起入職雅虎研究院。2012年春至2014年底，Alex Smola在谷歌研究院工作，中間從2013年起，他開始擔任CMU的教授，指導(dǎo)李沐，后來于2016年加入AWS。2016年李沐準備從CMU博士畢業(yè)，那段時期深度學(xué)習的落地十分火熱，科學(xué)家紛紛從學(xué)術(shù)界去往工業(yè)界，各種巨資收購初創(chuàng)公司不斷。當時李沐在國內(nèi)的許多好友都紛紛創(chuàng)業(yè)，如余凱離開百度創(chuàng)立地平線，戴文淵從華為離開、創(chuàng)立第四范式。李沐也躍躍欲試，與兩位導(dǎo)師Alex和Dave以及Ash Munshi一起，創(chuàng)立了公司Marianas Labs，李沐出任CTO。中途，Dave離開公司，去了谷歌與Jeff Dean一起做Tensorflow。之后，公司的項目果然被一個小上市公司看中，就將公司賣了出去。但后來他們認為這家公司不靠譜，就考慮不再合作，另做打算。當時的Alex在陽谷縣（SunnyVale）買了房，有還貸的經(jīng)濟壓力，于是選擇去了亞馬遜，擔任AWS副總裁級別科學(xué)家（Distinguished Scientist），從CMU重返工業(yè)界。所以，這次短暫的、并不算很成功的創(chuàng)業(yè)之旅就此終止，李沐也總結(jié)了一些教訓(xùn)和經(jīng)驗：團隊和技術(shù)強是一方面，更重要的是要把產(chǎn)品做好。在這時，李沐收到了Jeff Dean從谷歌拋來的橄欖枝。機會很誘人，但李沐考慮到MXNet的后續(xù)發(fā)展，覺得去亞馬遜是更好的選擇，“自己挖的坑，總是要自己填的”。李沐便追隨導(dǎo)師Alex，以兼職的身份去了亞馬遜，直接向Alex匯報，帶著一些人做MXNet的開發(fā)和AWS上深度學(xué)習的應(yīng)用。隨后，李沐完成博士學(xué)位后，于2016年7月正式加入亞馬遜AWS。亞馬遜的人工智能部門彼時剛剛成立，對深度學(xué)習框架正有著強烈的需求。李沐的新目標不再僅僅是深度學(xué)習框架的研發(fā)，還包括讓框架更好地服務(wù)用戶。在他看來，分布式系統(tǒng)最難的不是如何讓每個機器計算的多快，而是機器之間的通訊，如何減少通訊提升交互效率，對系統(tǒng)來說也至關(guān)重要。2016年11月，MXNet被亞馬遜選為官方開源平臺，這對于MXNet和李沐而言是一次重大勝利。起初李沐因為想要填MXNet的“坑”而追隨導(dǎo)師加入亞馬遜，六年多來也主要圍繞MXnet展開工作，如今看來他已找到了待發(fā)掘的“新坑”。而對于Alex Smola而言，上一次的短暫創(chuàng)業(yè)因為背負房貸壓力而終止，這次他與弟子再次創(chuàng)業(yè)，想必房貸的經(jīng)濟壓力早已解決，也有足夠的資本來投身燒錢的大模型領(lǐng)域。當下大模型的火熱對人才的吸引力巨大，AI 科學(xué)家離開大廠、創(chuàng)業(yè)入局ChatGPT已成趨勢，期待李沐與Alex Smola師徒在這一賽道上的新動作。參考鏈接：
https://mp.weixin.qq.com/s/EEUDKjcEgvD1lGWCXHI36w
https://alex.smola.org/
https://zhuanlan.zhihu.com/p/25099638
https://mp.weixin.qq.com/s/GIkUsPZDsCs3PpZVYXnB_w更多內(nèi)容，點擊下方關(guān)注：
未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！
公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
