雷峰網(wǎng)消息：近日，亞馬遜機(jī)器學(xué)習(xí)部門原杰出科學(xué)家/VP Alex Smola與首席科學(xué)家李沐師徒二人已從亞馬遜離職，并且確立新去向：進(jìn)軍大模型方向創(chuàng)業(yè)。此前兩個(gè)月，雷峰網(wǎng)與接近李沐師徒二人的 AI 行業(yè)人士交談，獲悉二人有離職打算。但直到今天，二人動(dòng)態(tài)才最終確定。據(jù)微信公眾號(hào)“親愛(ài)的數(shù)據(jù)”消息，Alex Smola于2023年2月從亞馬遜離職后公布了新的創(chuàng)業(yè)項(xiàng)目——一家人工智能公司Boson.ai，擔(dān)任首席執(zhí)行官兼聯(lián)合創(chuàng)始人。其Linkedin資料也更新了新的公司信息。而其弟子李沐這次也再次追隨了導(dǎo)師的腳步。從李沐到卡內(nèi)基梅隆大學(xué)Alex Smola門下讀博開始，這兩位頂級(jí)AI科學(xué)家?guī)熗降能壽E就高度重合。2016年兩人就曾在深度學(xué)習(xí)落地潮中一同創(chuàng)業(yè)，如今在ChatGPT引起的新一輪AI大模型熱潮之際，兩人抓住機(jī)遇從大廠離職創(chuàng)業(yè)，新事業(yè)令人期待。
關(guān)于Boson.ai這家新公司，目前的公開資料還不多，Alex Smola簡(jiǎn)短透露稱：“我們正在做一件大事……請(qǐng)保持關(guān)注。如果您想從事可擴(kuò)展基礎(chǔ)模型方面的工作，請(qǐng)聯(lián)系我。”官網(wǎng)目前也在建設(shè)中，頁(yè)面顯示其創(chuàng)業(yè)方向?yàn)榇竽Ｐ汀?/span>
Boson.ai 官網(wǎng)
李沐的公開資料還尚未顯示其最新動(dòng)向，但他已在Github上親自創(chuàng)建了新公司的項(xiàng)目：
深度學(xué)習(xí)框架開創(chuàng)者李沐
李沐的大學(xué)本科在上海交通大學(xué)ACM班度過(guò)。ACM班由總教頭俞勇領(lǐng)銜，旨在培養(yǎng)計(jì)算機(jī)科學(xué)家，匯聚了一群最聰明的年輕人。李沐2004年入學(xué)，在呂寶糧教授的實(shí)驗(yàn)室學(xué)習(xí)，開始接觸人工智能。從大一開始，李沐就被周圍同學(xué)尊稱為“沐哥”，據(jù)他的室友李佐凡回憶，李沐有一股難以壓制的領(lǐng)袖氣場(chǎng)從內(nèi)而外地散發(fā)出來(lái)，讓人不禁仰視。2007年夏，李沐去微軟亞洲研究院實(shí)習(xí)，在互聯(lián)網(wǎng)搜索與挖掘組（WSM）和搜索技術(shù)中心（STC）受 Steve Macbeth指導(dǎo)（現(xiàn)在亞馬遜任CE技術(shù)總監(jiān)）。這是李沐與工業(yè)界的初次接觸。畢業(yè)后，李沐并沒(méi)有直接去業(yè)界找工作，當(dāng)時(shí)計(jì)算機(jī)雖是社會(huì)上的熱門專業(yè)，但I(xiàn)T公司還沒(méi)有那么厲害，尤其是AI方面的技術(shù)還沒(méi)那么強(qiáng)。所以在2009年8月，李沐作為訪問(wèn)學(xué)生到香港科技大學(xué)繼續(xù)深造，之后在那里繼續(xù)擔(dān)任研究助理。2011年，李沐嘗試申請(qǐng)了一次美國(guó)的博士項(xiàng)目，但當(dāng)時(shí)拿到的offer里并沒(méi)有特別合適的導(dǎo)師。所以李沐選擇留在了國(guó)內(nèi)，北上投奔師兄戴文淵，在百度做廣告方面的工作。在百度的一年，李沐的主要工作是利用廣告數(shù)據(jù)訓(xùn)練能夠預(yù)測(cè)用戶點(diǎn)擊廣告率的模型。李沐從中積累了不少工業(yè)界經(jīng)驗(yàn)，也為他后來(lái)開發(fā)機(jī)器學(xué)習(xí)系統(tǒng)的長(zhǎng)久事業(yè)開了一個(gè)頭。李沐后來(lái)在回顧百度的這段經(jīng)歷時(shí)也說(shuō)到，在百度“遇到的很多問(wèn)題成為了之后研究方向的來(lái)源，當(dāng)時(shí)深度學(xué)習(xí)剛出來(lái)，冥冥中覺(jué)得應(yīng)該是大規(guī)模機(jī)器學(xué)習(xí)的未來(lái)”。一年后，李沐決定再次踏上求學(xué)之路。在百度的經(jīng)歷讓他清楚了自己的研究短板，而當(dāng)時(shí)國(guó)內(nèi)的機(jī)器學(xué)習(xí)系統(tǒng)并不發(fā)達(dá)，選擇他選擇了CMU和MIT兩所美國(guó)學(xué)校，把之前的博士申請(qǐng)材料重新寄了一遍，結(jié)果很順利地拿到了CMU的offer。某次，李沐在百度的食堂與余凱、張潼一同就餐，談到去CMU讀博，余凱和張潼就建議他去Alex Smola教授門下，并寫了一封推薦信過(guò)去。李沐去CMU讀博的前半年，Alex還在谷歌工作，由于經(jīng)費(fèi)不足，就找來(lái)另一位做分布式系統(tǒng)的教授Dave Andersen一同指導(dǎo)李沐。在博士第一年結(jié)束的暑假，李沐去谷歌實(shí)習(xí)，主要在研究?jī)?nèi)部代碼和文檔，了解了谷歌的基礎(chǔ)架構(gòu)，開了眼界。當(dāng)時(shí)Google Brain成立不久，李沐在那里見(jiàn)識(shí)了Jeff Dean、Geoffrey Hinton等大牛。博士第二年，李沐實(shí)現(xiàn)了一個(gè)通用的分布式機(jī)器學(xué)習(xí)框架，即Parameter Server（論文：Parameter Server for Distributed Machine Learning）。該框架一開始的目的是為了做實(shí)驗(yàn)更方便，李沐花了大量時(shí)間去設(shè)計(jì)接口，做了多個(gè)版本實(shí)現(xiàn)，還做了一些工業(yè)界級(jí)別的大規(guī)模實(shí)驗(yàn)。最后，這項(xiàng)工作發(fā)表在了機(jī)器學(xué)習(xí)系統(tǒng)領(lǐng)域的頂會(huì)OSDI上。Parameter Server后來(lái)還合并到了MXNet項(xiàng)目中。李沐對(duì)深度學(xué)習(xí)的接觸并非起于在CMU的博士研究，而是在國(guó)內(nèi)的百度見(jiàn)證了深度學(xué)習(xí)的火熱。時(shí)任百度深度學(xué)習(xí)研究院（IDL）副院長(zhǎng)的余凱是他的引路人。當(dāng)時(shí)，余凱正在百度推動(dòng)深度學(xué)習(xí)，啟動(dòng)了“少帥計(jì)劃”以吸引優(yōu)秀的年輕AI人才。李沐入選該計(jì)劃，并“入坑”深度學(xué)習(xí)。也是在余凱的建議下，李沐開始醞釀做一個(gè)深度學(xué)習(xí)開源平臺(tái)。回到CMU，李沐先是繼續(xù)做Parameter Server項(xiàng)目，寫了許多代碼，并幫助用戶使用這些代碼。但遇到不少困難，比如由于忽視代碼的易讀性，導(dǎo)致只有少部分人能理解代碼從而做一些開發(fā)，再者，沒(méi)有人能一起審核代碼接口，導(dǎo)致這些接口個(gè)人風(fēng)格強(qiáng)烈，但很難做到對(duì)所有人都簡(jiǎn)單明了。幸運(yùn)的是，李沐發(fā)現(xiàn)了當(dāng)時(shí)在華盛頓大學(xué)讀博的陳天奇，當(dāng)時(shí)陳天奇在做XGBoost項(xiàng)目。兩人交流以后，發(fā)現(xiàn)很多基礎(chǔ)部件是可以多個(gè)項(xiàng)目共同使用的，而不是每個(gè)項(xiàng)目都造一個(gè)輪子。于是，李沐與陳天奇在Github上創(chuàng)建了DMLC（Distributed Machine Learning Community）組織。MXNet項(xiàng)目也在這個(gè)組織中很快啟動(dòng)。李沐將三個(gè)不同的開源項(xiàng)目合并到了一起，分別是由在美國(guó)的陳天奇的CXXNet，張錚及其學(xué)生王敏捷牽頭的Minerva，以及顏水成學(xué)生林敏牽頭的purine2，最終創(chuàng)建了MXNet框架，并于2015年年底開源。
“參數(shù)服務(wù)器之父”Alex SmolaAlex Smola是國(guó)際機(jī)器學(xué)習(xí)的知名科學(xué)家，此前在亞馬遜期間致力于構(gòu)建人工智能和機(jī)器學(xué)習(xí)工具。在分布式深度學(xué)習(xí)框架領(lǐng)域，他曾提出并行LDA（Latent Dirichlet Allocation）的框架，是參數(shù)服務(wù)器概念的最早來(lái)源。
Alex Smola于1996年在慕尼黑工業(yè)大學(xué)獲得碩士學(xué)位，曾在慕尼黑科技大學(xué)、帕維亞大學(xué)和霍姆德?tīng)柕腁T&T 研究院學(xué)習(xí)物理學(xué)。1998年，他獲得柏林工業(yè)大學(xué)的計(jì)算機(jī)科學(xué)博士學(xué)位，先后去往柏林GMD 軟件工程和計(jì)算機(jī)體系結(jié)構(gòu)研究所和澳大利亞國(guó)立大學(xué)信息科學(xué)與工程研究院工作。2004年，他在NICTA的統(tǒng)計(jì)機(jī)器學(xué)習(xí)項(xiàng)目中擔(dān)任高級(jí)首席研究員和項(xiàng)目負(fù)責(zé)人，2008年起入職雅虎研究院。2012年春至2014年底，Alex Smola在谷歌研究院工作，中間從2013年起，他開始擔(dān)任CMU的教授，指導(dǎo)李沐，后來(lái)于2016年加入AWS。2016年李沐準(zhǔn)備從CMU博士畢業(yè)，那段時(shí)期深度學(xué)習(xí)的落地十分火熱，科學(xué)家紛紛從學(xué)術(shù)界去往工業(yè)界，各種巨資收購(gòu)初創(chuàng)公司不斷。當(dāng)時(shí)李沐在國(guó)內(nèi)的許多好友都紛紛創(chuàng)業(yè)，如余凱離開百度創(chuàng)立地平線，戴文淵從華為離開、創(chuàng)立第四范式。李沐也躍躍欲試，與兩位導(dǎo)師Alex和Dave以及Ash Munshi一起，創(chuàng)立了公司Marianas Labs，李沐出任CTO。中途，Dave離開公司，去了谷歌與Jeff Dean一起做Tensorflow。之后，公司的項(xiàng)目果然被一個(gè)小上市公司看中，就將公司賣了出去。但后來(lái)他們認(rèn)為這家公司不靠譜，就考慮不再合作，另做打算。當(dāng)時(shí)的Alex在陽(yáng)谷縣（SunnyVale）買了房，有還貸的經(jīng)濟(jì)壓力，于是選擇去了亞馬遜，擔(dān)任AWS副總裁級(jí)別科學(xué)家（Distinguished Scientist），從CMU重返工業(yè)界。所以，這次短暫的、并不算很成功的創(chuàng)業(yè)之旅就此終止，李沐也總結(jié)了一些教訓(xùn)和經(jīng)驗(yàn)：團(tuán)隊(duì)和技術(shù)強(qiáng)是一方面，更重要的是要把產(chǎn)品做好。在這時(shí)，李沐收到了Jeff Dean從谷歌拋來(lái)的橄欖枝。機(jī)會(huì)很誘人，但李沐考慮到MXNet的后續(xù)發(fā)展，覺(jué)得去亞馬遜是更好的選擇，“自己挖的坑，總是要自己填的”。李沐便追隨導(dǎo)師Alex，以兼職的身份去了亞馬遜，直接向Alex匯報(bào)，帶著一些人做MXNet的開發(fā)和AWS上深度學(xué)習(xí)的應(yīng)用。隨后，李沐完成博士學(xué)位后，于2016年7月正式加入亞馬遜AWS。亞馬遜的人工智能部門彼時(shí)剛剛成立，對(duì)深度學(xué)習(xí)框架正有著強(qiáng)烈的需求。李沐的新目標(biāo)不再僅僅是深度學(xué)習(xí)框架的研發(fā)，還包括讓框架更好地服務(wù)用戶。在他看來(lái)，分布式系統(tǒng)最難的不是如何讓每個(gè)機(jī)器計(jì)算的多快，而是機(jī)器之間的通訊，如何減少通訊提升交互效率，對(duì)系統(tǒng)來(lái)說(shuō)也至關(guān)重要。2016年11月，MXNet被亞馬遜選為官方開源平臺(tái)，這對(duì)于MXNet和李沐而言是一次重大勝利。起初李沐因?yàn)橄胍頜XNet的“坑”而追隨導(dǎo)師加入亞馬遜，六年多來(lái)也主要圍繞MXnet展開工作，如今看來(lái)他已找到了待發(fā)掘的“新坑”。而對(duì)于Alex Smola而言，上一次的短暫創(chuàng)業(yè)因?yàn)楸池?fù)房貸壓力而終止，這次他與弟子再次創(chuàng)業(yè)，想必房貸的經(jīng)濟(jì)壓力早已解決，也有足夠的資本來(lái)投身燒錢的大模型領(lǐng)域。當(dāng)下大模型的火熱對(duì)人才的吸引力巨大，AI 科學(xué)家離開大廠、創(chuàng)業(yè)入局ChatGPT已成趨勢(shì)，期待李沐與Alex Smola師徒在這一賽道上的新動(dòng)作。參考鏈接：
https://mp.weixin.qq.com/s/EEUDKjcEgvD1lGWCXHI36w
https://alex.smola.org/
https://zhuanlan.zhihu.com/p/25099638
https://mp.weixin.qq.com/s/GIkUsPZDsCs3PpZVYXnB_w更多內(nèi)容，點(diǎn)擊下方關(guān)注：
(公眾號(hào)：雷峰網(wǎng))旗下AI新媒體。聚焦AI前沿研究，關(guān)注AI工程落地。" data-from="2" data-index="0" data-origin_num="2142" data-isban="0" data-weui-theme="light" data-is_biz_ban="0" data-biz_account_status="0">
未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！
公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。
雷峰網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
