0
本文作者: 劉偉 | 2024-10-18 09:20 |
在阿里的歷史中,阿里媽媽和淘寶搜索事業(yè)部一直是極為獨(dú)特的存在。他們同根同源,都流淌著雅虎血脈,繼承了來自硅谷的先進(jìn)理念和工作模式,和以本土派為主的交易線,形成了風(fēng)格迥異的兩個流派。前者輕靈飄逸、天馬行空,后者沉穩(wěn)厚重、一步一個腳印,二者交織碰撞,共同造就了阿里兼具精英氣質(zhì)和江湖氣息的獨(dú)特魅力。
同時,阿里媽媽和淘寶搜索事業(yè)部也和而不同,屢次“交鋒”、幾經(jīng)分合,通過良性競爭攻克了無數(shù)技術(shù)高地,碰撞出了屬于阿里技術(shù)的黃金時代。在阿里后續(xù)的幾次技術(shù)大改造中,將淘寶先進(jìn)的廣告和搜索技術(shù)復(fù)制到其他業(yè)務(wù)線,一直是最重要的核心命題。
沈加翔、周靖人、徐盈輝、金榕、華先勝、司羅等淘寶搜索體系的頂級技術(shù)大牛,在將淘寶推向頂峰后,又匯聚在達(dá)摩院,筑就了阿里AI技術(shù)的最高峰;王志榮、李天民等另一些靈魂人物則在淘寶搜廣推技術(shù)的“復(fù)制”過程中,去到其他業(yè)務(wù)線扮演起了AI領(lǐng)軍人的角色,共同造就了阿里AI群峰聳峙的盛景??梢哉f,淘寶的搜廣推體系就是阿里AI技術(shù)人才的搖籃和黃埔軍校,成就了一代宗師。
在《阿里廣告的黃金時代:無線推薦大浪潮》一文中,我們回顧了阿里媽媽輝煌歷程中那些震撼人心的時刻,本文則試圖理清淘寶搜索事業(yè)部的發(fā)展脈絡(luò),并記錄下那些群星閃耀的瞬間。歡迎添加作者微信LW_PLUS交流討論。
2005年8月,一場足以載入中國互聯(lián)網(wǎng)史冊的商業(yè)并購案終于塵埃落定,阿里巴巴宣布收購雅虎中國的全部資產(chǎn)。
兩個月后,馬云在一次公開宣講中對這次并購做了解釋:在新阿里巴巴帝國中,旗下四家公司各自扮演不同的角色。老大是阿里巴巴;當(dāng)初為了防止eBay進(jìn)入老大的B2B領(lǐng)域搶地盤,于是搞了老二淘寶;為了解決支付手段和市場誠信問題,又做了老三支付寶;后來發(fā)現(xiàn)老大還需要一個得力幫手,就找了雅虎中國做搜索。
當(dāng)時,阿里巴巴——尤其是阿里巴巴的B2B業(yè)務(wù),是谷歌在中國的第一大客戶。谷歌上市前甚至專門派出高管前往杭州,以調(diào)查遙遠(yuǎn)的東方為什么有一個客戶對它需求如此之大。
阿里對搜索的需求如此龐大,馬云自然希望將相關(guān)技術(shù)牢牢掌握在自己手中,于是便有了對雅虎中國的收購。
完成并購后,阿里巴巴的戰(zhàn)略是聯(lián)合雅虎建立全網(wǎng)搜索引擎與百度競爭。
在馬云的主導(dǎo)下,雅虎中國一度摒棄了門戶概念,把首頁變成了和谷歌很像的搜索欄。不過短短五個月后,又在雅虎總部的指示下改了回來。
這種來回?fù)u擺源自馬云和雅虎總部在理念上的分歧:按照馬云的如意算盤,他希望雅虎中國能成為一個純搜索引擎公司,這樣將能提升阿里系在產(chǎn)業(yè)鏈條上的整體布局。但事實(shí)上,雅虎雖然一直在搜索引擎上有投入和積累,但其商業(yè)模式一直是媒體定位,并不愿意成為一個純搜索引擎公司。
折騰往復(fù)之下,到2008年,阿里巴巴聯(lián)合雅虎對抗百度的計劃終于宣告失敗。
內(nèi)部討論之后,決定聚焦到電商搜索。于是雅虎中國原本的搜索團(tuán)隊被拆分出來,成立了阿里巴巴搜索中心(ASC),由原雅虎中國搜索業(yè)務(wù)負(fù)責(zé)人張勤(花名:楊過)負(fù)責(zé)。
阿里巴巴搜索中心支持的第一個業(yè)務(wù)是B2B。當(dāng)時B2B的搜索用的是一套基于Lucence架構(gòu)、用C++重寫的叫做isearch的系統(tǒng)。阿里巴巴搜索中心在對比isearch和雅虎搜索的代碼后,結(jié)合阿里的業(yè)務(wù)需求,推出了一套叫做isearch2.0的系統(tǒng)。這套系統(tǒng)把雅虎搜索的先進(jìn)理論和功能帶進(jìn)了阿里,幫助B2B的搜索取得了顯著的性能提升。
2008年9月,王堅博士加入阿里后成立了集團(tuán)研發(fā)院。阿里巴巴搜索中心的一部分人流向集團(tuán)研發(fā)院,后來慢慢融入阿里云,衍生出了夸克搜索等產(chǎn)品,另一部分人則流向了各個業(yè)務(wù)BU:張勤留在了B2B,文德(花名:鬼腳七)等人則去了淘寶。
當(dāng)時淘寶的業(yè)務(wù)增長非常快,機(jī)器擴(kuò)容經(jīng)常出故障,業(yè)務(wù)上壓力很大。為了支持好淘寶的搜索,阿里派出了當(dāng)時被稱作國內(nèi)“搜索一姐”的原雅虎搜索總經(jīng)理張憶芬(花名:蓉兒)牽頭成立淘寶搜索中心。張憶芬從阿里媽媽請來了王志榮(花名:青峰)負(fù)責(zé)算法,后來沈加翔(花名:五福)和王明強(qiáng)(花名:思函)相繼加入,分別負(fù)責(zé)工程和產(chǎn)品,組成了淘寶搜索中心的三架馬車。
后來的淘寶搜索事業(yè)部就此初具雛形。
這一時期,獨(dú)立發(fā)展不順的阿里媽媽并入淘寶,并獲得了新的番號——淘寶廣告事業(yè)部。合并后,陸兆禧仍擔(dān)任淘寶網(wǎng)總裁,吳媽出任副總裁,分管淘寶廣告事業(yè)部。不久后,張憶芬離職去了Yahoo Asia,淘寶搜索事業(yè)部轉(zhuǎn)由吳媽負(fù)責(zé)。
在吳媽的帶領(lǐng)下,搜索事業(yè)部和廣告事業(yè)部就此開始了雙星閃耀的時代。
淘寶廣告事業(yè)部和淘寶搜索事業(yè)部成立的頭幾年都一窮二白,條件非常艱苦。
但到2010年,淘寶廣告的三架馬車——鉆石展位(CPM)、淘寶客(CPS)、直通車(CPC)基本成型,營收開始高速增長。到這年年底,淘寶的廣告營收已經(jīng)突破了每天100萬元的大關(guān)。
開始賺錢后,淘寶廣告事業(yè)部的地位水漲船高,基建也鳥槍換炮。他們找集團(tuán)申請預(yù)算采購高檔服務(wù)器,搭建了一個MPI集群。
搜索事業(yè)部就沒有這么幸運(yùn)了。徐盈輝(花名:仁基)記得,自己2012年加入淘寶搜索事業(yè)部時,團(tuán)隊還在用單機(jī)版的GBDT算法跑模型,一天的日志就要跑三天。
搜索不像廣告,可以直接帶來收入。由于說不清買服務(wù)器后能夠給創(chuàng)收帶來什么幫助,當(dāng)時搜索事業(yè)部很難申請到預(yù)算。于是內(nèi)部商量,能不能找廣告事業(yè)部商量一下,借他們的服務(wù)器來跑模型。
商量的結(jié)果是:搜索事業(yè)部先把日志整理成可訓(xùn)練的數(shù)據(jù),給到廣告事業(yè)部,廣告事業(yè)部跑完后,再把模型返給搜索事業(yè)部。
在搜索事業(yè)部看來,這是非常屈辱的不平等條約?!跋喈?dāng)于我們只是做了個數(shù)據(jù),他們跑完只給我們模型,中間是如何訓(xùn)練的,出了什么問題,我們都不知道?!?/p>
無奈之下,他們只好弄來幾十臺廣告事業(yè)部淘汰的舊機(jī)器,自己搭了一個MPI集群,湊合著用。
在徐盈輝等人的努力下,淘寶搜索事業(yè)部很快做出了自己的第一版算法。后來,徐盈輝又帶著團(tuán)隊把GPDT、SVD等算法全部做了并行化,并開放給了包括阿里云早期團(tuán)隊在內(nèi)的其他部門。
這些工作下來,搜索事業(yè)部逐漸樹立了自己的地位,不再像之前,人員晉升還要看廣告事業(yè)部的臉色。
完成算法的并行化后,2013年,搜索事業(yè)部開始推動個性化搜索。個性化搜索本質(zhì)上和推薦是類似的邏輯,都是根據(jù)user profile來影響搜索排序結(jié)果。
如此一來,搜索事業(yè)部和廣告事業(yè)部做的事情,交叉的部分就越來越多了,內(nèi)部自然就想到了合兵一處。
吳雪軍(花名:鐵相)代表廣告事業(yè)部和搜索事業(yè)部談判過一次,提出要領(lǐng)導(dǎo)搜索團(tuán)隊。但此時的搜索事業(yè)部已經(jīng)今非昔比,他們據(jù)理力爭,“這沒得談,大家一起做,誰也不要覺得高誰一頭。要論算法,所有部門用的MPILR算法都是搜索事業(yè)部開放的,論貢獻(xiàn)我們不輸誰?!?/p>
此話的確不假,當(dāng)時廣告事業(yè)部太過強(qiáng)勢,其他部門跟它合作,最后都成了幫他們管機(jī)器,連代碼都見不著。而搜索事業(yè)部是主動把自己的算法開放給兄弟部門使用。因此搜索事業(yè)部雖然不如廣告事業(yè)部賺錢,但是內(nèi)部威望很高,集團(tuán)里很多部門都站他們這邊。
于是,不出意外,這次談判最后無功而返。
2013年,阿里轟轟烈烈的“all in 無線”戰(zhàn)役拉開序幕,集團(tuán)開始從各個部門抽調(diào)人力大力發(fā)展手淘。
當(dāng)時,淘寶廣告技術(shù)部已經(jīng)重新升級為阿里媽媽事業(yè)部。淘寶搜索事業(yè)部則和負(fù)責(zé)交易等基礎(chǔ)功能的手淘技術(shù)部結(jié)合得更加緊密,由從B2B過來的張勤負(fù)責(zé),向集團(tuán)副CTO姜鵬(花名:三豐)匯報。
在“all in 無線”戰(zhàn)略的號召下,阿里媽媽的吳雪軍帶著袁泉(花名:袁全)、嚴(yán)強(qiáng)(花名:紹成)、趙斌強(qiáng)(花名:樂田)、周梁、王喆、江鵬(花名:薦軒)六人,從北京奔赴杭州,馳援手淘建設(shè)。
吳雪軍團(tuán)隊加入手淘技術(shù)部后,主要負(fù)責(zé)基于自然流量的個性化推薦,陸續(xù)做了“有好貨”和“猜你喜歡”,后者至今依舊是淘寶內(nèi)一個十分重要的產(chǎn)品。關(guān)于有好貨和猜你喜歡的故事,雷峰網(wǎng)在《阿里廣告的黃金時代:無線推薦大浪潮》一文中有詳細(xì)記述。
其實(shí)早在有好貨和猜你喜歡之前,淘寶在個性化方面就有已經(jīng)有所嘗試,但主要集中在PC端,比如商詳頁的“迎客松”,而且流量不算大,所以并沒有產(chǎn)生非常大的影響力。
有好貨和猜你喜歡將個性化從PC端延伸到了無線端,尤其是猜你喜歡上線后,迅速成為了擁有億級流量的殺手級產(chǎn)品,直接推動了手淘個性化的全面鋪開。
2015年9月中旬,袁泉等人正在維也納參加推薦系統(tǒng)最大的會議RecSys。逍遙子突然來電,告知在2015年雙11上要全面開啟個性化推薦。
這年雙十一,個性化推薦算法開始大放光芒,催生了一個又一個令人瞠目的數(shù)字。個性化推薦的第一戰(zhàn)場“雙11主會場”更是自雙11開展多年以來首次達(dá)到了個位數(shù)的跳失率,其引導(dǎo)人數(shù)和人均引導(dǎo)頁面數(shù)都是前一年的2~3倍。
“天坑一號”個性化主會場示意圖
因?yàn)樵陔p11的出色表現(xiàn),個性化推薦算法團(tuán)隊榮獲了2015年的CEO特別貢獻(xiàn)獎。逍遙子在當(dāng)時的嘉獎信里寫道:“這次雙11的一大亮點(diǎn)是,我們基于大數(shù)據(jù)的無線產(chǎn)品和技術(shù)的創(chuàng)新,使得整個運(yùn)營效率有了大幅度提升。淘系的活躍用戶得到了充分的引導(dǎo)和互動,得到了大量個性化的展示和推薦,事實(shí)證明了大數(shù)據(jù)的巨大威力。我們用大數(shù)據(jù)賦能了雙11,賦能了我們自己的運(yùn)營能力。”
2015年之前,淘寶PC端依舊是雙十一非常重要的流量來源。上面大大小小的廣告位,是非常重要的運(yùn)營陣地。而這些廣告位的分配權(quán)都掌握在小二手里,要么是價高者得,要么是銷量或轉(zhuǎn)化率高者得??偠灾\(yùn)營十分強(qiáng)勢。
2015年雙十一,淘寶已經(jīng)有75%的成交來自于APP,資源位的分配權(quán)也逐漸從運(yùn)營小二手中轉(zhuǎn)移到了算法。這一年,也因此被稱作淘寶的個性化元年。
前面提到,2014年前后,淘寶內(nèi)部有很多個團(tuán)隊在做個性化,除了吳雪軍團(tuán)隊,淘寶搜索事業(yè)部也在做。初期,這種賽馬機(jī)制帶來了很多技術(shù)創(chuàng)新。但隨著技術(shù)逐漸走向成熟,團(tuán)隊之間的相互PK非但沒能帶來正向價值,反而變成了一種內(nèi)耗。
大家開始思考,如何形成更好的合力。
當(dāng)時,沈加翔同時管著淘寶搜索事業(yè)部的工程和算法,隨著團(tuán)隊發(fā)展壯大,沈加翔覺得自己應(yīng)該更聚焦在工程領(lǐng)域。正好吳雪軍有算法背景,請他來負(fù)責(zé)淘寶搜索事業(yè)部的算法團(tuán)隊,不僅可以解放自己,也解決了大家在個性化算法上互相PK、無法形成合力的問題。
說來有趣,原來代表淘寶廣告事業(yè)部要將搜索事業(yè)部收入麾下的吳雪軍,在兜兜轉(zhuǎn)轉(zhuǎn)之后,反而帶著團(tuán)隊成為了搜索事業(yè)部的一部分。
淘寶的搜索和推薦團(tuán)隊也就此第一次走向了融合。
淘寶搜索事業(yè)部在和吳雪軍帶領(lǐng)的推薦團(tuán)隊走向融合的過程,其自身也經(jīng)歷了一段分合。這源于淘寶發(fā)展歷史上的一段小插曲——一淘網(wǎng)。
2010年,淘寶孵化了一淘網(wǎng)。一淘網(wǎng)最早是淘寶搜索事業(yè)部的一個孵化型項(xiàng)目,叫做open search(開放搜索)。所謂開放搜索,就是會納入外部數(shù)據(jù),和阿里的數(shù)據(jù)一起做并行搜索。
當(dāng)時,阿里內(nèi)部對電商的終局判斷存在分歧和爭論。大家不確定,國內(nèi)B2C電商最終會是像國外一樣百花齊放,誕生大量垂直電商網(wǎng)站,還是會幾家獨(dú)大、贏者通吃。所以淘寶在原本C2C模式的基礎(chǔ)上,又做了淘寶商城(天貓商城的前身)和一淘網(wǎng)多頭押注。如果將來B2C電商是幾家獨(dú)大,淘寶商城可以爭取成為其中之一;如果是百花齊放,一淘網(wǎng)則可以在上游筑起一道大壩,掌握流量分發(fā)。
于是,2011年淘寶直接一拆為三,分成了淘寶網(wǎng)、淘寶商城和一淘網(wǎng),讓三種模式自由競爭。分別由姜鵬、張勇和吳泳銘擔(dān)任三家公司的CEO。
一淘網(wǎng)的底層是一個商品搜索引擎。為了做好一淘網(wǎng)的搜索,淘寶搜索事業(yè)部專門分出了一批人提供技術(shù)支持:由文德負(fù)責(zé)搜索技術(shù),沈加翔負(fù)責(zé)具體開發(fā),同時還從阿里云挖來了有搜索經(jīng)驗(yàn)的孫牧(花名:一泉)和歐文武(花名:三桐)。
前文提到,雅虎中國的搜索團(tuán)隊衍生出了阿里巴巴搜索中心,后來其中一部分人流向了集團(tuán)研發(fā)院,并最終融入了阿里云。孫牧就是其中的一員,他最早在雅虎中國負(fù)責(zé)音樂、圖片、新聞等垂直搜索,加入阿里巴巴搜索中心后,參與過支持B2B業(yè)務(wù)的isearch2.0項(xiàng)目,后來又在阿里云擔(dān)任過阿里云云梯1的項(xiàng)目經(jīng)理。
一淘網(wǎng)立項(xiàng)后,淘寶搜索事業(yè)部人手不足,沈加翔看中了孫牧的垂直搜索經(jīng)驗(yàn),于是通過吳泳銘從王堅手里把他要了過來。
歐文武則是博士畢業(yè),在一家日資企業(yè)做過一段時間算法。2008年加入阿里后,他最早在薛貴榮和陳華的團(tuán)隊做網(wǎng)頁搜索。后來阿里云發(fā)展困難,有一部分人從阿里云轉(zhuǎn)崗去了淘寶等其他業(yè)務(wù),歐文武也在其列。
一淘搜索團(tuán)隊最大的時候,光是在北京就有100多人,其中大部分都是技術(shù),可謂群星璀璨、高手云集。這些人里后來成就比較高的還有王峰(花名:莫問)、羅李(花名:鬼厲)和戴宗宏等人。其中,王峰是雅虎中國垂直搜索團(tuán)隊成立時,從北航招的應(yīng)屆研究生,他后來成為了阿里巴巴內(nèi)部實(shí)時計算項(xiàng)目Flink的推動者。羅李現(xiàn)在是Shopee大數(shù)據(jù)團(tuán)隊的負(fù)責(zé)人,戴宗宏則是大模型獨(dú)角獸零一萬物的技術(shù)副總裁和AI Infra負(fù)責(zé)人。
從比價引擎到淘客返利,再到優(yōu)惠推薦,一淘網(wǎng)的業(yè)務(wù)形態(tài)幾經(jīng)迭代,最終在2014年宣告失敗。
一淘網(wǎng)的失敗,一方面是因?yàn)閲鴥?nèi)B2C電商最終沒能百花齊放,一淘網(wǎng)從一開始押注的路線就是錯的。另一方面則是因?yàn)?,一淘網(wǎng)始終沒能解決流量從哪里來的問題。
一淘網(wǎng)自身的流量并不大,而是依賴于從淘寶主搜獲取流量。這就帶來了一個問題,用戶在一淘網(wǎng)比價后,如果發(fā)現(xiàn)京東的價格比淘寶便宜,就會跳轉(zhuǎn)到京東。這相當(dāng)于把淘寶的流量引流到外面去了,用戶沒法在這個生態(tài)中留存。
一淘網(wǎng)失敗后,搜索技術(shù)團(tuán)隊重新回到淘寶,如何安置這些人就成了問題。比如歐文武到淘寶后負(fù)責(zé)主搜,但當(dāng)時徐盈輝也在負(fù)責(zé)淘寶的主搜,為了避免內(nèi)斗,雙方達(dá)成“君子協(xié)定”:搜索結(jié)果頁前四的黃金地段由歐文武團(tuán)隊負(fù)責(zé)做強(qiáng)個性化,前四之后的位置則由徐盈輝團(tuán)隊做弱個性化。
這保證了兩支團(tuán)隊的關(guān)系一直十分融洽。大家經(jīng)常聚在一起交流討論,往往一方提出一個想法,很快另一方就已經(jīng)開始著手做了。
這種局面一直持續(xù)到2015年初,歐文武主動提出將個性化搜索全部并給徐盈輝。當(dāng)時,搜索個性化已經(jīng)趨于成熟,內(nèi)部賽馬帶來的效率提升已經(jīng)比不上內(nèi)部協(xié)同,合兵一處更利于淘寶的整體增長。
這件事情雖然不大,但淘寶搜索事業(yè)部當(dāng)時的團(tuán)隊氛圍由此可見一斑。
2015年前后,淘寶搜索事業(yè)部的明星產(chǎn)品,除了猜你喜歡,還有拍立淘。
拍立淘的歷史最早可以追溯到祝銘明掌舵的阿里M工作室。2013年,M工作室開始用深度學(xué)習(xí)做摳圖,祝銘明拿著團(tuán)隊的摳圖成果去跟徐盈輝交流,興奮地說,自己很快就能做以圖搜圖了。
徐盈輝是當(dāng)時阿里內(nèi)部為數(shù)不多懂圖像搜索技術(shù)的人。他早年曾在日本理光工作,做過5000萬圖像的以圖搜圖。徐盈輝加入阿里后,也想過做以圖搜圖,他曾經(jīng)和身邊一個做圖像技術(shù)的同事聊起過這個想法,但直接被對方“勸退”了。同事認(rèn)為“這個東西沒啥用”,而且當(dāng)時徐盈輝在負(fù)責(zé)淘寶主搜,工作任務(wù)很重,無暇顧及圖搜,只能無奈放棄。
徐盈輝聽說祝銘明要做以圖搜圖,很是興奮。他先給祝銘明潑了一盆冷水,“這圖摳的確實(shí)漂亮,但是離能做以圖搜圖還差得很遠(yuǎn)”。而后給出了自己的建議,“你去找搜索事業(yè)部工程團(tuán)隊的沈加翔,請他幫忙抽調(diào)人力解決高維向量的空間索引問題,只有解決了這個問題,才有可能實(shí)現(xiàn)以圖搜圖”。
祝銘明要做以圖搜圖,得到了淘寶搜索事業(yè)部工程負(fù)責(zé)人沈加翔和算法負(fù)責(zé)人吳雪軍的共同支持,三方各抽調(diào)一名技術(shù)骨干,組成了拍立淘的初始團(tuán)隊。后來團(tuán)隊又招來了潘攀(花名:啟磐)擔(dān)任項(xiàng)目負(fù)責(zé)人,兼顧算法、工程、產(chǎn)品的統(tǒng)籌。潘攀畢業(yè)于美國伊利諾伊大學(xué)芝加哥分校博士,此前在美國三菱波士頓研究院、北京富士通研發(fā)中心從事視覺領(lǐng)域的研發(fā)工作。
潘攀
此外,吳雪軍還給專項(xiàng)組請來了在淘寶搜索事業(yè)部做顧問的AI技術(shù)大牛顏水成做指導(dǎo)。當(dāng)時,淘寶在深度學(xué)習(xí)方面尚缺少積累,顏水成的指導(dǎo)對拍立淘項(xiàng)目的發(fā)展起到了關(guān)鍵作用。
2014年,拍立淘首次上線。同年,祝銘明從阿里離職創(chuàng)辦了Rokid,M工作室并入淘寶搜索事業(yè)部。
一年后,顏水成辭去阿里顧問的身份,加入360集團(tuán),擔(dān)任集團(tuán)副總裁、首席科學(xué)家、人工智能研究院院長。
阿里曾經(jīng)試圖挽留過顏水成,但雙方在P級上未能達(dá)成一致。顏水成希望阿里能給自己P11的職級,因?yàn)楫?dāng)時阿里的另外兩位AI技術(shù)大?!徇h(yuǎn)和金榕都是P11。顏水成認(rèn)為自己在學(xué)術(shù)圈的地位和這兩位大牛相當(dāng),加入阿里后的職級自然也該一樣。可惜當(dāng)時阿里的招人政策正在收緊,只愿意給出P10的待遇,雙方只能遺憾分手。
同年,吳雪軍也從阿里離職,創(chuàng)辦了鼎復(fù)數(shù)據(jù)。
隨著幾位早期推動者相繼離職,拍立淘項(xiàng)目便由剛加入阿里不久的淘寶搜索事業(yè)部資深總監(jiān)華先勝接手。
華先勝和阿里也算頗有淵源。早在2019年的時候,阿里就以P10的待遇招攬過華先勝,但當(dāng)時華先勝想著先去美國歷練歷練,便謝絕阿里的好意,加入微軟美國總部的必應(yīng)產(chǎn)品組做了兩年圖像搜索引擎,后來又轉(zhuǎn)入微軟美國研究院做大規(guī)模圖像識別。
2015年,阿里需要一個技術(shù)大牛來領(lǐng)銜拍立淘,于是又找到了華先勝。華先勝覺得,做圖像搜索,電商是最好的場景,拍立淘是個非常好的機(jī)會。于是雙方一拍即合。
華先勝接手拍立淘后,驚喜地發(fā)現(xiàn),拍立淘的大框架基本上是合理的,和自己設(shè)想的架構(gòu)也是基本一致的,在這個基礎(chǔ)上對各個模塊,例如分類、摳圖、特征學(xué)習(xí)、索引、排序等技術(shù)點(diǎn)繼續(xù)優(yōu)化,并整體上提升效率就可以了。
在前人的積累和華先勝的加持下,拍立淘僅用一年時間就做到了世界頂級水平,并一直保持至今。拍立淘的日活也迅速從最初的每天幾百UV增長到了2017年的每天超過千萬UV。華先勝曾在一些國際會議上介紹過拍立淘的大致情況,引起不少圖像相關(guān)公司研發(fā)者的關(guān)注,大家都想一探拍立淘的技術(shù)秘密,但至今仍然相差甚遠(yuǎn)。
后來,華先勝從淘寶搜索事業(yè)部轉(zhuǎn)到阿里云,拍立淘又先后由金榕、徐盈輝等人負(fù)責(zé)過算法優(yōu)化。
盡管團(tuán)隊幾經(jīng)更迭,但拍立淘在國內(nèi)電商平臺的圖像搜索產(chǎn)品中始終處于一騎絕塵的領(lǐng)先地位。
2015年,谷雪梅從谷歌中國研究院空降阿里,接管了淘寶搜索事業(yè)部。這段時間前后,淘寶搜索事業(yè)部經(jīng)歷了一波不小的人員調(diào)整。
這年夏天,iDST(數(shù)據(jù)科學(xué)與技術(shù)研究院)的科學(xué)家們郵箱里收到了一封關(guān)于團(tuán)隊拆分的郵件,原有的團(tuán)隊成員被分拆到各個業(yè)務(wù)線,內(nèi)部稱之為“上山下鄉(xiāng)”。其中就有不少人流向了淘寶搜索事業(yè)部。
iDST是阿里巴巴于2014年7月在硅谷成立的一個研究型部門,由金榕總負(fù)責(zé),聚攏了一批頂級技術(shù)大牛。
金榕曾是美國密歇根州立大學(xué)終身教授,發(fā)表過 200 多篇重要論文,在隨機(jī)優(yōu)化、在線學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等領(lǐng)域都提出過原創(chuàng)算法和理論。加入阿里前,金榕受邀為阿里媽媽做過一年技術(shù)顧問,幫助解決了一個大規(guī)模算法優(yōu)化問題,使得廣告展示的收入提高了15-20%。
iDST的其他成員們也都是個頂個的業(yè)界大牛。
但在iDST的一年時間里,金榕和他的部下們卻頻繁遭到“只做基礎(chǔ)研究,不懂具體業(yè)務(wù)”的指責(zé)。
金榕來到 iDST 的第一項(xiàng)任務(wù)是用算法幫助聚劃算提升 GMV。為了做好這項(xiàng)工作,金榕經(jīng)常向小二虛心地請教業(yè)務(wù)問題,甚至從西雅圖搬回杭州常駐。
但忙碌一年的結(jié)果卻令人啼笑皆非:算法默認(rèn)給便宜的商品增加展示權(quán)重,吸引了大批三四線城市用戶,GMV 上來了,卻無意間模糊了當(dāng)時聚劃算的產(chǎn)品定位。
iDST的其他技術(shù)大牛們也分別遇到了這樣或那樣的問題,于是便有了前面提到的拆分iDST。在這次調(diào)整中,金榕帶著華先勝、司羅等人去了淘寶搜索事業(yè)部,漆遠(yuǎn)則去了螞蟻金服。
金榕等人的加入,為淘寶搜索事業(yè)部帶來了新的活力。
金榕來到搜索事業(yè)部后,負(fù)責(zé)過一個頗有分量的項(xiàng)目。當(dāng)時,因?yàn)樘詫毜牧髁渴莻€性化的,銷量不容易預(yù)估,品牌做大促時面臨著備貨的難題,備少了不夠賣,備多了又會導(dǎo)致大量庫存。于是,逍遙子提出,希望有一個系統(tǒng),能確保品牌跟天貓合作后,能夠拿到確定性的流量。這個系統(tǒng)后來便是由金榕主導(dǎo)的。
企業(yè)就像一個人來人往的江湖,有人加入就有人離開。金榕等新鮮血液注入的同時,也有一些中堅力量流向了其他業(yè)務(wù)。
2016年中旬,袁泉到紐約參加SML會議。當(dāng)時,Alphago剛剛打敗韓國傳奇棋手李世石。袁泉在會上聽完“AlphaGo 之父” David Silver 分享AlphaGo背后的技術(shù),大受觸動。
他不禁想起了2006年自己剛接觸推薦算法的時候,覺得推薦算法是一件可以做10年的事業(yè),而如今的AGI讓他更受震動?!斑@事兒至少可以做20年?!?/p>
回去后,袁泉馬不停蹄地找到了時任集團(tuán)CTO張建鋒,提出了自己想做AGI的想法。于是這年年底,在張建鋒的牽頭下,阿里成立了認(rèn)知計算實(shí)驗(yàn)室,由袁泉擔(dān)任資深總監(jiān)。
和袁泉一起去認(rèn)知計算實(shí)驗(yàn)室的,還有同樣對新AI技術(shù)充滿濃厚興趣的徐盈輝。就這樣,淘寶搜索事業(yè)部的推薦和搜索團(tuán)隊都失去了一個領(lǐng)頭人物。背后的更多故事,歡迎添加作者微信LW_PLUS交流討論。
當(dāng)時,袁泉想基于《星際爭霸》這款游戲來研究下一代AGI,但這件事和阿里的業(yè)務(wù)缺少耦合,難免會受到很多質(zhì)疑。因此袁泉很快便從認(rèn)知計算實(shí)驗(yàn)室離職創(chuàng)業(yè),創(chuàng)辦了啟元世界。
不久后,徐盈輝也從認(rèn)知計算實(shí)驗(yàn)室離開,去了菜鳥人工智能部,負(fù)責(zé)整合菜鳥內(nèi)部的算法。
在AI技術(shù)領(lǐng)域,算法和工程團(tuán)隊是不可分割的,二者如同一枚硬幣的兩面。只是因?yàn)樗惴x應(yīng)用更近,算法負(fù)責(zé)人往往更容易被外界所熟知,而工程團(tuán)隊則更多扮演了幕后英雄的角色。
前文提到,淘寶搜索事業(yè)部涌現(xiàn)了大量獨(dú)當(dāng)一面的頂尖算法人才,每個人都有自己的代表作品。
但其實(shí),沈加翔帶領(lǐng)的工程團(tuán)隊同樣是群星璀璨,聚集了張理、曲琳(花名:喜德)、蔣曉偉(花名:量仔)、李天民(花名:天民)、鄭南(花名:桂南)等技術(shù)骨干。
其中,張理(已經(jīng)離職去加拿大定居)、喜德是淘天AIOS引擎和中臺數(shù)據(jù)負(fù)責(zé)人,蔣曉偉推動了阿里開源實(shí)時計算引擎Blink,現(xiàn)已離職創(chuàng)業(yè),李天民曾任阿里本地生活的技術(shù)負(fù)責(zé)人,鄭南是拼多多的整體基礎(chǔ)設(shè)施負(fù)責(zé)人。
淘寶搜索事業(yè)部的眾多里程碑式的產(chǎn)品背后,離不開這些工程技術(shù)人員的努力。
從最初張理的問天引擎開始,逐步一代一代引擎工程技術(shù)同學(xué)不斷迭代,從iSearch到iSearch5,再到問天3(內(nèi)部叫HA3),目前已經(jīng)在github上開源,它是目前整個阿里巴巴集團(tuán)搜索引擎的基石。
鄭南團(tuán)隊的iGraph引擎和李天民團(tuán)隊的TPP算法個性化平臺奠定了袁泉、趙斌強(qiáng)、王曉博(花名:永叔)、魏虎(花名:空望)等人開啟的個性化元年。后來王曉博推動的offline2online的推薦召回,逐步由離線非實(shí)時升級為在線實(shí)時化匹配過程,誕生了BE的推薦召回深度粗排引擎。曲琳團(tuán)隊建設(shè)了底層Hippo的彈性調(diào)度、RTP在線深度預(yù)測引擎、AOP離線訓(xùn)練等。
這些都逐步成為了阿里巴巴整個搜索、推薦、以及更廣泛意義上算法同學(xué)的AI基礎(chǔ)設(shè)施。淘寶搜索事業(yè)部工程團(tuán)隊負(fù)責(zé)人沈加翔把這套體系命名為AIOS系統(tǒng),它后來發(fā)展成了目前愛橙科技的核心AI中臺技術(shù)設(shè)施,支持整個阿里巴巴所有子公司的AI算法迭代工作,居功至偉。
淘寶實(shí)時個性化的另一個重要推動者是蔣曉偉。蔣曉偉畢業(yè)于中科大少年班,本科學(xué)的物理,是潘建偉院士的師弟。蔣曉偉曾經(jīng)在內(nèi)部略帶調(diào)侃地說過這樣一句話,“計算機(jī)是怎么run的對我來說太簡單了,我想知道這個世界是怎么run的”。其少年天才的實(shí)力和性格由此可見一斑。
蔣曉偉
蔣曉偉在阿里內(nèi)部做過一些技術(shù)分享,聽過他分享的人都覺得,他能將很深奧的技術(shù)講得深入淺出,很有張朝陽物理課的那種感覺。
蔣曉偉加入阿里時,擺在他面前的有兩個offer,一個是阿里云的,一個是沈加翔下面的DUMP團(tuán)隊負(fù)責(zé)人的崗位。蔣曉偉幾經(jīng)權(quán)衡后選擇了去沈加翔團(tuán)隊,他說,阿里云那邊聽起來高大上,但是并不清楚對方需要自己做些什么,而沈加翔這邊是非常明確的。
2015年,蔣曉偉以P8的身份加入淘寶搜索事業(yè)部,隨后便開始了火箭般的晉升:第二年升P9,第三年升P10……
有一次沈加翔帶著蔣曉偉去跟張建鋒匯報工作,蔣曉偉非常篤定提出要做流批一體和亞秒級實(shí)時計算。正是這次匯報促使了張建鋒推動集團(tuán)收購德國Flink團(tuán)隊。后來集團(tuán)把阿里云的jstorm和Galaxy流計算整合進(jìn)Flink,促成了計算平臺事業(yè)部的誕生。
除了Flink,蔣曉偉還有另一項(xiàng)重要貢獻(xiàn)——做了一套OLAP(Holo)的實(shí)時數(shù)據(jù)分析系統(tǒng),是阿里云和整個阿里巴巴非常重要的大數(shù)據(jù)基礎(chǔ)設(shè)施,阿里幾乎所有的實(shí)時分析都是通過這套系統(tǒng)跑出來的。蔣曉偉現(xiàn)在創(chuàng)業(yè)做的事情也與此有關(guān)。
端智能技術(shù)的發(fā)展,也和這支對自己不設(shè)局限的工程技術(shù)團(tuán)隊有很大關(guān)系。端智能剛提出來的時候缺少場景,正好當(dāng)時拍立淘要工程化,交到了整搜索工程技術(shù)團(tuán)隊手中。在拍立淘這個場景中,工程團(tuán)隊和當(dāng)時圖像算法團(tuán)隊同學(xué)培育了第一代端上智能技術(shù),包含兩項(xiàng)核心能力:一是拍照后照片的主體識別要在端側(cè)實(shí)現(xiàn);二是如果照片中有多個主體,多主體的識別和類目預(yù)測也需要在端側(cè)完成。
后來,隨著推薦在淘寶中扮演越來越重要的角色,端智能和推薦開始有了協(xié)同。其中一個很典型的應(yīng)用場景就是推薦結(jié)果的實(shí)時優(yōu)化,當(dāng)時推薦算法歐文武團(tuán)隊和李天民團(tuán)隊合作,逐步在淘寶首頁猜你喜歡完成了對推薦信息流的端智能化改造,在端上根據(jù)用戶實(shí)時行為完成端上重新刷新、重新排序、以及跳失判斷等很有增量的個性化場景,之后拉開了阿里巴巴集團(tuán)各大APP業(yè)務(wù)紛紛升級端智能來提升算法效果的帷幕。
隨著搜索事業(yè)部業(yè)務(wù)不斷擴(kuò)展,升級成為搜索推薦事業(yè)部,以及集團(tuán)國際化業(yè)務(wù)的不斷開拓,集團(tuán)內(nèi)幾乎所有子公司的搜索推薦業(yè)務(wù)都被這支產(chǎn)品、算法、工程團(tuán)隊給直接“把持住”了,也成就了后來周靖人的智能引擎事業(yè)群的“短暫盛世”,同樣埋下了和各個阿里巴巴子公司CEO業(yè)務(wù)矛盾的種子,到底是算法AI為主驅(qū)動業(yè)務(wù)還是業(yè)務(wù)運(yùn)營驅(qū)動業(yè)務(wù)的問題。
今天這些人中,除了曲琳仍在帶領(lǐng)AIOS的AI中臺技術(shù)外,其他算法和產(chǎn)品技術(shù)已經(jīng)分散到各個子公司中,也有些已經(jīng)離開了阿里巴巴。
2017年,淘寶搜索事業(yè)部在和阿里媽媽的一次PK中被發(fā)現(xiàn)數(shù)據(jù)造假,團(tuán)隊負(fù)責(zé)人谷雪梅隨后帶著70人的團(tuán)隊被調(diào)往阿里媽媽。(更多故事細(xì)節(jié)詳見雷峰網(wǎng)舊文《阿里廣告的黃金時代:無線推薦大浪潮》)淘寶搜索事業(yè)部由周靖人接手。
周靖人加入阿里的第一站是阿里云,后來又參與組建了達(dá)摩院。
接手淘寶搜索事業(yè)部后,2019年他又接管了阿里媽媽,并主導(dǎo)了搜索和廣告的融合。前文提到,吳雪軍入淘后,淘寶的搜索和推薦開始走向融合。周靖人接管阿里媽媽,則標(biāo)志著淘寶的搜廣推第一次實(shí)現(xiàn)了大一統(tǒng)。
如果說搜索和推薦的整合還算容易,那么搜推和廣告的合并則要復(fù)雜得多。搜推優(yōu)先考慮的都是用戶體驗(yàn),目標(biāo)一致,而廣告優(yōu)先考慮的則是商業(yè)變現(xiàn),和搜推的目標(biāo)天然沖突,要將二者融合到一起,中間需要做大量的平衡工作。
其實(shí)從業(yè)務(wù)的角度來說,搜推和廣告并不是非融合不可。首先,就像前面說的,二者的目標(biāo)天然沖突;其次,從管理的角度來說,由兩個獨(dú)立的團(tuán)隊相互競爭、彼此制衡也不是件壞事。但當(dāng)時電商的競爭已經(jīng)進(jìn)入到了白熱化階段:淘寶自身的業(yè)務(wù)增長遇到了瓶頸,拼多多這樣的挑戰(zhàn)者也開始崛起,阿里亟需力出一孔來尋求突破和抵御外敵。關(guān)于阿里搜廣推融合的更多故事,歡迎添加作者微信LW_PLUS交流討論。
這時候,將搜廣推進(jìn)行融合,減少重復(fù)工作和內(nèi)耗就成了一件必須要做的事情。而周靖人堪稱最適合的操盤手之一。
一方面,他在阿里輪崗很多,幾乎所有核心部門都待過,對不同業(yè)務(wù)和技術(shù)部門的訴求都深有體感,能夠綜合各方角度看問題。
另一方面,他負(fù)責(zé)過達(dá)摩院智能計算實(shí)驗(yàn)室,也帶過業(yè)務(wù)團(tuán)隊,相當(dāng)于研究、工程兩條腿走路。這種技術(shù)+業(yè)務(wù)的復(fù)合型經(jīng)驗(yàn)在融合搜廣推時也是一個優(yōu)勢。
對搜索、推薦和廣告來說,大家只是優(yōu)化的目標(biāo)不同,但都需要對商品和人的認(rèn)知,并且這種認(rèn)知是多維的,需要通過文字、圖片、視頻等全模態(tài)數(shù)據(jù)來理解,這點(diǎn)是共通的。這是搜廣推融合的基礎(chǔ)。
在此基礎(chǔ)之上,他非常注重用戶體驗(yàn)和商業(yè)化兩大目標(biāo)的平衡,會根據(jù)不同時間點(diǎn)組合出不同的優(yōu)化方向。這些共同確保了搜廣推的順利融合。
淘寶搜廣推大一統(tǒng)的局面只維持了不長一段時間,便又重新走向了獨(dú)立。但正如前面所說,大一統(tǒng)只是特定時期的選擇,并非萬能的最優(yōu)解。其分分合合自然也就因時而動、因勢而變,但這并不影響它們各自對于淘寶發(fā)展的貢獻(xiàn)。
之后,阿里陸續(xù)將淘寶搜廣推的技術(shù)和經(jīng)驗(yàn)復(fù)制到速賣通、支付寶和餓了么等業(yè)務(wù),也側(cè)面證明了搜廣推對于淘寶發(fā)展的重要性。
不過隨著這套體系臻于成熟,和新一波技術(shù)浪潮的到來,其技術(shù)紅利也在逐漸消退。去年,阿里提出“用戶為先、AI驅(qū)動”兩大戰(zhàn)略,開始將AI作為下一座技術(shù)金礦。在這波技術(shù)浪潮中,阿里能否再次創(chuàng)造當(dāng)年搜廣推般的輝煌,這或許將是阿里下一個十年中最大的看點(diǎn)。
關(guān)于阿里AI發(fā)展的故事,雷峰網(wǎng)將繼續(xù)推出阿里AI驅(qū)動·20年系列文章,《中臺是誰的中臺,達(dá)摩院是誰的達(dá)摩院》《后達(dá)摩院時代,阿里集團(tuán)的AI驅(qū)動戰(zhàn)略》,感興趣的讀者請聯(lián)系作者溝通交流(微信 LW_PLUS)。雷峰網(wǎng)雷峰網(wǎng)(公眾號:雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。