阿拉丁神燈的故事想必大家都聽過，對著神燈許下心愿，你的愿望就會實現(xiàn)。而今天，在阿里 AliOS 有一支神燈團隊，他們希望能像阿拉丁神燈一樣，讓用戶通過其服務獲得滿足。團隊成員王智楠對雷鋒網(wǎng) AI 研習社說道，「我們希望讓客戶擁有一種想要什么服務就能得到什么服務的感覺，這是取名『神燈』的初衷?！?/span>

神燈項目團隊主要負責 AliOS 端上智能與服務的算法研發(fā)，攻克方向是推薦領域。項目組共有八名成員，大家的背景也很多元，涉及統(tǒng)計、廣告、NLP，甚至還有心理學。

目前，他們的算法主要應用于車機智能推薦系統(tǒng)，例如幫助客戶預測線路、推薦周邊街道、關聯(lián)附近的停車場、介紹好吃的餐廳等。

其中，他們自研的多層 Stacking Model 極大提升了分類預測的準確率，已廣泛應用于 AliOS 多項業(yè)務。值得一提的是，年初在 WSDM Cup 2018 挑戰(zhàn)賽上，得益于這一模型，AliOS 神燈團隊小組在比賽中表現(xiàn)優(yōu)異，團隊成員王智楠也受邀在會議 Workshop 上做了主題分享。

WSDM 被譽為信息檢索領域最頂級的會議之一，會議的關注點為搜索、數(shù)據(jù)檢索、數(shù)據(jù)挖掘、算法設計、算法分析、經(jīng)濟影響方面的實際且嚴謹?shù)难芯浚约皩蚀_率和運行速度的深入實驗探究。每屆 WSDM 都會像 KDD 一樣，舉辦一個數(shù)據(jù)挖掘類比賽。今年的比賽的出題方是流媒體音樂公司 KKBOX（與 Spotify、Apple Music 等類似），共有兩個任務，一是用戶流失預測，二是音樂個性化推薦，阿里團隊在前一個任務上一舉奪得亞軍。

雷鋒網(wǎng) AI 研習社以此次比賽為契機，與王智楠展開討論，了解到阿里神燈團隊獲勝的獨門秘籍、經(jīng)驗教訓以及多層 Stacking Model 的相關信息。

WSDM Cup 挑戰(zhàn)賽

在 KKBOX 的用戶流失預測任務中，參賽者需要根據(jù)主辦方提供的數(shù)據(jù)，預測 2017 年 3 月訂閱到期的用戶中，哪些會流失。

談及參加此次比賽的原因，王智楠對 AI 研習社說道，「算法團隊需要經(jīng)常關注數(shù)據(jù)挖掘類比賽，獲取最新信息。得知這一比賽時，恰好神燈團隊在做音樂推薦項目，我們就想拿 KKBOX 的數(shù)據(jù)練練手。另外，我此前參加過 WSDM 2017，對此次會議也有一定了解。」

這次比賽是一個比較典型的二分類問題。王智楠表示，二分類問題中，他們主要考慮兩個方面：

• 一是特征，希望能將更多的信息融入進來；

• 二是模型，在單模型上，業(yè)內(nèi)用的都差不多，這一階段重點考慮融合。

主辦方提供的數(shù)據(jù)有如下三類：

• 訂單數(shù)據(jù)。2017 年 3 月之前兩年的訂單交易信息，包括用戶 id、付款方式、購買的會員周期、價格、時間、是否是自動續(xù)訂等。

• 用戶聽歌日志。2017 年 3 月之前兩年的用戶聽歌日志，包括用戶 id，日期，聽歌數(shù)量、時長等。

• 用戶人口統(tǒng)計學信息。截止 2017 年 3 月的用戶信息，包括所在城市、年齡、性別、注冊時間等。

在數(shù)據(jù)預處理階段，他們主要碰到兩類問題，一是臟數(shù)據(jù)，二是正負樣本比例不均衡。

• 針對臟數(shù)據(jù)問題，例如年齡數(shù)值小于 0 或者大于 100，注冊時間和支付金額中的極端異常值，他們處理的方式有根據(jù)分布將異常值轉(zhuǎn)換為合理取值，刪除無法解釋且不包含重要信息的數(shù)據(jù)等。

• 對正負樣本分布不均衡的問題，他們使用欠采樣的方式對訓練樣本進行處理，分別嘗試了 1：3，1：5，1：8 的正負樣本配比，在最終模型中，根據(jù)交叉驗證的結(jié)果選擇了最優(yōu)配比。

在特征工程階段，他們做了很多數(shù)據(jù)分析工作，比如統(tǒng)計用戶的注冊方式、注冊渠道，每個渠道的注冊人數(shù)，是否過濾掉特別小的渠道等。

針對出題方給的三份數(shù)據(jù)，神燈團隊起初對每份數(shù)據(jù)都進行了分析，大概一周之后，發(fā)現(xiàn)除了訂單數(shù)據(jù)，聽歌日志和用戶人口統(tǒng)計學信息起的作用很小，這時候他們進行了策略上的調(diào)整——把聽歌日志和用戶人口統(tǒng)計學信息放在一邊，集中精力處理訂單數(shù)據(jù)。直到比賽的最后階段，他們也沒有特別花時間研究另外兩個數(shù)據(jù)。

最終，他們使用兩層 Stacking Model，第一層采用邏輯回歸、隨機森林、XGBoost 算法，第二層又采用 XGBoost 算法把第一層的結(jié)果融合，在最后取得第二名。

在此次比賽中，他們也有一套方法論：「我們內(nèi)部有一個稱為 MVM（minimum variable model）——最簡可用模型的策略，即先上線一個最小的模型，之后通過每次提交結(jié)果獲得反饋，再不斷修改原來的模型?！?/p>

目前，AliOS 神燈團隊已經(jīng)在利用深度學習做推薦系統(tǒng)，但在比賽中并沒有使用這一方法，王智楠表示，這次的場景不太適合利用深度學習，更加適合傳統(tǒng)特征工程的構造方式。他說道，「比賽時，主辦方提供的數(shù)據(jù)都是經(jīng)過加工的數(shù)據(jù)，比如用戶聽歌日志，主辦方已經(jīng)把這個數(shù)據(jù)整理到某人每天聽了多少歌的粒度，這種細?；臄?shù)據(jù)導致不太適合用深度學習方法解決。而我們平時利用深度學習做推薦可以從最原始的數(shù)據(jù)開始，將這些數(shù)據(jù)直接輸入到模型里，得到一個處理過的向量值。」

細節(jié)分享

比賽并非一帆風順，王智楠表示，中途出現(xiàn)了戲劇性的情況：比賽開始沒多久，由于出題方的失誤——在驗證數(shù)據(jù)階段沒有對用戶的結(jié)果進行隨機打斷，導致很多選手的比賽得分接近于滿分?！钙陂g中斷了大概兩到三周，后來主辦方又公布了一批新的數(shù)據(jù)，大家得以重回到比賽中?！挂驗檫@一問題，他們之后再重新修改模型時，狀態(tài)不如之前，因此花了一段時間進行調(diào)整與追趕。

此外，分析了冠軍和其他選手的方案，他總結(jié)出兩方面的教訓。

• 第一是時間管控與模型調(diào)試。王智楠表示，他們在最后兩周留的時間太緊張了，導致沒有足夠的時間調(diào)整線上模型超參?！钙渌麉①悎F隊可能會這么嘗試——每周把參數(shù)上調(diào)一個點，然后觀察線上分數(shù)的變化情況。此外，如果我們能夠在前面階段將速度放快，就可以為比賽后期預留更多時間，把參數(shù)調(diào)的更好一點。」

• 第二是特征處理和數(shù)據(jù)分析。他在這里重點提到冠軍的方案。王智楠對雷鋒網(wǎng) AI 研習社說道，從模型上對比他們與冠軍的方案，神燈團隊更占優(yōu)勢，但冠軍在特征工程上做得比他們更加細致。他以日期為例，對于這一參數(shù)，他們會將其轉(zhuǎn)化成一個數(shù)值來構造特征，但冠軍還會把日期轉(zhuǎn)化成 one-hot 特征。「有一些日期，比如是否月底，其實還是具有一些信息量的，但是當時我們沒有考慮到這個問題。不單是這次比賽，在做其他比賽和業(yè)務的時候，也需要這么細致的考慮?！?/p>

他們團隊主要是進行推薦算法的設計，之前也有相關的經(jīng)驗積累，那么，在工作中的算法是否能直接應用于此次比賽呢？

王智楠表示，參加比賽和實際業(yè)務場景還是存在極大差異?！副荣悤r可以不用考慮計算成本、線上服務，效率問題。但在實際場景下，如果模型做得太過復雜，后臺計算就會特別復雜，時間可能會特別長，用戶體驗就不那么美好了。例如用戶想要一個推薦服務，請求之后，1 秒鐘都沒有回復，這就存在極大問題?！?/p>

多層 Stacking Model

其實除了此次比賽，AliOS 的推薦算法團隊還在多項國際大賽上獲得優(yōu)勝，例如 2015 ACM RecSys Challenge 亞軍，2016 ACM RecSys Challenge 冠軍，2016 KDD CUP Phase1 第二名。此外，他們團隊在阿里天池的天貓推薦大賽、LBS 推薦大賽等多個內(nèi)部賽上都曾獲得獎項。

而這次比賽中使用的多層 Stacking model，也是源于 2016 年 KDD Cup。當時在比賽中為了提升效果，他們不斷搜集資料，研究出這一模型。后來，他們嘗試在線上使用這一方法，發(fā)現(xiàn)提升顯著，于是有了這一模型的完備方案以及大規(guī)模應用。

他坦誠表示，雖然這一模型可以極大提升預測準確率，但目前也存在一個問題——線上消耗資源量比較大?！敢郧翱赡苤挥糜柧氁粋€模型，但現(xiàn)在用兩層 Stacking Model 就要多訓練 4 個模型?！共贿^相較該模型帶來的優(yōu)勢，資源的消耗相對來說變得不那么重要：「對于一些場景，比如廣告場景，雖然資源消耗多，但性價比相對來說比較高?！?/p>

目前，他們也在研究如何用最少的資源來訓練模型。

談到該算法的實際應用，王智楠說道，現(xiàn)在主要還是集中在 AliOS 系統(tǒng)互聯(lián)網(wǎng)汽車的音樂推薦上。目前，上汽集團大概有 50 萬輛互聯(lián)網(wǎng)汽車上裝載 AliOS 系統(tǒng)，這些用戶能優(yōu)先體驗到推薦算法帶來的便利。

相關文章：

阿里巴巴WSDM Cup 2018奪得第二名，獲獎論文全解讀

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。