Airbnb資深程序媛：公司里的Data Scientist

本文作者：朱赟

2016-06-15 11:32

導(dǎo)語：怎樣才算是好的Data Scientist ？硅谷的Data Scientist 薪資如何？

雷鋒網(wǎng)按：本文作者朱赟，Airbnb資深美女程序媛一枚（友情提示：頭像即真人）。

（圖：Emily Cheng 手繪，Airbnb 程序媛，我的鄰座）

硅谷的大部分公司，都有很多的Data Scientist，簡稱 DS，不知道國內(nèi)是不是叫數(shù)據(jù)科學家。

前幾天 InfoQ 的網(wǎng)站上發(fā)布了一篇文章《Airbnb支付平臺如何進行異常檢測》，翻譯的是 Airbnb 公司博客上的一篇英文原文。

這篇文章講的是 Airbnb 的一個異常探測系統(tǒng)：

Airbnb為全球190個國家提供服務(wù)，支持多種貨幣類型。大部分情況下，支付系統(tǒng)會成功支付，但有時會出現(xiàn)暫歇性故障，比如，某些貨幣不能處理或者支付渠道不可訪問。為了能夠盡可能快的捕捉到這些故障信息，公司的數(shù)據(jù)團隊開發(fā)了一個實時的異常檢測系統(tǒng)來甄別這些問題。這個異常檢測系統(tǒng)可以很好的幫助產(chǎn)品團隊定位問題，也讓數(shù)據(jù)分析師能騰出更多的時間來做其它工作，比如，新的付費方式或者產(chǎn)品上線的A/B 測試、定價或者價格預(yù)測和構(gòu)建機器學習模型來做個性化推薦。

注：InfoQ 作為 IT 媒體界的翹首，在規(guī)范翻譯英文博客的流程上起了一個很好的表率。首先就翻譯的準確性來說，InfoQ 網(wǎng)站上的翻譯總的來說質(zhì)量是很高的，也有專人校對。此外，我知道他們翻譯的文章是聯(lián)系授權(quán)的，就說這一篇，也是得到了 Aribnb 的 eng 部門和 PR 部門首肯的。在此對 InfoQ 對知識產(chǎn)權(quán)的尊重表示一下個人小小的敬意。

這個異常檢測系統(tǒng)我們現(xiàn)在仍然是在使用的，不過略有進一步的改進和完善。英文原文是我們組的一位 Data Scientist 陸競驍寫的。發(fā)布之后，也有幾個朋友私下問了一些細節(jié)問題，比如：“這樣的系統(tǒng)是怎么從無到有做出來的？” “需要什么樣的人來做？” 等等。所以今天就大概聊聊公司對 Data Scientist 的技能要求以及平時工作的一些大概內(nèi)容吧。

順便提一句，Twitter 其實也有一個類似的異常檢測系統(tǒng)的基于R語言的開源包。和我們的主要區(qū)別在于對于 seasonality 的處理。Airbnb 使用 FFT 模型來模擬 seasonality 的方式可能使用起來更加靈活一些。有興趣的可以下載 Twitter 的開源包，然后根據(jù)自己的需求做類似的系統(tǒng)。我們的系統(tǒng)目前還沒有開源。

| Data Scientist 都做什么？

在一般的互聯(lián)網(wǎng)公司，DS 的工作可能包括（卻不止于）下面四類：

構(gòu)建 Dashboard。這在有些公司是由 Business Intelligence（BI）來做的。主要是使用一些統(tǒng)計工具和畫圖工具來用創(chuàng)建 Dashboard，使得關(guān)鍵的 metrics 和信息可以一目了然的表示出來。并將一些數(shù)據(jù)之間錯綜復(fù)雜的聯(lián)系用最直觀的方式，為公司別的員工展示。讓包括 PM、經(jīng)理等人員對于公司各個層次、各個方向的信息有更準確的了解。
和數(shù)據(jù)工程師一起采集和清理數(shù)據(jù)，構(gòu)建數(shù)據(jù)管道。這包括使用各種腳本語言（如 Python），寫一些程序，獲取需要的數(shù)據(jù)，并對數(shù)據(jù)進行一定的處理。
機器學習方向的數(shù)據(jù)科學家和機器學習方向的軟件工程師一起構(gòu)建機器學習模型。并一起對學習的結(jié)果進行分析，和參與到參數(shù)和模型的調(diào)整中。
各種數(shù)據(jù)分析。包括對 A/B 測試的結(jié)果的統(tǒng)計分析。A/B 測試可能在很多公司的使用和機器學習差不多的廣泛了。簡單有效，尤其適合面向用戶的產(chǎn)品特性或者 UI 方面的決策選取。方法很簡單，將一個產(chǎn)品的兩種/多種設(shè)計隨機均等地推送給不同的用戶組，根據(jù)用戶的使用反饋回來的數(shù)據(jù)的分析，快速有效地決定哪一種設(shè)計更優(yōu)。或者說哪一種設(shè)計針對不同的人群和場景更優(yōu)。這些結(jié)果有時甚至會與設(shè)計時的直覺判斷相悖。但是當采樣范圍和數(shù)據(jù)累積均達到一定的程度時，提供的結(jié)果還是相當有說服力的。

| Data Scientist 都有什么樣的學術(shù)背景？

大都 DS 都是來自于數(shù)學和統(tǒng)計專業(yè)。然而也有很多來自物理、機械工程、金融等專業(yè)。相對而言，DS 比碼工的平均學歷要高，也就是碩士博士的比例更大一些。

知乎日報上《如何成為一名數(shù)據(jù)科學家？》一文中提到：

數(shù)據(jù)科學(Data Science)是從數(shù)據(jù)中提取知識的研究，關(guān)鍵是科學。數(shù)據(jù)科學集成了多種領(lǐng)域的不同元素，包括信號處理，數(shù)學，概率模型技術(shù)和理論，機器學習，計算機編程，統(tǒng)計學，數(shù)據(jù)工程，模式識別和學習，可視化，不確定性建模，數(shù)據(jù)倉庫，以及從數(shù)據(jù)中析取規(guī)律和產(chǎn)品的高性能計算。數(shù)據(jù)科學并不局限于大數(shù)據(jù)，但是數(shù)據(jù)量的擴大誠然使得數(shù)據(jù)科學的地位越發(fā)重要。

數(shù)據(jù)科學的從業(yè)者被稱為數(shù)據(jù)科學家。數(shù)據(jù)科學家通過精深的專業(yè)知識在某些科學學科解決復(fù)雜的數(shù)據(jù)問題。不遠的將來，數(shù)據(jù)科學家們需要精通一門、兩門甚至多門學科，同時使用數(shù)學，統(tǒng)計學和計算機科學的生產(chǎn)要素展開工作。所以數(shù)據(jù)科學家就如同一個team。

曾經(jīng)投資過 Facebook，LinkedIn 的格雷洛克風險投資公司把數(shù)據(jù)科學家描述成“能夠管理和洞察數(shù)據(jù)的人”。在 IBM 的網(wǎng)站上，數(shù)據(jù)科學家的角色被形容成“一半分析師，一半藝術(shù)家”。他們代表了商業(yè)或數(shù)據(jù)分析這個角色的一個進化。

| 怎樣算一個優(yōu)秀的 Data Scientist？

其實除了金融等領(lǐng)域?qū)?DS 的技術(shù)背景有著上面的嚴格的要求，很多互聯(lián)網(wǎng)公司如 Square、Airbnb、Facebook 等對于技術(shù)背景達到一定的水準后，更看重的其實是另外一些軟技能，如：

對數(shù)據(jù)的敏感性。能不能將數(shù)據(jù)里隱藏的信息通過建模等的方式找到并加以驗證。
和各種非 DS 的溝通能力。Data Scientest 通常都是分配到組里的，需要和產(chǎn)品經(jīng)理、工程師等很緊密的合作。協(xié)調(diào)組員之間的信息傳遞，將一個數(shù)據(jù)驅(qū)動的測試方案執(zhí)行出來，都是一個優(yōu)秀的 DS 應(yīng)該具備的素質(zhì)。
數(shù)據(jù)的可視化表示。知道怎樣選取最有效的方式，將數(shù)據(jù)中的信息準確明了的表示出來。
對數(shù)據(jù)和公司核心 Metrics 之間的依賴性、相關(guān)性能做出準確的分析。這樣才能有助于提出更有利于提高公司 Metrics 的方案。

這也是為什么很多硅谷的公司在招 DS 的時候，更愿意招有工作經(jīng)驗的 DS，很多中小公司甚至干脆不招畢業(yè)生。而因為各種數(shù)據(jù)生成的 dashboard，更是公司高層做決定的一些主要依據(jù)。

| Data Scientist 在硅谷的薪資是怎樣的？

這個問題我的數(shù)據(jù)不夠，不好以偏概全的來誤導(dǎo)。不過倒是讓我想起來另外一件事。

大家經(jīng)?？吹?LinkedIn、GlassDoor 等網(wǎng)站對各個職業(yè)的平均水平進行統(tǒng)計。我和我的一些朋友覺得，這些數(shù)據(jù)其實是很 bias 的，而且基本可以說是偏低的。為什么這么說呢？我猜有兩個原因。第一，剛?cè)肼殘龅娜烁矚g參與這樣的統(tǒng)計調(diào)查。而比較 Senior 的人，其實幾乎沒有人或者很少有人去參與這樣的調(diào)查。第二，很多高工資的公司參與這樣的統(tǒng)計調(diào)查的人要相對較少。我為什么這么猜？只是從我認識的人提起這樣的一些統(tǒng)計數(shù)據(jù)都覺得比實際情況偏低推測的。不用跟我爭辯，我只是說出我的觀點，信不信由你。