加入 Kaggle 大數(shù)據(jù)競賽，總共分幾步？

本文作者：恒亮

2017-03-10 17:02

導(dǎo)語：大?？偨Y(jié)：如何通過 4 個簡單步驟入門 Kaggle ？

日前，谷歌在 Google Cloud Next 云計算大會上宣布收購知名大數(shù)據(jù)競賽平臺 Kaggle。消息一出，震動了數(shù)據(jù)科學(xué)、AI、機器學(xué)習(xí)三界（詳見雷鋒網(wǎng)文章：谷歌收購 Kaggle 為什么會震動三界？）。相信經(jīng)過這條新聞的曝光，未來會出現(xiàn)更多的開發(fā)者和從業(yè)人員加入 Kaggle 一展身手。為此，雷鋒網(wǎng)編譯了一篇國外大牛的博文，其中總結(jié)了入門 Kaggle 競賽的四個簡單步驟，希望對相關(guān)人員有所幫助。

加入 Kaggle 大數(shù)據(jù)競賽，總共分幾步？

原文作者 Jason Brownlee，機器學(xué)習(xí)專家，開發(fā)者，作家，企業(yè)家，曾在美國國防部門、初創(chuàng)企業(yè)和極端天氣預(yù)報機構(gòu)從事機器學(xué)習(xí)的相關(guān)開發(fā)工作多年。目前為了幫助機器學(xué)習(xí)領(lǐng)域更多的開發(fā)者，開設(shè)了一個名為 Machine Learning Mastery 的網(wǎng)站，提供各種入門和高級的機器學(xué)習(xí)教程。

為什么選 Kaggle？

目前，開發(fā)者可以通過各種各樣的方式來學(xué)習(xí)和實踐機器學(xué)習(xí)技能，但為什么大家都選擇 Kaggle 呢？或許是因為 Kaggle 具有以下一些特定的優(yōu)勢：

● 問題的定義明確，直接提供了可用的數(shù)據(jù)庫；
● 由于行業(yè)里充斥著各種五花八門的排行榜，因此很難找到其他更客觀的機器學(xué)習(xí)測試平臺；
● 通常每場比賽都會有許多討論和分享，參賽者可以從中學(xué)習(xí)，并參與分享；
● 通過解決現(xiàn)實生活中的某個特定數(shù)據(jù)問題，參賽者可以充分展示自己；
● 這是一個完全靠技術(shù)說話的平臺，只要你能解決問題，就能贏得尊重，跟學(xué)歷和學(xué)位無關(guān)。

概述

這里，我總結(jié)了入門 Kaggle 競賽的四個簡單步驟：

1. 選定一個平臺
2. 基于標準的數(shù)據(jù)庫練習(xí)
3. 練習(xí)舊的 Kaggle 題目
4. 在 Kaggle 上比賽

就像這世上的許多事，簡單地寫出這四個步驟當然很容易，但實現(xiàn)起來很難。實現(xiàn)它們需要付出非凡的時間和精力，無疑會是一項艱苦的工作。當然，天道酬勤，只要你付出了努力，并且有條不紊地堅持下去，那么總有一天你將成為一名世界級的機器學(xué)習(xí)從業(yè)者。

另外，對于那些已經(jīng)具備一些開發(fā)經(jīng)驗的讀者，你可以直接跳到第四步開始比賽。但對于本文的主要讀者，那些入門級的用戶，我還是建議從第一步開始。

下面我們具體看看這四個步驟。

1. 選定一個平臺

同樣，擺在開發(fā)者面前的可選平臺也很多，可能最終你會發(fā)現(xiàn)初期的選擇糾結(jié)是沒有必要的，因為每個開發(fā)者實際上都同時使用許多平臺，但剛開始你必須選定一個。

這里，我推薦大家以 Python 為起點。原因有以下幾條：

● 業(yè)界對基于 Python 的機器學(xué)習(xí)需求正在增長；
● 不像 R 語言，Python 是一個全功能的編程語言；
● Python 的生態(tài)系統(tǒng)已經(jīng)基本成熟，可選的工具包非常豐富，例如 sklearn，pandas，statsmodels，xgboost 等；
● Python 具有一些非常好的深度學(xué)習(xí)框架：Theano，TensorFlow，Keras 等。

總之，你必須先選定一個平臺，并開始學(xué)習(xí)如何使用它。

深入閱讀：

● Python is the Growing Platform for Applied Machine Learning

地址：http://machinelearningmastery.com/python-growing-platform-applied-machine-learning/

● Python Machine Learning

地址：http://machinelearningmastery.com/start-here/#python

2. 基于標準的數(shù)據(jù)庫練習(xí)

選定了平臺之后，下一步就是基于真實的數(shù)據(jù)庫展開實踐。

這里我推薦通過 UCI machine learning repository （UCI 機器學(xué)習(xí)資源庫）來解決一些標準的機器學(xué)習(xí)問題。

UCI 官網(wǎng)：http://archive.ics.uci.edu/ml/index.html

需要強調(diào)的是：將每個數(shù)據(jù)集都視為一次小型的比賽。相關(guān)注意事項包括：

● 將數(shù)據(jù)集組織成一個隊列，并且保留測試集，將測試集分成一個公共和私人的排行榜；
● 概括每一個數(shù)據(jù)集的處理過程，堅持下去，并不斷修正這一過程，直到通過它你可以很容易地得到針對每一個小型數(shù)據(jù)集的頂級結(jié)果；
● 對每一個數(shù)據(jù)集規(guī)定時間上線，例如必須在幾個小時內(nèi)完成；
● 充分利用相關(guān)數(shù)據(jù)集的文檔資料，以更好地定義既定問題和解釋特征。
● 學(xué)習(xí)如何充分利用好每一個工具、算法和數(shù)據(jù)集。

總之，你需要認真對待每一個數(shù)據(jù)集，通過處理各種不同的數(shù)據(jù)集積累經(jīng)驗，并將這些經(jīng)驗應(yīng)用到處理新的數(shù)據(jù)集中。

深入閱讀：

● Practice Machine Learning with Small In-Memory Datasets

http://machinelearningmastery.com/practice-machine-learning-with-small-in-memory-datasets-from-the-uci-machine-learning-repository/

● Applied Machine Learning Process

http://machinelearningmastery.com/start-here/#process

加入 Kaggle 大數(shù)據(jù)競賽，總共分幾步？

3. 練習(xí)舊的 Kaggle 題目

經(jīng)過以上兩步，現(xiàn)在你已經(jīng)清楚地認識了自己的工具，并懂得如何去使用它們，是時候練習(xí)一些舊的 Kaggle 題目了。

你可以訪問那些舊的 Kaggle 比賽的數(shù)據(jù)集，并針對這些數(shù)據(jù)發(fā)布自己的解決方案，然后在公共和私人的榜單上進行評估。

第三步的核心目的是：學(xué)習(xí)以往比賽中的頂級選手是如何處理競賽性的機器學(xué)習(xí)問題的，然后將他們的方法融入自己的解題思路之中。相關(guān)注意事項包括：

● 盡量選擇類型各不相同的問題，迫使自己學(xué)習(xí)和應(yīng)用新的、與以往不同的技術(shù)；
● 研究論壇里的帖子、頂級選手的博客、GitHub 倉庫和所有其他的相關(guān)資料，學(xué)習(xí)別人的解決方案；
● 以進入公共或私人排行榜的前 10% 為奮斗目標；
● 針對同一個數(shù)據(jù)集，嘗試多個不同的獲獎?wù)叩慕鉀Q方案。

總之，你需要認真學(xué)習(xí)以往的優(yōu)秀參賽者的解決方案和工具，并吸收他們的優(yōu)點，進一步積累經(jīng)驗，將這些經(jīng)驗應(yīng)用到新數(shù)據(jù)集的處理中。

深入閱讀：

● Machine Learning is Kaggle Competitions

http://machinelearningmastery.com/machine-learning-is-kaggle-competitions/

● Discover the Methodology and Mindset of a Kaggle Master: An Interview with Diogo Ferreira

http://machinelearningmastery.com/discover-the-methodology-and-mindset-of-a-kaggle-master-an-interview-with-diogo-ferreira/