0
本文作者: skura | 2019-10-25 10:16 |
溝通是數(shù)據(jù)科學(xué)領(lǐng)域的一門藝術(shù),也是一種有用的工具。能夠傳達(dá)自己的見解是必要的,這才能讓其他人根據(jù)發(fā)現(xiàn)的結(jié)果采取所需的行動(dòng)。其中,講故事是最有效的數(shù)據(jù)交流方式之一。但要成為一個(gè)引人注目的講故事者,我們需要簡化事情,而不是把它們復(fù)雜化,這樣分析的真正本質(zhì)就不會(huì)丟失。簡言之,不要簡單地展示數(shù)據(jù),用它講述一個(gè)故事。
在這一期的 Kaggle Grandmasters 訪談中,我將帶給大家的是,一位大師級(jí)故事講述者的驚人而令人鼓舞的旅程:Shivam Bansal——Kaggle Kernels Grandmaster 和 H2O.ai 的資深數(shù)據(jù)科學(xué)家。他目前在新加坡工作,參與了 H 2O.ai 在亞太地區(qū)的活動(dòng)。Shivam 是一名來自印度的計(jì)算機(jī)科學(xué)畢業(yè)生,他隨后于 2019 年在新加坡國立大學(xué)獲得商業(yè)分析碩士學(xué)位,并在那里獲得了杰出的 Capstone 項(xiàng)目獎(jiǎng)。
Shivam 的 kaggle 之旅非常有趣和專注,用他自己的話說:
「我于今年 1 月加入 Kaggle,年底成為 Kernels Grandmaster,總排名第二,獲得 10 項(xiàng) Kernel 大獎(jiǎng)(包括每周 3 項(xiàng) Kernels 大獎(jiǎng)和 4 項(xiàng) Swag 大獎(jiǎng)),還獲得 3 項(xiàng)貨物挑戰(zhàn)數(shù)據(jù)科學(xué)核心競賽。」
kaggle 最初吸引你的是什么,第一場勝利是什么時(shí)候來的?
Shivam:2014 年,當(dāng)我在第一家公司工作時(shí),我開始了解 Shivam。我當(dāng)時(shí)正在開發(fā)一個(gè)文本分析框架,包括情緒分析,同時(shí),kaggle 上也有一個(gè)類似的競賽。當(dāng)時(shí)我并沒有加入 kaggle 比賽,而是把它作為一個(gè)好的討論和知識(shí)參考的資源。我加入 kaggle 四年后,在 2018 年初,參加了一個(gè)關(guān)于差評(píng)分類比賽。在那場比賽中,我從別人分享的許多 Kernel 中學(xué)到了很多東西。我意識(shí)到 kaggle Kernel 是任何試圖學(xué)習(xí)和實(shí)踐數(shù)據(jù)科學(xué)的人最有價(jià)值的工具之一。
Shivam 的 Kernel 主頁
2018 年 4 月,我參加了由 Donorschoose、Kaggle 和 Google 組織的「數(shù)據(jù)科學(xué)的良好競爭」活動(dòng)。我在一個(gè) kernel 中創(chuàng)建了一個(gè)混合推薦引擎,它被選為比賽的冠軍。這是我第一次在 kaggle 上取得重大勝利。
你為什么決定進(jìn)入競爭激烈的數(shù)據(jù)科學(xué)領(lǐng)域?
Shivam 的獲獎(jiǎng)作品:https://www.kaggle.com/shivamb/1-bulletin-structuring-engine-cola
Shivam:我喜歡參加數(shù)據(jù)科學(xué)良性競爭挑戰(zhàn)。這些比賽呈現(xiàn)了一組特殊的、獨(dú)特的、具有挑戰(zhàn)性的問題陳述。不同于傳統(tǒng)的特定于 ML 比賽,這些比賽更開放。這類競賽要求在數(shù)據(jù)科學(xué)的所有方面都有完整的解決方案——從數(shù)據(jù)挖掘、清潔、工程、分析、建模、可視化、洞察力,最重要的是,還有講故事。我喜歡這樣的比賽,因?yàn)檫@些比賽是非常接近現(xiàn)實(shí)生活中的數(shù)據(jù)科學(xué)項(xiàng)目。
從你的 Kernel 可以推斷出,你通常會(huì)將問題分解為更小的部分。這種方法是如何幫助你解決問題的?
Shivam:任何分析或數(shù)據(jù)科學(xué)問題本質(zhì)上都是非結(jié)構(gòu)化的。這意味著沒有明確的目標(biāo)和任務(wù)要做;因此,有時(shí)很難建模和處理。我總是試圖通過把問題分解成更小的任務(wù),在問題陳述中加入一個(gè)結(jié)構(gòu)。然后,我嘗試連接這些任務(wù),并準(zhǔn)備一個(gè)粗略的管道,其中包含每個(gè)部分的可能解決方案/代碼。
作為第一個(gè)目標(biāo),我確保創(chuàng)建 kernel 的端到端版本,所有組件和任務(wù)都準(zhǔn)備就緒。在這一點(diǎn)上,結(jié)果可能不是有效的,也不是最先進(jìn)的,但是我通過添加可視化、洞察力、解釋、代碼重構(gòu)等來迭代地改進(jìn)我的 kernel。這種方法可以使整個(gè)問題狀態(tài)和解決方案更加清晰,也有助于提高與分析思維相關(guān)的技能,結(jié)構(gòu)化思維和批判性思維。
除了在 kernel 中顯而易見的透徹分析之外,您還可以將結(jié)果可視化。數(shù)據(jù)可視化對(duì)數(shù)據(jù)科學(xué)家來說有多重要?
Shivam:可視化是整個(gè)數(shù)據(jù)科學(xué)工作流程的關(guān)鍵部分。能夠清晰地顯示數(shù)據(jù)集中的信息和見解是業(yè)界高度贊賞和追求的技能。無論是在 eda 階段還是建模后階段,可視化都起著至關(guān)重要的作用。最終我們的用戶可能并不總是理解數(shù)據(jù)或結(jié)果的技術(shù)方面,但是當(dāng)使用不同的繪圖、交互、動(dòng)畫和各種圖形進(jìn)行可視化時(shí),這些結(jié)果會(huì)變得更加明顯。在許多領(lǐng)域中,視覺起到了非常重要的作用——數(shù)據(jù)故事、向業(yè)務(wù)用戶展示數(shù)據(jù)的洞察力,甚至解釋黑匣子機(jī)器學(xué)習(xí)模型。
你是最新加入的 Grandmaster。作為 H2O.ai 的數(shù)據(jù)科學(xué)家,你的角色是什么,在哪些特定領(lǐng)域工作?
Shivam 和 H2O.ai 的一些 kaggle 大師同事
Shivam:我的目標(biāo)是為 H2O.ai 目前正在開發(fā)的新產(chǎn)品做出貢獻(xiàn),同時(shí)也幫助改進(jìn)具有新功能的無人駕駛汽車。我希望能產(chǎn)生影響的領(lǐng)域包括無監(jiān)督機(jī)器學(xué)習(xí)、自然語言處理、自動(dòng)洞察、視覺分析、自動(dòng)敘述的自然語言生成和人工智能。我還積極與亞太地區(qū)的銷售和售前團(tuán)隊(duì)合作,以獲得更多的客戶,教育潛在客戶,并協(xié)助他們處理具體項(xiàng)目和查詢。此外,我還與客戶團(tuán)隊(duì)成功合作,幫助不同的組織在其項(xiàng)目中啟用人工智能。
除了 kaggle 之外,你能為數(shù)據(jù)科學(xué)初學(xué)者分享一些有用的資源嗎?
Shivam:除了 Kaggle,我從博客和網(wǎng)站上學(xué)到了很多,比如 Analytics Vidhya, Towards Data Science 和 KDnuggets Vidhya。這些博客是了解一個(gè)新概念的好資源。為了獲得更全面的數(shù)據(jù)科學(xué)知識(shí),我推薦一些專家的課程,比如 deeplearning.a i 和 fast.ai。
是否有任何特定的領(lǐng)域需要在 ML 中應(yīng)用您的專業(yè)知識(shí)?
Shivam:解決發(fā)展中國家低銀行人口的小額貸款問題。許多個(gè)人或小企業(yè)被拒絕貸款,因?yàn)樗麄儫o法進(jìn)入銀行,因此沒有信貸記錄。我想使用網(wǎng)絡(luò)科學(xué)、圖論和非結(jié)構(gòu)化數(shù)據(jù)等概念開發(fā)模型來幫助這部分人群。
對(duì)于剛剛開始或希望開始數(shù)據(jù)科學(xué)之旅的數(shù)據(jù)科學(xué)愛好者,有什么建議嗎?
Shivam:數(shù)據(jù)科學(xué)是關(guān)于思想和實(shí)驗(yàn)的。這一切都是關(guān)于嘗試這些想法和實(shí)驗(yàn),并不斷重復(fù),直到達(dá)到一個(gè)成功的階段。這可以培養(yǎng)一種「愿意嘗試」不同實(shí)驗(yàn)而失敗,邁出第一步,不斷進(jìn)步的心態(tài)。
Shivam 獲得了新加坡國立大學(xué)頒發(fā)的杰出 Capstone 項(xiàng)目獎(jiǎng),因?yàn)樗麆?chuàng)建了一個(gè)使用非結(jié)構(gòu)化數(shù)據(jù)和深度學(xué)習(xí)的中小企業(yè)替代信貸評(píng)分平臺(tái)。
另一個(gè)有價(jià)值的建議是始終從端到端的角度思考。這意味著在開發(fā)數(shù)據(jù)科學(xué)解決方案時(shí),必須牢記業(yè)務(wù)視角。這種想法有助于為手頭的任何業(yè)務(wù)問題提出一個(gè)創(chuàng)造性的相關(guān)解決方案。
最后,在開始學(xué)習(xí)數(shù)據(jù)科學(xué)的同時(shí),互聯(lián)網(wǎng)上有很多有用的資源,你可以選擇一個(gè),開始它,堅(jiān)持下去,并完成它。資源太多,很容易分心,我見過的很多人都沒有做到這一點(diǎn)。要充分利用任何課程,最好的方法就是從頭到尾的完成它。
Shivam 在 kaggle 中的核心思想總是將徹底的研究、清晰的文檔和高質(zhì)量的可視化結(jié)合在一起。他在工作中付出的努力是巨大的,而 kernel 內(nèi)核是這一事實(shí)的證明。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。