0
本文作者: AI研習(xí)社-譯站 | 2021-01-05 15:15 |
譯者:AI研習(xí)社(話左)
雙語(yǔ)原文鏈接:How Much Math do you need in Data Science?
Benjamin O. Tayo.提供圖片
如果你有心學(xué)習(xí)數(shù)據(jù)科學(xué),那么你一定會(huì)在腦海中想過(guò)下面的問(wèn)題:
沒(méi)有或者只有很少的數(shù)學(xué)知識(shí),我能做一個(gè)數(shù)據(jù)科學(xué)家嗎?
數(shù)據(jù)科學(xué)必需的數(shù)學(xué)工具有哪些?
有很多優(yōu)秀的包可用于建立預(yù)測(cè)模型或者數(shù)據(jù)可視化。其中最常用的用于描述和預(yù)測(cè)分析的一些包有:
Ggplot2
Matplotlib
Seaborn
Scikit-learn
Caret
TensorFlow
PyTorch
Keras
多虧了這些包,任何人都可以建立起一個(gè)模型或者實(shí)現(xiàn)數(shù)據(jù)可視化。然而, 堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)對(duì)于修改你的模型讓你的模型性能更好更加可靠來(lái)說(shuō)是十分必要的。建立模型是一回事,解釋模型得出可用于數(shù)據(jù)驅(qū)動(dòng)的決策的有意義的結(jié)論又是另一回事。用這些包之前,理解每個(gè)包中的數(shù)學(xué)原理是很重要的。因?yàn)檫@樣你才不是簡(jiǎn)單地只是把這些包作為一個(gè)黑盒來(lái)使用。
假設(shè)我們要建立一個(gè)多重回歸模型。在此之前,我們需要問(wèn)一下自己下面的這些問(wèn)題:
我的數(shù)據(jù)集有多大?
我的特征變量和目標(biāo)變量是什么?
什么預(yù)測(cè)特征與目標(biāo)變量關(guān)聯(lián)性最大?
什么特征是重要的?
我需要量化特征值嗎?
我的數(shù)據(jù)集應(yīng)該如何分成訓(xùn)練集和測(cè)試集?
什么是主成分分析(PCA)
我應(yīng)該用PCA移除多余特征嗎?
我要如何評(píng)估我的模型?用R2,MSE還是MAE?
我應(yīng)該如何提升模型預(yù)測(cè)的能力?
我應(yīng)該使用正則化的回歸模型嗎?
什么是回歸系數(shù)?
什么是截距?
我應(yīng)該使用諸如K近鄰回歸或者支持向量回歸這種非參數(shù)回歸模型嗎?
我的模型中有哪些超參數(shù),如何對(duì)其進(jìn)行微調(diào)以獲得性能最佳的模型?
沒(méi)有良好的數(shù)學(xué)背景,你就無(wú)法解決上面提到的問(wèn)題。 最重要的是,在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)中,數(shù)學(xué)技能與編程技能同等重要。 因此,作為有志于數(shù)據(jù)科學(xué)的人,你必須花時(shí)間研究數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的理論和數(shù)學(xué)基礎(chǔ)。 你構(gòu)建可應(yīng)用于實(shí)際問(wèn)題的可靠而有效的模型的能力取決于您的數(shù)學(xué)基礎(chǔ)。
現(xiàn)在我們來(lái)聊聊數(shù)據(jù)科學(xué)還有機(jī)器學(xué)習(xí)所必需的一些數(shù)學(xué)工具。
1. 統(tǒng)計(jì)與概率
統(tǒng)計(jì)與概率學(xué)可用于特征的可視化,數(shù)據(jù)預(yù)處理,特征轉(zhuǎn)換,數(shù)據(jù)插入,降維,特征工程,模型評(píng)估等。
這里是你需要熟悉的概念:均值,中位數(shù),眾數(shù),標(biāo)準(zhǔn)差/方差, 相關(guān)系數(shù)和協(xié)方差矩陣,概率分布(二項(xiàng),泊松,正太), p-值, 貝葉斯理論(精確性,召回率,陽(yáng)性預(yù)測(cè)值,陰性預(yù)測(cè)值,混淆矩陣,ROC曲線), 中心極限定理, R_2值, 均方誤差(MSE),A/B測(cè)試,蒙特卡洛模擬。
2. 多元微積分
大多數(shù)機(jī)器學(xué)習(xí)模型都是由帶有許多特征或者預(yù)測(cè)因子的數(shù)據(jù)集建立的。因此,熟悉多元微積分對(duì)于建立機(jī)器學(xué)習(xí)模型及其重要。
這里是你需要熟悉的概念:多元函數(shù);導(dǎo)數(shù)和梯度; 階躍函數(shù),Sigmoid函數(shù), Logit函數(shù), ReLU(整流線性單元)函數(shù);損失函數(shù);函數(shù)作圖;函數(shù)最大最小值。
3. 線性代數(shù)
線性代數(shù)是機(jī)器學(xué)習(xí)中最重要的數(shù)學(xué)工具。 數(shù)據(jù)集通常都表示為矩陣。 線性代數(shù)常用于數(shù)據(jù)預(yù)處理,數(shù)據(jù)轉(zhuǎn)換,降維和模型評(píng)估。
這里是你需要熟悉的概念:向量;向量的范數(shù);矩陣;矩陣轉(zhuǎn)置;矩陣的逆;矩陣的行列式;矩陣的跡;點(diǎn)積;特征值;特征向量
4. 優(yōu)化方法
大多數(shù)機(jī)器學(xué)習(xí)算法通過(guò)最小化目標(biāo)函數(shù)來(lái)建立預(yù)測(cè)模型,由此學(xué)習(xí)應(yīng)用于測(cè)試數(shù)據(jù)的權(quán)重以獲得預(yù)測(cè)的標(biāo)簽。
這里是你需要熟悉的概念:損失函數(shù)/目標(biāo)函數(shù);似然函數(shù);誤差函數(shù);梯度下降算法及其衍生(如隨機(jī)梯度下降)
總之,我們已經(jīng)討論了數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)所需的基本數(shù)學(xué)和理論技能。 有幾門免費(fèi)的在線課程可以教你數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)所必需的數(shù)學(xué)知識(shí)。 作為有志于數(shù)據(jù)科學(xué)的人,請(qǐng)記住,數(shù)據(jù)科學(xué)的理論基礎(chǔ)對(duì)于構(gòu)建高效且可靠的模型至關(guān)重要。 因此,您應(yīng)該投入足夠的時(shí)間來(lái)研究每種機(jī)器學(xué)習(xí)算法背后的數(shù)學(xué)理論。
使用R實(shí)現(xiàn)主成分分析的數(shù)學(xué)原理
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作,通過(guò)提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù),為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái),致力成為中國(guó)最大的科技創(chuàng)新人才聚集地。
如果,你也是位熱愛分享的AI愛好者。歡迎與譯站一起,學(xué)習(xí)新知,分享成長(zhǎng)。
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。