關(guān)于機(jī)器學(xué)習(xí)，你需要知道的十個(gè)基礎(chǔ)算法

毫無疑問，作為人工智能的子領(lǐng)域—機(jī)器學(xué)習(xí)在過去的幾年中越來越受歡迎。由于大數(shù)據(jù)是目前科技行業(yè)最熱門的趨勢(shì)，基于大量的數(shù)據(jù)機(jī)器學(xué)習(xí)在提前預(yù)測(cè)和做出建議方面有巨大的潛力。一些有關(guān)機(jī)器學(xué)習(xí)常見的例子有：Netflix基于你以前看過的電影再給你做出影片的推薦，或者亞馬遜根據(jù)你以前買過的書籍再給你進(jìn)行圖書推薦。

如果想了解更多有關(guān)機(jī)器學(xué)習(xí)的知識(shí)，要從哪里開始呢？作者第一次入門是在哥本哈根海外交流時(shí)選了一門有關(guān)人工智能的課程。這門課程的講師是丹麥科技大學(xué)（Technical University of Denmark）的應(yīng)用數(shù)學(xué)以及計(jì)算機(jī)科學(xué)全職教授，他的研究領(lǐng)域主要是邏輯學(xué)和人工智能方面，主要研究?jī)?nèi)容是使用邏輯來對(duì)計(jì)算機(jī)類人行為（比如計(jì)劃、推理以及問題解決等）進(jìn)行建模。這門課包括理論、核心概念探討以及親自動(dòng)手解決問題。作者所使用的教材是人工智能（AI）領(lǐng)域的經(jīng)典教材之一：Peter Norvig's Artificial Intelligence?—?A Modern Approach（人工智能—現(xiàn)代方法），在其中我們學(xué)習(xí)的幾個(gè)主題包括：智能agents、通過搜索解決問題、社會(huì)化AI、AI的哲學(xué)/社會(huì)學(xué)/未來。在課程的結(jié)尾，作者使用簡(jiǎn)單的基于搜索的agents來解決虛擬環(huán)境中的傳輸問題。

作者表示通過這門課程學(xué)到了相當(dāng)多的知識(shí)，也決定繼續(xù)學(xué)習(xí)這個(gè)特殊的課題。在接下來的幾個(gè)星期，作者在舊金山參加了很多關(guān)于機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)架構(gòu)的科技講座，特別是一個(gè)有很多業(yè)內(nèi)知名學(xué)者參加的機(jī)器學(xué)習(xí)會(huì)議。最重要的是，作者在Udacity中選修了一門“機(jī)器學(xué)習(xí)入門”的在線課程，最近已經(jīng)完成學(xué)習(xí)。在本文中，作者將在課程中學(xué)習(xí)到的機(jī)器學(xué)習(xí)算法分享給大家。

機(jī)器學(xué)習(xí)算法可以分為三個(gè)大類：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。其中：

監(jiān)督學(xué)習(xí)對(duì)于有標(biāo)簽的特定數(shù)據(jù)集（訓(xùn)練集）是非常有效的，但是它需要對(duì)于其他的距離進(jìn)行預(yù)測(cè)。

無監(jiān)督學(xué)習(xí)對(duì)于在給定未標(biāo)記的數(shù)據(jù)集（目標(biāo)沒有提前指定）上發(fā)現(xiàn)潛在關(guān)系是非常有用的。

強(qiáng)化學(xué)習(xí)介于這兩者之間—它針對(duì)每次預(yù)測(cè)步驟（或行動(dòng)）會(huì)有某種形式的反饋，但是沒有明確的標(biāo)記或者錯(cuò)誤信息。本文主要介紹有關(guān)監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的10種算法。

監(jiān)督學(xué)習(xí)

1.決策樹（Decision Trees）：

決策樹是一個(gè)決策支持工具，它使用樹形圖或決策模型以及序列可能性。包括各種偶然事件的后果、資源成本、功效。下圖展示的是它的大概原理：

 

從業(yè)務(wù)決策的角度來看，大部分情況下決策樹是評(píng)估作出正確的決定的概率最不需要問是/否問題的辦法。它能讓你以一個(gè)結(jié)構(gòu)化的和系統(tǒng)化的方式來處理這個(gè)問題，然后得出一個(gè)合乎邏輯的結(jié)論。

2.樸素貝葉斯分類(Naive Bayesian classification)：

樸素貝葉斯分類是一種十分簡(jiǎn)單的分類算法，叫它樸素貝葉斯分類是因?yàn)檫@種方法的思想真的很樸素，樸素貝葉斯的思想基礎(chǔ)是這樣的：對(duì)于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。

它的現(xiàn)實(shí)使用例子有：

將一封電子郵件標(biāo)記（或者不標(biāo)記）為垃圾郵件

將一篇新的文章歸類到科技、政治或者運(yùn)動(dòng)

檢查一段文本表達(dá)的是積極情緒還是消極情緒

臉部識(shí)別軟件

3.最小二乘法（Ordinary Least Squares Regression）：

如果你懂統(tǒng)計(jì)學(xué)的話，你可能以前聽說過線性回歸。最小二乘法是一種計(jì)算線性回歸的方法。你可以把線性回歸當(dāng)做在一系列的點(diǎn)中畫一條合適的直線的任務(wù)。有很多種方法可以實(shí)現(xiàn)這個(gè)，“最小二乘法”是這樣做的?—你畫一條線，然后為每個(gè)數(shù)據(jù)點(diǎn)測(cè)量點(diǎn)與線之間的垂直距離，并將這些全部相加，最終得到的擬合線將在這個(gè)相加的總距離上盡可能最小。

4.邏輯回歸(Logistic Regression)：

邏輯回歸是一種強(qiáng)大的統(tǒng)計(jì)方法，它能建模出一個(gè)二項(xiàng)結(jié)果與一個(gè)（或多個(gè)）解釋變量。它通過估算使用邏輯運(yùn)算的概率，測(cè)量分類依賴變量和一個(gè)（或多個(gè)）獨(dú)立的變量之間的關(guān)系，這是累積的邏輯分布情況。

總的來說，邏輯回歸可以用于以下幾個(gè)真實(shí)應(yīng)用場(chǎng)景：

信用評(píng)分

測(cè)量營(yíng)銷活動(dòng)的成功率

預(yù)測(cè)某一產(chǎn)品的收入

特定某一天是否會(huì)發(fā)生地震

5.支持向量機(jī)（Support Vector Machine）：

SVM（Support Vector Machine）是二元分類算法。給定一組2種類型的N維的地方點(diǎn)，SVM（Support Vector Machine）產(chǎn)生一個(gè)（N - 1）維超平面到這些點(diǎn)分成2組。假設(shè)你有2種類型的點(diǎn)，且它們是線性可分的。 SVM（Support Vector Machine）將找到一條直線將這些點(diǎn)分成2種類型，并且這條直線會(huì)盡可能地遠(yuǎn)離所有的點(diǎn)。

在規(guī)模方面，目前最大的使用支持向量機(jī)SVM（Support Vector Machine）（在適當(dāng)修改的情況下）的問題是顯示廣告，人類剪接位點(diǎn)識(shí)別，基于圖像的性別檢測(cè)，大規(guī)模的圖像分類等。

6.組合方法（Ensemble methods）：

組合方法是學(xué)習(xí)算法，它構(gòu)建一系列分類，然后通過采取加權(quán)投票預(yù)測(cè)的方式來對(duì)新的數(shù)據(jù)點(diǎn)進(jìn)行分類。原始的集成方法是貝葉斯平均法，但最近的算法包括對(duì)其糾錯(cuò)輸出編碼、套袋、加速等。

那么組合方法如何運(yùn)行的呢？為什么說它們比其他的模型要優(yōu)秀？因?yàn)椋?/p>

它們將偏差平均了：如果你將民主黨派的民意調(diào)查和共和黨的民意調(diào)查發(fā)在一起平均化，那么你將得到一個(gè)均衡的結(jié)果，且不偏向任何一方。

它們減少了差異：一堆模型的總結(jié)意見沒有一個(gè)模型的單一意見那么嘈雜。在金融領(lǐng)域，這就是所謂的多元化?—?有許多股票組合比一個(gè)單獨(dú)的股票的不確定性更少，這也為什么你的模型在數(shù)據(jù)多的情況下會(huì)更好的原因。

它們不太可能過度擬合：如果你有沒有過度擬合的獨(dú)立模型，你通過一個(gè)簡(jiǎn)單的方式（平均，加權(quán)平均，邏輯回歸）對(duì)每個(gè)獨(dú)立模型的預(yù)測(cè)進(jìn)行結(jié)合，這樣的話不太可能會(huì)出現(xiàn)過度擬合的情況。

無監(jiān)督學(xué)習(xí)

7.聚類算法（Clustering Algorithms）：

聚類是一種聚集對(duì)象的任務(wù)，例如：相比其他不同的組在同一組（集群）的對(duì)象彼此更為相似。

每個(gè)聚類算法都是不同的，比如說有以下幾種：

基于質(zhì)心的算法

基于連接的算法

基于密度的算法

可能性

維度縮減

神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)

8.主成分分析（Principal Component Analysis，PCA）：

通過正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量，轉(zhuǎn)換后的這組變量叫主成分。

一些主成分分析PCA程序的應(yīng)用包括壓縮、簡(jiǎn)化數(shù)據(jù)、可視化。注意，對(duì)于選擇是否使用主成分分析領(lǐng)域知識(shí)是非常重要的。當(dāng)數(shù)據(jù)是嘈雜的時(shí)候（所有的組件的主成分分析有相當(dāng)高的方差），它是不適合的。

9. 奇異值分解（Singular Value Decomposition）：

在線性代數(shù)中，SVD是一個(gè)非常復(fù)雜矩陣的因數(shù)分解。對(duì)于一個(gè)給定的m×n矩陣M，存在一個(gè)分解，M = UΣV，其中u和v是單一矩陣，Σ是對(duì)角矩陣。

主成分分析PCA其是奇異值分解SVD的簡(jiǎn)單應(yīng)用。在計(jì)算機(jī)視覺領(lǐng)域，第一人臉識(shí)別算法，運(yùn)用主成分分析PCA其是奇異值分解SVD來代表面孔作為一個(gè)線性組合的“特征臉”，并對(duì)其做降維，然后通過簡(jiǎn)單的方法匹配合適的身份；雖然現(xiàn)代方法更復(fù)雜，但是許多人仍然依靠類似的技術(shù)。

10.獨(dú)立成分分析（Independent Component Analysis）：

獨(dú)立成分分析（Independent Component Analysis，ICA）是一種揭示構(gòu)筑隨機(jī)變量、技術(shù)測(cè)量、信號(hào)等隱藏因素的統(tǒng)計(jì)技術(shù)。ICA定義了所觀察到的多變量數(shù)據(jù)生成模型，這通常是給定為一個(gè)大型數(shù)據(jù)庫(kù)的樣本。在該模型中，數(shù)據(jù)變量被假定為一些未知潛變量的線性混合，同時(shí)混合系統(tǒng)也仍然未知。潛變量被假定是非高斯和相互獨(dú)立的，它們被稱為所觀察到的數(shù)據(jù)的獨(dú)立分量。

ICA與PCA是相關(guān)的，但它更強(qiáng)大。在這些經(jīng)典的方法完全失敗的時(shí)候，ICA能夠找到源頭的潛在因素。它的應(yīng)用包括數(shù)字圖像、文檔數(shù)據(jù)庫(kù)、經(jīng)濟(jì)指標(biāo)和心理測(cè)試。

通過以上介紹，相信大部分人對(duì)于機(jī)器學(xué)習(xí)的算法都有一定的了解。如果對(duì)這方面感興趣的話，可以接著運(yùn)用你理解的算法去創(chuàng)造機(jī)器學(xué)習(xí)應(yīng)用，為世界各地的人們創(chuàng)造更好的生活條件。

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

via LAB41

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。