本文英文出處：Robbie Allen

翻譯/雷鋒網(wǎng)字幕組 吳楚

校對(duì)/ 雷鋒網(wǎng) 田晉陽

 

機(jī)器學(xué)習(xí)的發(fā)展可以追溯到1959年，有著豐富的歷史。這個(gè)領(lǐng)域也正在以前所未有的速度進(jìn)化。在之前的一篇文章中，我們討論過為什么通用人工智能領(lǐng)域即將要爆發(fā)。有興趣入坑ML的小伙伴不要拖延了，時(shí)不我待！

 

在今年秋季開始準(zhǔn)備博士項(xiàng)目的時(shí)候，我已經(jīng)精選了一些有關(guān)機(jī)器學(xué)習(xí)和NLP的優(yōu)質(zhì)網(wǎng)絡(luò)資源。一般我會(huì)找一個(gè)有意思的教程或者視頻，再由此找到三四個(gè)，甚至更多的教程或者視頻。猛回頭，發(fā)現(xiàn)標(biāo)收藏夾又多了20個(gè)資源待我學(xué)習(xí)（推薦提升效率工具Tab Bundler）。

 

找到超過25個(gè)有關(guān)ML的“小抄”后，我寫一篇博文，里面的資源都有超鏈接。

為了幫助也在經(jīng)歷類似探索過程的童鞋，我把至今發(fā)現(xiàn)的最好的教程匯總了一個(gè)列表。當(dāng)然這不是網(wǎng)絡(luò)上有關(guān)ML的最全集合，而且其中有一部分內(nèi)容很普通。我的目標(biāo)是要找到最好的有關(guān)機(jī)器學(xué)習(xí)子方向和NLP的教程。

 

我引用了能簡(jiǎn)潔介紹概念的基礎(chǔ)內(nèi)容。我已經(jīng)回避包含一些大部頭書的章節(jié)，和對(duì)理解概念沒有幫助的科研論文。那為什么不買一本書呢？ 因?yàn)榻坛棠芨玫貛椭銓W(xué)一技之長(zhǎng)或者打開新視野。

 

我把這博文分成四個(gè)部分，機(jī)器學(xué)習(xí)，NLP，Python，和數(shù)學(xué)基礎(chǔ)。在每一小節(jié)我會(huì)隨機(jī)引入一些問題。由于這方面學(xué)習(xí)材料太豐富了，本文并未涵括所有內(nèi)容。

   機(jī)器學(xué)習(xí)

1、機(jī)器學(xué)習(xí)就是這么好玩！(medium.com/@ageitgey)

機(jī)器學(xué)習(xí)速成課程（Berkeley的ML）：

Part I：https://ml.berkeley.edu/blog/2016/11/06/tutorial-1/

Part II：https://ml.berkeley.edu/blog/2016/12/24/tutorial-2/

Part III：https://ml.berkeley.edu/blog/2017/02/04/tutorial-3/

機(jī)器學(xué)習(xí)入門與應(yīng)用：實(shí)例圖解(toptal.com)

機(jī)器學(xué)習(xí)的簡(jiǎn)易指南 (monkeylearn.com)

如何選擇機(jī)器學(xué)習(xí)算法？(sas.com)

2、Activation and Loss Functions

激活函數(shù)與損失函數(shù)

sigmoid 神經(jīng)元 (neuralnetworksanddeeplearning.com)

激活函數(shù)在神經(jīng)網(wǎng)絡(luò)中有什么作用？(quora.com)

神經(jīng)網(wǎng)絡(luò)的激活函數(shù)大全及其優(yōu)劣 (stats.stackexchange.com)

激活函數(shù)及其分類比較(medium.com)

理解對(duì)數(shù)損失 (exegetic.biz)

損失函數(shù)(Stanford CS231n)

損失函數(shù)L1 與L2 比較(rishy.github.io)

交叉熵?fù)p失函數(shù)(neuralnetworksanddeeplearning.com)

3、偏差（Bias）

神經(jīng)網(wǎng)絡(luò)中的偏差的作用(stackoverflow.com)

神經(jīng)網(wǎng)絡(luò)中的偏差節(jié)點(diǎn)(makeyourownneuralnetwork.blogspot.com)

什么是人工神經(jīng)網(wǎng)絡(luò)中的偏差 (quora.com)

4、感知器（Perceptron）

感知器模型(neuralnetworksanddeeplearning.com)

感知器(natureofcode.com)

一層的神經(jīng)網(wǎng)絡(luò)（感知器模型）(dcu.ie)

從感知器模型到深度網(wǎng)絡(luò)(toptal.com)

5、回歸算法

線性回歸分析簡(jiǎn)介(duke.edu)

線性回歸 (ufldl.stanford.edu)

線性回歸 (readthedocs.io)

邏輯斯特回歸 (readthedocs.io)

機(jī)器學(xué)習(xí)之簡(jiǎn)單線性回歸教程(machinelearningmastery.com)

機(jī)器學(xué)習(xí)之邏輯斯特回歸教程(machinelearningmastery.com)

softmax 回歸(ufldl.stanford.edu)

 

6、梯度下降

基于梯度下降的學(xué)習(xí) (neuralnetworksanddeeplearning.com)

梯度下降(iamtrask.github.io)

如何理解梯度下降算法？(kdnuggets.com)

梯度下降優(yōu)化算法概覽(sebastianruder.com)

優(yōu)化算法：隨機(jī)梯度下降算法 (Stanford CS231n)

7、生成學(xué)習(xí)

生成學(xué)習(xí)算法 (Stanford CS229)

貝葉斯分類算法之實(shí)例解析(monkeylearn.com)

8、支持向量機(jī)

支持向量機(jī)（SVM）入門(monkeylearn.com)

支持向量機(jī)(Stanford CS229)

線性分類：支持向量機(jī)，Softmax (Stanford 231n)

9、后向傳播算法（Backpropagation）

后向傳播算法必知(medium.com/@karpathy)

來，給我圖解一下神經(jīng)網(wǎng)絡(luò)后向傳播算法？(github.com/rasbt)

后向傳播算法是如何運(yùn)行的？(neuralnetworksanddeeplearning.com)

沿時(shí)后向傳播算法與梯度消失(wildml.com)

簡(jiǎn)易入門沿時(shí)后向傳播算法(machinelearningmastery.com)

奔跑吧，后向傳播算法！(Stanford CS231n)

10、深度學(xué)習(xí)

果殼里的深度學(xué)習(xí)(nikhilbuduma.com)

深度學(xué)習(xí)教程 (Quoc V. Le)

深度學(xué)習(xí)，什么鬼？(machinelearningmastery.com)

什么是人工智能，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)之間的區(qū)別？ (nvidia.com)

11、優(yōu)化算法與降維算法

數(shù)據(jù)降維的七招煉金術(shù)(knime.org)

主成分分析(Stanford CS229)

Dropout: 改進(jìn)神經(jīng)網(wǎng)絡(luò)的一個(gè)簡(jiǎn)單方法(Hinton @ NIPS 2012)

如何溜你們家的深度神經(jīng)網(wǎng)絡(luò)？(rishy.github.io)

12、長(zhǎng)短期記憶(LSTM) 

老司機(jī)帶你簡(jiǎn)易入門長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)(machinelearningmastery.com)

理解LSTM網(wǎng)絡(luò)(colah.github.io) 

漫談LSTM模型(echen.me)

小學(xué)生看完這教程都可以用Python實(shí)現(xiàn)一個(gè)LSTM-RNN (iamtrask.github.io)

13、卷積神經(jīng)網(wǎng)絡(luò)（CNNs）

卷積網(wǎng)絡(luò)入門(neuralnetworksanddeeplearning.com)

深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)模型(medium.com/@ageitgey)

拆解卷積網(wǎng)絡(luò)模型(colah.github.io)

理解卷積網(wǎng)絡(luò)(colah.github.io)

14、遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)

遞歸神經(jīng)網(wǎng)絡(luò)教程 (wildml.com)

注意力模型與增強(qiáng)型遞歸神經(jīng)網(wǎng)絡(luò)(distill.pub)

這么不科學(xué)的遞歸神經(jīng)網(wǎng)絡(luò)模型(karpathy.github.io)

深入遞歸神經(jīng)網(wǎng)絡(luò)模型(nikhilbuduma.com)

 15、強(qiáng)化學(xué)習(xí)

給小白看的強(qiáng)化學(xué)習(xí)及其實(shí)現(xiàn)指南 (analyticsvidhya.com)

強(qiáng)化學(xué)習(xí)教程(mst.edu)

強(qiáng)化學(xué)習(xí)，你學(xué)了么？(wildml.com)

深度強(qiáng)化學(xué)習(xí)：開掛玩Pong (karpathy.github.io)

16、對(duì)抗式生成網(wǎng)絡(luò)模型(GANs)

什么是對(duì)抗式生成網(wǎng)絡(luò)模型？(nvidia.com)

用對(duì)抗式生成網(wǎng)絡(luò)創(chuàng)造8個(gè)像素的藝術(shù)(medium.com/@ageitgey)

對(duì)抗式生成網(wǎng)絡(luò)入門（TensorFlow）(aylien.com)

《對(duì)抗式生成網(wǎng)絡(luò)》（小學(xué)一年級(jí)~上冊(cè)）(oreilly.com)

17、多任務(wù)學(xué)習(xí)

深度神經(jīng)網(wǎng)絡(luò)中的多任務(wù)學(xué)習(xí)概述(sebastianruder.com)

  NLP

1、NLP

《基于神經(jīng)網(wǎng)絡(luò)模型的自然語言處理》（小學(xué)一年級(jí)~上冊(cè)）(Yoav Goldberg)

自然語言處理權(quán)威指南(monkeylearn.com)

自然語言處理入門(algorithmia.com)

自然語言處理教程 (vikparuchuri.com)

Natural Language Processing (almost) from Scratch (arxiv.org)

初高中生課程：自然語言處理 (arxiv.org)

2、深度學(xué)習(xí)和 NLP

基于深度學(xué)習(xí)的NLP應(yīng)用(arxiv.org)

基于深度學(xué)習(xí)的NLP(Richard Socher)

理解卷積神經(jīng)網(wǎng)絡(luò)在NLP中的應(yīng)用(wildml.com)

深度學(xué)習(xí)，NLP，表示學(xué)習(xí)(colah.github.io)

嵌入表示，編碼，注意力，預(yù)測(cè) : 新一代深度學(xué)習(xí)因NLP的精妙而存在(explosion.ai)

理解基于神經(jīng)網(wǎng)絡(luò)的自然語言處理(Torch實(shí)現(xiàn)) (nvidia.com)

深度學(xué)習(xí)在NLP中的應(yīng)用(Pytorch實(shí)現(xiàn)) (pytorich.org)

 

 3、詞向量（Word Vectors）

詞袋法遇到感知器裝袋法(kaggle.com)

學(xué)習(xí)單詞嵌入表示法(sebastianruder.com)

Part I：http://sebastianruder.com/word-embeddings-1/index.html

Part II：http://sebastianruder.com/word-embeddings-softmax/index.html

Part III：http://sebastianruder.com/secret-word2vec/index.html

單詞嵌入表示的神奇力量(acolyer.org)

解釋word2vec 的參數(shù)學(xué)習(xí)(arxiv.org)

word2vec教程 skip-gram 模型，負(fù)采樣(mccormickml.com)

4、Encoder-Decoder

注意力機(jī)制與記憶機(jī)制在深度學(xué)習(xí)與NLP中的應(yīng)用(wildml.com)

序列到序列模型(tensorflow.org)

利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)序列到序列模型(NIPS 2014)

基于深度學(xué)習(xí)和魔法序列的語言翻譯(medium.com/@ageitgey)

如何使用編碼-解碼LSTM輸出隨機(jī)整數(shù)對(duì)應(yīng)的序列(machinelearningmastery.com)

tf-seq2seq (google.github.io)

  Python

1、Python

使用Python精通機(jī)器學(xué)習(xí)的七步法(kdnuggets.com)

機(jī)器學(xué)習(xí)的一個(gè)簡(jiǎn)例(nbviewer.jupyter.org)

2、實(shí)例

小白如何用python實(shí)現(xiàn)感知器算法(machinelearningmastery.com)

小學(xué)生用python實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)(wildml.com)

只用11行python代碼實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)算法(iamtrask.github.io)

自己動(dòng)手用ptython實(shí)現(xiàn)最近鄰算法(kdnuggets.com)

python實(shí)現(xiàn)長(zhǎng)短期記憶網(wǎng)絡(luò)的記憶機(jī)制(machinelearningmastery.com)

如何用長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)輸出隨機(jī)整數(shù)(machinelearningmastery.com)

如何用seq2seq遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)加法運(yùn)算(machinelearningmastery.com)

3、Scipy 和 numpy

Scipy課程筆記(scipy-lectures.org)

Python Numpy 教程(Stanford CS231n)

Numpy 與 Scipy 入門(UCSB CHE210D)

給科學(xué)家看的Python微課程(nbviewer.jupyter.org)

4、scikit-learn

PyCon會(huì)議上的Scik-learn 教程(nbviewer.jupyter.org)

Scikit-learn 中的分類算法(github.com/mmmayo13)

Scikit-learn教程(scikit-learn.org)

簡(jiǎn)明版Scikit-learn教程(github.com/mmmayo13)

5、Tensorflow

Tensorflow教程(tensorflow.org)

Tensorflow入門--CPU vs GPU

 (medium.com/@erikhallstrm)

Tensorflow入門(metaflow.fr)

Tensorflow實(shí)現(xiàn)RNNs (wildml.com)

Tensorflow實(shí)現(xiàn)文本分類CNN模型(wildml.com)

如何用Tensorflow做文本摘要(surmenok.com)

6、PyTorch

Pytorch教程(pytorch.org)

Pytorch快手入門 (gaurav.im)

利用Pytorch深度學(xué)習(xí)教程(iamtrask.github.io)

Pytorch實(shí)戰(zhàn)(github.com/jcjohnson)

PyTorch 教程(github.com/MorvanZhou)

深度學(xué)習(xí)研究人員看的PyTorch教程(github.com/yunjey)

  數(shù)學(xué)

1、機(jī)器學(xué)習(xí)中的數(shù)學(xué) (ucsc.edu)

https://people.ucsc.edu/~praman1/static/pub/math-for-ml.pdf

機(jī)器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)(UMIACS CMSC422)

2、線性代數(shù)

線性代數(shù)簡(jiǎn)明指南(betterexplained.com)

碼農(nóng)眼中矩陣乘法 (betterexplained.com)

理解叉乘運(yùn)算(betterexplained.com)

理解點(diǎn)乘運(yùn)算(betterexplained.com)

機(jī)器學(xué)習(xí)中的線性代數(shù)(U. of Buffalo CSE574)

深度學(xué)習(xí)的線代小抄(medium.com)

復(fù)習(xí)線性代數(shù)與課后閱讀材料(Stanford CS229)

3、概率論

貝葉斯理論 (betterexplained.com)

理解貝葉斯概率理論(Stanford CS229)

復(fù)習(xí)機(jī)器學(xué)習(xí)中的概率論(Stanford CS229)

概率論(U. of Buffalo CSE574)

機(jī)器學(xué)習(xí)中的概率論(U. of Toronto CSC411)

4、計(jì)算方法（Calculus）

如何理解導(dǎo)數(shù)：求導(dǎo)法則，指數(shù)和算法(betterexplained.com)

如何理解導(dǎo)數(shù)，乘法，冪指數(shù)，鏈?zhǔn)椒?betterexplained.com)

向量計(jì)算，理解梯度(betterexplained.com)

微分計(jì)算(Stanford CS224n)

計(jì)算方法概論(readthedocs.io)

為幫助對(duì)自然語言處理感興趣的同學(xué)快速高效入門，雷鋒網(wǎng)AI慕課學(xué)院特邀新加坡南洋理工大學(xué)博士玖強(qiáng)老師，為大家?guī)?a target="_blank" rel=nofollow>《NLP工程師入門實(shí)踐班：基于深度學(xué)習(xí)的自然語言處理》，課程包含NLP三大知識(shí)模塊，算法理論+案例實(shí)訓(xùn)，搭配典型行業(yè)應(yīng)用，層層遞進(jìn)，直通自然語言處理的本質(zhì)及其應(yīng)用！

早鳥價(jià)799元倒計(jì)時(shí)3天??！

更有組團(tuán)優(yōu)惠，4人成團(tuán)每人優(yōu)惠200元，快來組團(tuán)報(bào)名吧！

---

AI慕課學(xué)院近期推出了《NLP工程師入門實(shí)踐班：基于深度學(xué)習(xí)的自然語言處理》課程!

三大模塊，五大應(yīng)用，海外博士講師手把手教你入門NLP，更有豐富項(xiàng)目經(jīng)驗(yàn)相授；算法+實(shí)踐，搭配典型行業(yè)應(yīng)用；隨到隨學(xué)，專業(yè)社群，講師在線答疑！

課程地址：http://www.mooc.ai/course/427

加入AI慕課學(xué)院人工智能學(xué)習(xí)交流QQ群：624413030，與AI同行一起交流成長(zhǎng)

相關(guān)文章：

一文看懂中美AI產(chǎn)業(yè)布局，美國領(lǐng)銜芯片、算法、NLP領(lǐng)域|雷報(bào)047期

回望2017，基于深度學(xué)習(xí)的NLP研究大盤點(diǎn)

實(shí)踐入門NLP：基于深度學(xué)習(xí)的自然語言處理

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。