AI 研習(xí)社獲得官方授權(quán)，漢化翻譯CMU 2018 秋季《深度學(xué)習(xí)導(dǎo)論》課程，今日正式上線中文字幕版。

CMU 2018 秋季《深度學(xué)習(xí)導(dǎo)論》為官方開(kāi)源最新版本，由卡耐基梅隆大學(xué)教授 Bhiksha Raj 授權(quán) AI 研習(xí)社翻譯。

9 月 27 日開(kāi)始正式同步更新在 AI 研習(xí)社，跟隨官網(wǎng)課程節(jié)奏而更新。

觀看網(wǎng)址：

http://www.mooc.ai/course/562（點(diǎn)擊可直達(dá)）

「深度學(xué)習(xí)」系統(tǒng)，以神經(jīng)網(wǎng)絡(luò)為代表，逐漸應(yīng)用于所有的 AI 任務(wù)，從語(yǔ)言理解，語(yǔ)音和圖像識(shí)別到機(jī)器翻譯，規(guī)劃，甚至是游戲電競(jìng)和自動(dòng)駕駛。結(jié)果是在許多高級(jí)學(xué)術(shù)環(huán)境中，深度學(xué)習(xí)的專業(yè)知識(shí)正從深?yuàn)W晦澀的理想轉(zhuǎn)變?yōu)樾袠I(yè)必要的先決條件，并且在工業(yè)界的就業(yè)市場(chǎng)中占有非常大的優(yōu)勢(shì)。

在本課程中將會(huì)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，以及它們?cè)诒姸?nbsp;AI 任務(wù)中的應(yīng)用。課程結(jié)束后，期望學(xué)生能對(duì)深度學(xué)習(xí)有足夠的了解，并且能夠在眾多的實(shí)際任務(wù)中應(yīng)用深度學(xué)習(xí)。

課程官方鏈接：http://deeplearning.cs.cmu.edu/

本課程包含全面的概念描述，它幫助我們理解了深度學(xué)習(xí)的基礎(chǔ)知識(shí)。課程從多層感知機(jī)開(kāi)始逐漸深入更復(fù)雜的概念，比如注意力機(jī)制以及序列模型，另外我們必須完全掌握 Pytorch，這對(duì)實(shí)現(xiàn)深度學(xué)習(xí)模型非常重要。作為學(xué)生，會(huì)學(xué)習(xí)使用構(gòu)建深度學(xué)習(xí)模型所需要的工具。家庭作業(yè)主要包括兩個(gè)部分，分別是 Autolab 和 Kaggle。

Kaggle 部分讓我們探索多種架構(gòu)以及理解如何進(jìn)行微調(diào)并不斷改進(jìn)模型。所有的家庭作業(yè)涉及的任務(wù)都非常相似，嘗試使用多種深度學(xué)習(xí)方法來(lái)解決相同任務(wù)是非常有趣的?？偠灾?，在課程結(jié)束之際你會(huì)充滿信心去構(gòu)建并調(diào)試深度學(xué)習(xí)模型。

老師的學(xué)術(shù)功底很強(qiáng)，同時(shí)也是個(gè)故事大師，整理出來(lái)的人工神經(jīng)網(wǎng)絡(luò)的發(fā)展脈絡(luò)很清晰明了，以此為基礎(chǔ)引導(dǎo)學(xué)生由淺入深的思考問(wèn)題，有節(jié)奏的從理論到現(xiàn)實(shí)問(wèn)題的轉(zhuǎn)移，十分推薦。@付騰

Bhiksha Raj

使用主流的工具包（復(fù)習(xí)課和實(shí)驗(yàn)課主要用的工具是 PyTorch）。工具包主要用 Python 編程。學(xué)生只要需要掌握其中一門編程語(yǔ)言，或者可以使用自己熟練的編程語(yǔ)言并且學(xué)習(xí)一種工具包來(lái)進(jìn)行編程。

學(xué)生需要熟悉基礎(chǔ)微積分 (微分，鏈?zhǔn)椒▌t)，線性代數(shù)和概率論。

每周學(xué)習(xí)時(shí)間 (Units)： 本課程值得每周花 36 小時(shí)學(xué)習(xí)

第一講：

深度學(xué)習(xí)簡(jiǎn)介 

課程安排

神經(jīng)計(jì)算的歷史和認(rèn)知基礎(chǔ)

多層感知機(jī)

第二講

神經(jīng)網(wǎng)絡(luò)作為通用逼近器

第三講

訓(xùn)練神經(jīng)網(wǎng)絡(luò)

感知器學(xué)習(xí)規(guī)則

經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化

梯度下降優(yōu)化

第四講

反向傳播

反向傳播的微積分

第五講

神經(jīng)網(wǎng)絡(luò)的收斂性

收斂率

損失面

學(xué)習(xí)率以及優(yōu)化方法

最優(yōu)化方法 RMSProp, Adagrad,Momentum

第六講

隨機(jī)梯度下降 

模型加速

過(guò)擬合

正則化

第七講

技巧：選擇分歧損失函數(shù)；批歸一化；Dropout

訓(xùn)練過(guò)程回顧

學(xué)生答疑解惑

第八講

繼續(xù)前面的優(yōu)化課

第九講

卷積神經(jīng)網(wǎng)絡(luò)

權(quán)重模板

平移不變性

權(quán)值共享訓(xùn)練網(wǎng)絡(luò)

構(gòu)建卷積模型

第十講

視覺(jué)模型

神經(jīng)認(rèn)知機(jī)

卷積神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)細(xì)節(jié)

Alexnet,Inception,VGG 網(wǎng)絡(luò)

第十一講

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNNs)

建模系列

隨著時(shí)間的反向傳播

雙向 RNN

第十二講

穩(wěn)定性

梯度爆炸/梯度消失

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)以及方差

Resnets

第十三講

循環(huán)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)

序列預(yù)測(cè)

第十四講

序列到序列方法

連接時(shí)序分類

第十五講

序列到序列模型，注意力模型，語(yǔ)音和語(yǔ)言示例 

第十六講

神經(jīng)網(wǎng)絡(luò)是什么

自動(dòng)編碼器和降維

表征學(xué)習(xí)

第十七講

變分自動(dòng)編碼器

第十八講

生成對(duì)抗網(wǎng)絡(luò)（第一部分）

生成對(duì)抗網(wǎng)絡(luò)（第二部分）

第十九講

Hopfield 神經(jīng)網(wǎng)絡(luò)

玻爾茲曼機(jī)

第二十講

訓(xùn)練 Hopfield 網(wǎng)絡(luò) 

隨機(jī) Hopfield 網(wǎng)絡(luò)

第二十一講

受限玻爾茲曼機(jī)

深度玻爾茲曼機(jī)

第二十二講

強(qiáng)化學(xué)習(xí)第一部分

第二十三講

強(qiáng)化學(xué)習(xí)第二部分

第二十四講

感恩節(jié)假期

第二十五講

強(qiáng)化學(xué)習(xí)第三部分

第二十六講

強(qiáng)化學(xué)習(xí)第四部分

第二十七講

Q 學(xué)習(xí)

深度 Q 學(xué)習(xí)

第二十八講

新模型以及深度學(xué)習(xí)的趨勢(shì)

課程回顧 

復(fù)習(xí)課時(shí)間表

第一節(jié)：AWS 云服務(wù)

第二節(jié)：初試深度學(xué)習(xí)代碼 

第三節(jié)：高效深度學(xué)習(xí)/優(yōu)化算法

第四節(jié)：卷積神經(jīng)網(wǎng)絡(luò)

第五節(jié)：調(diào)試及可視化

第六節(jié)：循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

第七節(jié)：循環(huán)神經(jīng)網(wǎng)絡(luò)第二部分：損失函數(shù)，聯(lián)結(jié)時(shí)序分類（CTC）

第八節(jié)：注意力機(jī)制

第九節(jié)：深度學(xué)習(xí)相關(guān)研究

第十節(jié)：變分自動(dòng)編碼器

第十一節(jié)：生成對(duì)抗網(wǎng)絡(luò)

第十二節(jié)：強(qiáng)化學(xué)習(xí)

第十三節(jié)：Hopfield 網(wǎng)絡(luò)，玻爾茲曼機(jī)，受限玻爾茲曼機(jī)