感知和翻譯等大多數(shù)神經(jīng)網(wǎng)絡(luò)的架構(gòu)正變得越來越復(fù)雜，遠非此前簡單的前饋神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)所能比。特別需要注意的是，神經(jīng)網(wǎng)絡(luò)正與不同的技術(shù)（如LSTMs、卷積、自定義目標(biāo)函數(shù)等）相混合。

神經(jīng)網(wǎng)絡(luò)是多數(shù)深度學(xué)習(xí)項目的根基。深度學(xué)習(xí)基于人腦結(jié)構(gòu)，一層層互相連接的人工模擬神經(jīng)元模仿大腦的行為，處理視覺和語言等復(fù)雜問題。這些人工神經(jīng)網(wǎng)絡(luò)可以收集信息，也可以對其做出反應(yīng)。它們能對事物的外形和聲音做出解釋，還可以自行學(xué)習(xí)與工作。

但這一切都需要極高的計算能力。早在 80 年代初期，Geoffrey Hinton和他的同事們就開始研究深度學(xué)習(xí)。然而彼時電腦還不夠快，不足以處理有關(guān)神經(jīng)網(wǎng)絡(luò)的這些龐大的數(shù)據(jù)。當(dāng)時AI研究的普遍方向也與他們相反，人們都在尋找捷徑，直接模擬出行為而不是模仿大腦的運作。

隨著計算能力的提升和算法的改進，今天，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)已經(jīng)成為人工智能領(lǐng)域最具吸引力的流派。這些神經(jīng)網(wǎng)絡(luò)還在變得更復(fù)雜，當(dāng)年“谷歌大腦”團隊最開始嘗試“無監(jiān)督學(xué)習(xí)”時，就動用了1.6萬多臺微處理器，創(chuàng)建了一個有數(shù)十億連接的神經(jīng)網(wǎng)絡(luò)，在一項實驗中觀看了千萬數(shù)量級的YouTube圖像。

當(dāng)你閱讀本文時，你是在理解前面詞語的基礎(chǔ)上來理解每個詞語的。你的思想具有連續(xù)性，你不會丟棄已知信息而從頭開始思考。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一大缺陷便是無法做到這一點，而遞歸神經(jīng)網(wǎng)絡(luò)（RNN）能夠解決這一問題。

RNN擁有循環(huán)結(jié)構(gòu)，可以持續(xù)保存信息。過去幾年里，RNN在語音識別和翻譯等許多問題上取得了難以置信的成功，而成功的關(guān)鍵在于一種特殊的RNN——長短期記憶網(wǎng)絡(luò)（LSTMs）。

普通的RNN可以學(xué)會預(yù)測“the clouds are in the sky”中最后一個單詞，但難以學(xué)會預(yù)測“I grew up in France… I speak fluent French.”中最后一個詞。相關(guān)信息（clouds、France）和預(yù)測位置（sky、French）的間隔越大，神經(jīng)網(wǎng)絡(luò)就越加難以學(xué)習(xí)連接信息。這被稱為是“長期依賴關(guān)系”問題。

“注意力”是指神經(jīng)網(wǎng)絡(luò)在執(zhí)行任務(wù)時知道把焦點放在何處。我們可以讓神經(jīng)網(wǎng)絡(luò)在每一步都從更大的信息集中挑選信息作為輸入。

例如，當(dāng)神經(jīng)網(wǎng)絡(luò)為一張圖片生成標(biāo)題時，它可以挑選圖像的關(guān)鍵部分作為輸入。

神經(jīng)圖靈機（Neural Turing Machine）就是研究者們在硅片中重現(xiàn)人類大腦短期記憶的嘗試。它的背后是一種特殊類型的神經(jīng)網(wǎng)絡(luò)，它們可以適應(yīng)與外部存儲器共同工作，這使得神經(jīng)網(wǎng)絡(luò)可以存儲記憶，還能在此后檢索記憶并執(zhí)行一些有邏輯性的任務(wù)。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）最早出現(xiàn)在計算機視覺中，但現(xiàn)在許多自然語言處理（NLP）系統(tǒng)也會使用。LSTMs與遞歸神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)最早出現(xiàn)在NLP中，但現(xiàn)在也被納入計算機視覺神經(jīng)網(wǎng)絡(luò)。

此外，計算機視覺與NLP的交匯仍然擁有無限前景。想象一下程序為美劇自動嵌入中文字幕的場景吧。

多個團隊以不同方法大幅壓縮了訓(xùn)練一個良好模型所需的素材體量，這些方法包括二值化、固定浮點數(shù)、迭代修剪和精細調(diào)優(yōu)步驟等。

雖然NIPS 2015上沒有什么強化學(xué)習(xí)（reinforcement learning）的重要成果，但“深度強化學(xué)習(xí)”研討會還是展現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)相結(jié)合的前景。

在“端對端”（end-to-end）機器人等領(lǐng)域出現(xiàn)了令人激動的進展，現(xiàn)在機器人已經(jīng)可以一起運用深度和強化學(xué)習(xí)，從而將原始感官數(shù)據(jù)直接轉(zhuǎn)化為實際動作驅(qū)動。我們正在超越“分類”等簡單工作，嘗試將“計劃”與“行動”納入方程。還有大量工作需要完成，但早期的工作已經(jīng)使人感到興奮。

批標(biāo)準(zhǔn)化（batch normalization）現(xiàn)在被視作評價一個神經(jīng)網(wǎng)絡(luò)工具包的部分標(biāo)準(zhǔn)，在NIPS 2015 上被不斷提及。

創(chuàng)造新的神經(jīng)網(wǎng)絡(luò)方法需要研究者，還需要能將它們迅速付諸實踐的方法。谷歌的TensorFlow是少數(shù)能夠做到這些的庫：使用Python 或 C++等主流編程語言，研究者可以迅速創(chuàng)作新的網(wǎng)絡(luò)拓撲圖，接著在單一或多個設(shè)備（包括移動設(shè)備）上進行測試。