是時(shí)候放棄循環(huán)神經(jīng)網(wǎng)絡(luò)了！

本文作者： JocelynWang

編輯：幸麗娟

2020-02-03 09:39

導(dǎo)語：用卷積網(wǎng)絡(luò)要比用循環(huán)神經(jīng)網(wǎng)絡(luò)幸福得多~

有人說，不同語言之間的翻譯，與其說是一門科學(xué)，不如說是一門藝術(shù)。

NLP 領(lǐng)域的機(jī)器學(xué)習(xí)工程師 Riccardo Di Sipio 日前提出了一個(gè)觀點(diǎn)：使用卷積網(wǎng)絡(luò)要比使用循環(huán)神經(jīng)網(wǎng)絡(luò)來做 NLP 研究，要幸福得多——是時(shí)候放棄循環(huán)神經(jīng)網(wǎng)絡(luò)了！

基于這一觀點(diǎn)，他從卷積網(wǎng)絡(luò)本身的基本原理出發(fā)，論述了為什么 NLP 不再需要循環(huán)神經(jīng)網(wǎng)絡(luò)的原因。

我們來看：

不久前，人工智能科學(xué)家侯世達(dá)（Douglas Hofstadter）就在 The Atlantic 上發(fā)表的一篇論文中指出，目前機(jī)器翻譯尚處于「淺薄」的階段。

文章閱讀地址：https://www.theatlantic.com/technology/archive/2018/01/the-shallowness-of-google-translate/551570/

盡管機(jī)器翻譯存在局限性，但難以否認(rèn)的是，自動翻譯軟件在許多情況下都有良好的效果，而其背后的技術(shù)在任何存在信息從一個(gè)領(lǐng)域流動到另一個(gè)領(lǐng)域的語境中都具有廣泛的應(yīng)用，例如基因組學(xué)中從 RNA 到蛋白質(zhì)編碼的翻譯過程。

直到 2015年，序列到序列的映射（或者說翻譯）使用的主要方法都是循環(huán)神經(jīng)網(wǎng)絡(luò)，特別是長短期記憶（LSTM）網(wǎng)絡(luò)。

我在前一篇文章中介紹了這些網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)知識，我還談到了 LSTM 被應(yīng)用于大型強(qiáng)子對撞機(jī)的頂部夸克對衰變的運(yùn)動學(xué)重建過程。這篇文章鏈接如下：

https://medium.com/towards-artificial-intelligence/what-have-bidirectional-lstm-neural-networks-to-do-with-top-quarks-2cbed7feda47

然后，出現(xiàn)了一些新的方法：比如殘差網(wǎng)路架構(gòu)和注意力機(jī)制的提出，為針對這類任務(wù)的更通用的框架的實(shí)現(xiàn)鋪平了道路。

值得一提的是，這些新穎的網(wǎng)路架構(gòu)還解決了另一個(gè)問題：事實(shí)上，由于 RNN 固有的時(shí)序性，很難利用這種網(wǎng)絡(luò)在像 GPU 這樣的并行系統(tǒng)上進(jìn)行訓(xùn)練。而這一點(diǎn)正是卷積神經(jīng)網(wǎng)絡(luò)使用起來非常方便的地方。

一、卷積神經(jīng)網(wǎng)絡(luò)

在數(shù)學(xué)中，卷積表示的是當(dāng)函數(shù) f 作用于另一個(gè)函數(shù) g 時(shí)生成第三個(gè)函數(shù)的一種運(yùn)算：

是時(shí)候放棄循環(huán)神經(jīng)網(wǎng)絡(luò)了！

此運(yùn)算不應(yīng)與調(diào)制（例如 AM 傳輸中的 EM 信號）混淆，調(diào)制是將兩個(gè)函數(shù)簡單相乘。求知欲強(qiáng)的人可能會深究到：時(shí)間空間中的卷積傅里葉變換，實(shí)質(zhì)上是頻率空間中的調(diào)制，即：

是時(shí)候放棄循環(huán)神經(jīng)網(wǎng)絡(luò)了！

所以這兩種運(yùn)算雖然密切相關(guān)，但切不可被混淆。

在計(jì)算機(jī)科學(xué)的離散世界中，積分被求和取代，兩函數(shù)之間的乘法由矩陣間的乘法代替。用行話來說，就是將卷積核應(yīng)用到圖像上來生成卷積特征，一次卷積將生成一個(gè)新的特征。在下面每一對圖像中，當(dāng)對左邊部分發(fā)生一次卷積變換，將于右邊部分產(chǎn)生一個(gè)新的值，如下圖所示：

是時(shí)候放棄循環(huán)神經(jīng)網(wǎng)絡(luò)了！

在對這個(gè)序列的操作中，圖像（灰色矩陣）由一個(gè)卷積核（橙色矩陣）卷積操作以獲得卷積特征（綠色矩陣）。

通常來說，卷積核是一個(gè)網(wǎng)絡(luò)的權(quán)值矩陣，必須通過某種算法（如：反向傳播）計(jì)算，才能得到它的期望輸出。

這種操作的一個(gè)很好并且非常重要的特性是，一旦「圖片」被加載到記憶中，不同的卷積核會對其進(jìn)行操作，這樣就可以減少輸入/輸出（I/O）次數(shù)，從而更好地利用帶寬。通常，卷積操作由以下兩種方式執(zhí)行：

降維：這正是上圖中的例子，例如將 4x4 圖像被 2x2 卷積核降維至 3x3 圖像，這稱為有效填充。
維數(shù)保持不變：在這種情況下，在使用卷積核之前，原始圖像用其周圍的零來進(jìn)行填充。例如，一個(gè) 4x4 圖像被填充到5x5 矩陣中，然后被一個(gè) 2x2 卷積核核進(jìn)行卷積操作后縮小為4x4 圖像（原大?。?。這稱為相同的填充。

在卷積之后，通常會進(jìn)行池化操作：在每個(gè)卷積塊中，只將最大值傳遞到下一層。此操作用于降低圖片維數(shù)以及過濾噪聲。降維的關(guān)鍵是通過信息壓縮來尋找更高水平的特征。

常用的做法是，通過將上述兩個(gè)步驟的板塊鏈合在一起，來構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。一些成功的網(wǎng)絡(luò)架構(gòu)案例如下：

AlexNet（2012）：該網(wǎng)絡(luò)共包含 8 層；其中前 5 層是卷積層，其中一部分卷積層后面連著最大池化層，最后 3 層為全連接層。這個(gè)網(wǎng)絡(luò)利用 ReLU 而不是 tanh 或 sigmoid 作為激活函數(shù)。
VGGNet（2014）：顧名思義，這是一個(gè)非常深的卷積網(wǎng)絡(luò)，它一共包括 16 層。與 AlexNet 類似，它僅有 3x3 卷積核，但有許多濾波器。它是目前用于從圖像中提取特征的最為主流的方法。
GoogLeNet（2014）：這個(gè)網(wǎng)絡(luò)的靈感來源于較為久遠(yuǎn)的 LeNet，但在其基礎(chǔ)上又利用了 Inception 模塊。在引入它之前，CNN 只是通過將卷積層疊得越來越深來實(shí)現(xiàn)。為說明在相似圖像中信息可以在不同尺度范圍內(nèi)傳播，該網(wǎng)絡(luò)在同一層上使用幾種不同大小的卷積核（如：1x1、3x3、5x5…），然后將它們的輸出連接，再把九個(gè)類似上述的模塊堆疊起來。由于深度網(wǎng)絡(luò)受到梯度消失問題的影響，更新的實(shí)現(xiàn)使用的是殘差網(wǎng)絡(luò)架構(gòu)。
ResNet（2015）：殘差神經(jīng)網(wǎng)絡(luò)具有顯著的批量標(biāo)準(zhǔn)化（Batch Normalization）和跳躍連接特征。跳躍連接指的是網(wǎng)絡(luò)中的信息通過跳過某些層走捷徑。這里的「技巧」是通過殘差塊獲得的。另外一種類似于殘差網(wǎng)絡(luò)架構(gòu)的方法被稱為高速公路網(wǎng)絡(luò)（Highway Networks）。

二、注意力機(jī)制

既然現(xiàn)在我們已經(jīng)了解了卷積神經(jīng)網(wǎng)絡(luò)的基本知識，那么讓我們回到最原始的問題：我們?nèi)绾问褂眠@樣的網(wǎng)絡(luò)代替循環(huán)網(wǎng)絡(luò)來解析序列呢？

注意力機(jī)制背后的主要觀點(diǎn)是，網(wǎng)絡(luò)應(yīng)該找出輸入序列的哪些部分或元素與生給定的輸出序列元素具有更強(qiáng)的相關(guān)性。它通過為每個(gè)輸入元素創(chuàng)建一個(gè)注意力權(quán)重向量（權(quán)重介于 0 和 1 之間，通過 Softmax 產(chǎn)生），并使用它們來調(diào)整信息流。如果我們首先關(guān)注基于 RNN 的網(wǎng)絡(luò)，這將變得更容易理解。

對于每個(gè)輸入元素（時(shí)間階），RNN 層會存儲一個(gè)隱藏狀態(tài)。所以對于 N 個(gè)輸入將會有 N 個(gè)隱藏狀態(tài)。此時(shí)，我們可以通過簡單地讓注意力權(quán)重和隱藏狀態(tài)逐個(gè)元素相乘（也就是哈達(dá)瑪積）。來生成剩下文向量：

是時(shí)候放棄循環(huán)神經(jīng)網(wǎng)絡(luò)了！