0
雷鋒網(wǎng) AI 科技評論按：本文的作者是張俊林老師，他是中國中文信息學(xué)會理事，中科院軟件所博士，目前在新浪微博 AI Lab 擔(dān)任資深算法專家。在此之前，張俊林老師曾在阿里巴巴任資深技術(shù)專家并負(fù)責(zé)新技術(shù)團(tuán)隊(duì)，也曾在百度和用友擔(dān)任技術(shù)經(jīng)理及技術(shù)總監(jiān)等職務(wù)。同時(shí)他是技術(shù)書籍《這就是搜索引擎：核心技術(shù)詳解》（該書榮獲全國第十二屆優(yōu)秀圖書獎(jiǎng)）、《大數(shù)據(jù)日知錄：架構(gòu)與算法》的作者。本文首發(fā)于知乎，經(jīng)作者許可，雷鋒網(wǎng) AI 科技評論進(jìn)行轉(zhuǎn)載。
在辭舊迎新的時(shí)刻，大家都在忙著回顧過去一年的成績（或者在灶臺前含淚數(shù)鍋），并對 2019 做著規(guī)劃，當(dāng)然也有不少朋友執(zhí)行力和工作效率比較高，直接把 2018 年初制定的計(jì)劃拷貝一下，就能在 3 秒鐘內(nèi)完成 2019 年計(jì)劃的制定，在此表示祝賀。2018 年從經(jīng)濟(jì)角度講，對于所有人可能都是比較難過的一年，而對于自然語言處理領(lǐng)域來說，2018 年無疑是個(gè)收獲頗豐的年頭，而諸多技術(shù)進(jìn)展如果只能選擇一項(xiàng)來講的話，那么當(dāng)之無愧的應(yīng)該就是 Bert 模型了。在上一篇介紹 Bert 的文章「從 Word Embedding 到 Bert 模型—自然語言處理中的預(yù)訓(xùn)練技術(shù)發(fā)展史」里，我曾大言不慚地宣稱如下兩個(gè)個(gè)人判斷：一個(gè)是 Bert 這種兩階段的模式（預(yù)訓(xùn)練+Finetuning）必將成為 NLP 領(lǐng)域研究和工業(yè)應(yīng)用的流行方法；第二個(gè)是從 NLP 領(lǐng)域的特征抽取器角度來說，Transformer 會逐步取代 RNN 成為最主流的的特征抽取器。關(guān)于特征抽取器方面的判斷，上面文章限于篇幅，只是給了一個(gè)結(jié)論，并未給出具備誘惑力的說明，看過我文章的人都知道我不是一個(gè)隨便下結(jié)論的人（那位正在補(bǔ)充下一句：「你隨便起來不是……」的同學(xué)請住口，請不要泄露國家機(jī)密，你可以繼續(xù)睡覺，吵到其它同學(xué)也沒有關(guān)系，哈哈），但是為什么當(dāng)時(shí)我會下這個(gè)結(jié)論呢？本文可以看做是上文的一個(gè)外傳，會給出比較詳實(shí)的證據(jù)來支撐之前給出的結(jié)論。
如果對目前 NLP 里的三大特征抽取器的未來走向趨勢做個(gè)宏觀判斷的話，我的判斷是這樣的：RNN 人老珠黃，已經(jīng)基本完成它的歷史使命，將來會逐步退出歷史舞臺；CNN 如果改造得當(dāng)，將來還是有希望有自己在 NLP 領(lǐng)域的一席之地，如果改造成功程度超出期望，那么還有一絲可能作為割據(jù)一方的軍閥，繼續(xù)生存壯大，當(dāng)然我認(rèn)為這個(gè)希望不大，可能跟宋小寶打籃球把姚明打哭的概率相當(dāng)；而新歡 Transformer 明顯會很快成為 NLP 里擔(dān)當(dāng)大任的最主流的特征抽取器。至于將來是否會出現(xiàn)新的特征抽取器，一槍將 Tranformer 挑落馬下，繼而取而代之成為新的特征抽取山大王？這種擔(dān)憂其實(shí)是挺有必要的，畢竟李商隱在一千年前就告誡過我們說：「君恩如水向東流，得寵憂移失寵愁。莫向樽前奏花落，涼風(fēng)只在殿西頭。」當(dāng)然這首詩看樣子目前送給 RNN 是比較貼切的，至于未來 Transformer 是否會失寵？這個(gè)問題的答案基本可以是肯定的，無非這個(gè)時(shí)刻的來臨是 3 年之后，還是 1 年之后出現(xiàn)而已。當(dāng)然，我希望如果是在讀這篇文章的你，或者是我，在未來的某一天，從街頭拉來一位長相普通的淑女，送到韓國整容，一不小心偏離流水線整容工業(yè)的美女模板，整出一位天香國色的絕色，來把 Transformer 打入冷宮，那是最好不過。但是在目前的狀態(tài)下，即使是打著望遠(yuǎn)鏡，貌似還沒有看到有這種資質(zhì)的候選人出現(xiàn)在我們的視野之內(nèi)。
我知道如果是一位嚴(yán)謹(jǐn)?shù)难邪l(fā)人員，不應(yīng)該在目前局勢還沒那么明朗的時(shí)候做出如上看似有些武斷的明確結(jié)論，所以這種說法可能會引起爭議。但是這確實(shí)就是我目前的真實(shí)想法，至于根據(jù)什么得出的上述判斷？這種判斷是否有依據(jù)？依據(jù)是否充分？相信你在看完這篇文章可以有個(gè)屬于自己的結(jié)論。
可能談到這里，有些平常吃虧吃的少所以喜歡挑刺的同學(xué)會質(zhì)疑說：你憑什么說 NLP 的典型特征抽取器就這三種呢？你置其它知名的特征抽取器比如 Recursive NN 于何地? 嗯，是，很多介紹 NLP 重要進(jìn)展的文章里甚至把 Recursive NN 當(dāng)做一項(xiàng) NLP 里的重大進(jìn)展，除了它，還有其它的比如 Memory Network 也享受這種部局級尊貴待遇。但是我一直都不太看好這兩個(gè)技術(shù)，而且不看好很多年了，目前情形更堅(jiān)定了這個(gè)看法。而且我免費(fèi)奉勸你一句，沒必要在這兩個(gè)技術(shù)上浪費(fèi)時(shí)間，至于為什么，因?yàn)楦疚闹黝}無關(guān)，以后有機(jī)會再詳細(xì)說。
上面是結(jié)論，下面，我們正式進(jìn)入舉證階段。
NLP 任務(wù)的特點(diǎn)和圖像有極大的不同，上圖展示了一個(gè)例子，NLP 的輸入往往是一句話或者一篇文章，所以它有幾個(gè)特點(diǎn)：首先，輸入是個(gè)一維線性序列，這個(gè)好理解；其次，輸入是不定長的，有的長有的短，而這點(diǎn)其實(shí)對于模型處理起來也會增加一些小麻煩；再次，單詞或者子句的相對位置關(guān)系很重要，兩個(gè)單詞位置互換可能導(dǎo)致完全不同的意思。如果你聽到我對你說：「你欠我那一千萬不用還了」和「我欠你那一千萬不用還了」，你聽到后分別是什么心情？兩者區(qū)別了解一下；另外，句子中的長距離特征對于理解語義也非常關(guān)鍵，例子參考上圖標(biāo)紅的單詞，特征抽取器能否具備長距離特征捕獲能力這一點(diǎn)對于解決 NLP 任務(wù)來說也是很關(guān)鍵的。
上面這幾個(gè)特點(diǎn)請記清，一個(gè)特征抽取器是否適配問題領(lǐng)域的特點(diǎn)，有時(shí)候決定了它的成敗，而很多模型改進(jìn)的方向，其實(shí)就是改造得使得它更匹配領(lǐng)域問題的特性。這也是為何我在介紹 RNN、CNN、Transformer 等特征抽取器之前，先說明這些內(nèi)容的原因。
NLP 是個(gè)很寬泛的領(lǐng)域，包含了幾十個(gè)子領(lǐng)域，理論上只要跟語言處理相關(guān)，都可以納入這個(gè)范圍。但是如果我們對大量 NLP 任務(wù)進(jìn)行抽象的話，會發(fā)現(xiàn)絕大多數(shù) NLP 任務(wù)可以歸結(jié)為幾大類任務(wù)。兩個(gè)看似差異很大的任務(wù)，在解決任務(wù)的模型角度，可能完全是一樣的。
通常而言，絕大部分 NLP 問題可以歸入上圖所示的四類任務(wù)中：一類是序列標(biāo)注，這是最典型的 NLP 任務(wù)，比如中文分詞，詞性標(biāo)注，命名實(shí)體識別，語義角色標(biāo)注等都可以歸入這一類問題，它的特點(diǎn)是句子中每個(gè)單詞要求模型根據(jù)上下文都要給出一個(gè)分類類別。第二類是分類任務(wù)，比如我們常見的文本分類，情感計(jì)算等都可以歸入這一類。它的特點(diǎn)是不管文章有多長，總體給出一個(gè)分類類別即可。第三類任務(wù)是句子關(guān)系判斷，比如 Entailment，QA，語義改寫，自然語言推理等任務(wù)都是這個(gè)模式，它的特點(diǎn)是給定兩個(gè)句子，模型判斷出兩個(gè)句子是否具備某種語義關(guān)系；第四類是生成式任務(wù)，比如機(jī)器翻譯，文本摘要，寫詩造句，看圖說話等都屬于這一類。它的特點(diǎn)是輸入文本內(nèi)容后，需要自主生成另外一段文字。
解決這些不同的任務(wù)，從模型角度來講什么最重要？是特征抽取器的能力。尤其是深度學(xué)習(xí)流行開來后，這一點(diǎn)更凸顯出來。因?yàn)樯疃葘W(xué)習(xí)最大的優(yōu)點(diǎn)是「端到端（end to end）」，當(dāng)然這里不是指的從客戶端到云端，意思是以前研發(fā)人員得考慮設(shè)計(jì)抽取哪些特征，而端到端時(shí)代后，這些你完全不用管，把原始輸入扔給好的特征抽取器，它自己會把有用的特征抽取出來。
身為資深 Bug 制造者和算法工程師，你現(xiàn)在需要做的事情就是：選擇一個(gè)好的特征抽取器，選擇一個(gè)好的特征抽取器，選擇一個(gè)好的特征抽取器，喂給它大量的訓(xùn)練數(shù)據(jù)，設(shè)定好優(yōu)化目標(biāo)（loss function），告訴它你想讓它干嘛…….. 然后你覺得你啥也不用干等結(jié)果就行了是吧？那你是我見過的整個(gè)宇宙中最樂觀的人……. 你大量時(shí)間其實(shí)是用在調(diào)參上…….。從這個(gè)過程可以看出，如果我們有個(gè)強(qiáng)大的特征抽取器，那么中初級算法工程師淪為調(diào)參俠也就是個(gè)必然了，在 AutoML（自動(dòng)那啥）流行的年代，也許以后你想當(dāng)調(diào)參俠而不得，李斯說的「吾欲與若復(fù)牽黃犬，俱出上蔡東門逐狡兔，豈可得乎！」請了解一下。所以請珍惜你半夜兩點(diǎn)還在調(diào)整超參的日子吧，因?yàn)閷τ谀銇碚f有一個(gè)好消息一個(gè)壞消息，好消息是：對于你來說可能這樣辛苦的日子不多了！壞消息是：對于你來說可能這樣辛苦的日子不多了?。?！那么怎么才能成為算法高手？你去設(shè)計(jì)一個(gè)更強(qiáng)大的特征抽取器呀。
下面開始分?jǐn)⑷筇卣鞒槿∑鳌?/p>
RNN 模型我估計(jì)大家都熟悉，就不詳細(xì)介紹了，模型結(jié)構(gòu)參考上圖，核心是每個(gè)輸入對應(yīng)隱層節(jié)點(diǎn)，而隱層節(jié)點(diǎn)之間形成了線性序列，信息由前向后在隱層之間逐步向后傳遞。我們下面直接進(jìn)入我想講的內(nèi)容。
為何 RNN 能夠成為解決 NLP 問題的主流特征抽取器
我們知道，RNN 自從引入 NLP 界后，很快就成為吸引眼球的明星模型，在 NLP 各種任務(wù)中被廣泛使用。但是原始的 RNN 也存在問題，它采取線性序列結(jié)構(gòu)不斷從前往后收集輸入信息，但這種線性序列結(jié)構(gòu)在反向傳播的時(shí)候存在優(yōu)化困難問題，因?yàn)榉聪騻鞑ヂ窂教L，容易導(dǎo)致嚴(yán)重的梯度消失或梯度爆炸問題。為了解決這個(gè)問題，后來引入了 LSTM 和 GRU 模型，通過增加中間狀態(tài)信息直接向后傳播，以此緩解梯度消失問題，獲得了很好的效果，于是很快 LSTM 和 GRU 成為 RNN 的標(biāo)準(zhǔn)模型。其實(shí)圖像領(lǐng)域最早由 HighwayNet/Resnet 等導(dǎo)致模型革命的 skip connection 的原始思路就是從 LSTM 的隱層傳遞機(jī)制借鑒來的。經(jīng)過不斷優(yōu)化，后來 NLP 又從圖像領(lǐng)域借鑒并引入了 attention 機(jī)制（從這兩個(gè)過程可以看到不同領(lǐng)域的相互技術(shù)借鑒與促進(jìn)作用），疊加網(wǎng)絡(luò)把層深作深，以及引入 Encoder-Decoder 框架，這些技術(shù)進(jìn)展極大拓展了 RNN 的能力以及應(yīng)用效果。下圖展示的模型就是非常典型的使用 RNN 來解決 NLP 任務(wù)的通用框架技術(shù)大禮包，在更新的技術(shù)出現(xiàn)前，你可以在 NLP 各種領(lǐng)域見到這個(gè)技術(shù)大禮包的身影。
上述內(nèi)容簡單介紹了 RNN 在 NLP 領(lǐng)域的大致技術(shù)演進(jìn)過程。那么為什么 RNN 能夠這么快在 NLP 流行并且占據(jù)了主導(dǎo)地位呢？主要原因還是因?yàn)?RNN 的結(jié)構(gòu)天然適配解決 NLP 的問題，NLP 的輸入往往是個(gè)不定長的線性序列句子，而 RNN 本身結(jié)構(gòu)就是個(gè)可以接納不定長輸入的由前向后進(jìn)行信息線性傳導(dǎo)的網(wǎng)絡(luò)結(jié)構(gòu)，而在 LSTM 引入三個(gè)門后，對于捕獲長距離特征也是非常有效的。所以 RNN 特別適合 NLP 這種線形序列應(yīng)用場景，這是 RNN 為何在 NLP 界如此流行的根本原因。
RNN 在新時(shí)代面臨的兩個(gè)嚴(yán)重問題
RNN 在 NLP 界一直紅了很多年（2014-2018？），在 2018 年之前，大部分各個(gè)子領(lǐng)域的 State of Art 的結(jié)果都是 RNN 獲得的。但是最近一年來，眼看著 RNN 的領(lǐng)袖群倫的地位正在被動(dòng)搖，所謂各領(lǐng)風(fēng)騷 3-5 年，看來網(wǎng)紅模型也不例外。
那這又是因?yàn)槭裁茨?？主要有兩個(gè)原因。
第一個(gè)原因在于一些后起之秀新模型的崛起，比如經(jīng)過特殊改造的 CNN 模型，以及最近特別流行的 Transformer，這些后起之秀尤其是 Transformer 的應(yīng)用效果相比 RNN 來說，目前看具有明顯的優(yōu)勢。這是個(gè)主要原因，老人如果干不過新人，又沒有脫胎換骨自我革命的能力，自然要自覺或不自愿地退出歷史舞臺，這是自然規(guī)律。至于 RNN 能力偏弱的具體證據(jù)，本文后面會專門談，這里不展開講。當(dāng)然，技術(shù)人員里的 RNN ?；逝蓚?，這個(gè)群體規(guī)模應(yīng)該還是相當(dāng)大的，他們不會輕易放棄曾經(jīng)這么熱門過的流量明星的，所以也想了或者正在想一些改進(jìn)方法，試圖給 RNN 延年益壽。至于這些方法是什么，有沒有作用，后面也陸續(xù)會談。
另外一個(gè)嚴(yán)重阻礙 RNN 將來繼續(xù)走紅的問題是：RNN 本身的序列依賴結(jié)構(gòu)對于大規(guī)模并行計(jì)算來說相當(dāng)之不友好。通俗點(diǎn)說，就是 RNN 很難具備高效的并行計(jì)算能力，這個(gè)乍一看好像不是太大的問題，其實(shí)問題很嚴(yán)重。如果你僅僅滿足于通過改 RNN 發(fā)一篇論文，那么這確實(shí)不是大問題，但是如果工業(yè)界進(jìn)行技術(shù)選型的時(shí)候，在有快得多的模型可用的前提下，是不太可能選擇那么慢的模型的。一個(gè)沒有實(shí)際落地應(yīng)用支撐其存在價(jià)值的模型，其前景如何這個(gè)問題，估計(jì)用小腦思考也能得出答案。
那問題來了：為什么 RNN 并行計(jì)算能力比較差？是什么原因造成的？
我們知道，RNN 之所以是 RNN，能將其和其它模型區(qū)分開的最典型標(biāo)志是：T 時(shí)刻隱層狀態(tài)的計(jì)算，依賴兩個(gè)輸入，一個(gè)是 T 時(shí)刻的句子輸入單詞 Xt，這個(gè)不算特點(diǎn)，所有模型都要接收這個(gè)原始輸入；關(guān)鍵的是另外一個(gè)輸入，T 時(shí)刻的隱層狀態(tài) St 還依賴 T-1 時(shí)刻的隱層狀態(tài) S(t-1) 的輸出，這是最能體現(xiàn) RNN 本質(zhì)特征的一點(diǎn)，RNN 的歷史信息是通過這個(gè)信息傳輸渠道往后傳輸?shù)模疽鈪⒖忌蠄D。那么為什么 RNN 的并行計(jì)算能力不行呢？問題就出在這里。因?yàn)?T 時(shí)刻的計(jì)算依賴 T-1 時(shí)刻的隱層計(jì)算結(jié)果，而 T-1 時(shí)刻的計(jì)算依賴 T-2 時(shí)刻的隱層計(jì)算結(jié)果…….. 這樣就形成了所謂的序列依賴關(guān)系。就是說只能先把第 1 時(shí)間步的算完，才能算第 2 時(shí)間步的結(jié)果，這就造成了 RNN 在這個(gè)角度上是無法并行計(jì)算的，只能老老實(shí)實(shí)地按著時(shí)間步一個(gè)單詞一個(gè)單詞往后走。
而 CNN 和 Transformer 就不存在這種序列依賴問題，所以對于這兩者來說并行計(jì)算能力就不是問題，每個(gè)時(shí)間步的操作可以并行一起計(jì)算。
那么能否針對性地對 RNN 改造一下，提升它的并行計(jì)算能力呢？如果可以的話，效果如何呢？下面我們討論一下這個(gè)問題。
如何改造 RNN 使其具備并行計(jì)算能力？
上面說過，RNN 不能并行計(jì)算的癥結(jié)所在，在于 T 時(shí)刻對 T-1 時(shí)刻計(jì)算結(jié)果的依賴，而這體現(xiàn)在隱層之間的全連接網(wǎng)絡(luò)上。既然癥結(jié)在這里，那么要想解決問題，也得在這個(gè)環(huán)節(jié)下手才行。在這個(gè)環(huán)節(jié)多做點(diǎn)什么事情能夠增加 RNN 的并行計(jì)算能力呢？你可以想一想。
其實(shí)留給你的選項(xiàng)并不多，你可以有兩個(gè)大的思路來改進(jìn)：一種是仍然保留任意連續(xù)時(shí)間步（T-1 到 T 時(shí)刻）之間的隱層連接；而另外一種是部分地打斷連續(xù)時(shí)間步（T-1 到 T 時(shí)刻）之間的隱層連接。
我們先來看第一種方法，現(xiàn)在我們的問題轉(zhuǎn)化成了：我們?nèi)匀灰Ａ羧我膺B續(xù)時(shí)間步（T-1 到 T 時(shí)刻）之間的隱層連接，但是在這個(gè)前提下，我們還要能夠做到并行計(jì)算，這怎么處理呢？因?yàn)橹灰Ａ暨B續(xù)兩個(gè)時(shí)間步的隱層連接，則意味著要計(jì)算 T 時(shí)刻的隱層結(jié)果，就需要 T-1 時(shí)刻隱層結(jié)果先算完，這不又落入了序列依賴的陷阱里了嗎？嗯，確實(shí)是這樣，但是為什么一定要在不同時(shí)間步的輸入之間并行呢？沒有人說 RNN 的并行計(jì)算一定發(fā)生在不同時(shí)間步上啊，你想想，隱層是不是也是包含很多神經(jīng)元？那么在隱層神經(jīng)元之間并行計(jì)算行嗎？如果你要是還沒理解這是什么意思，那請看下圖。
上面的圖只顯示了各個(gè)時(shí)間步的隱層節(jié)點(diǎn)，每個(gè)時(shí)間步的隱層包含 3 個(gè)神經(jīng)元，這是個(gè)俯視圖，是從上往下看 RNN 的隱層節(jié)點(diǎn)的。另外，連續(xù)兩個(gè)時(shí)間步的隱層神經(jīng)元之間仍然有連接，上圖沒有畫出來是為了看著簡潔一些。這下應(yīng)該明白了吧，假設(shè)隱層神經(jīng)元有 3 個(gè)，那么我們可以形成 3 路并行計(jì)算（紅色箭頭分隔開成了三路），而每一路因?yàn)槿匀淮嬖谛蛄幸蕾噯栴}，所以每一路內(nèi)仍然是串行的。大思路應(yīng)該明白了是吧？但是了解 RNN 結(jié)構(gòu)的同學(xué)會發(fā)現(xiàn)這樣還遺留一個(gè)問題：隱層神經(jīng)元之間的連接是全連接，就是說 T 時(shí)刻某個(gè)隱層神經(jīng)元與 T-1 時(shí)刻所有隱層神經(jīng)元都有連接，如果是這樣，是無法做到在神經(jīng)元之間并行計(jì)算的，你可以想想為什么，這個(gè)簡單，我假設(shè)你有能力想明白。那么怎么辦呢？很簡單，T 時(shí)刻和 T-1 時(shí)刻的隱層神經(jīng)元之間的連接關(guān)系需要改造，從之前的全連接，改造成對應(yīng)位置的神經(jīng)元（就是上圖被紅箭頭分隔到同一行的神經(jīng)元之間）有連接，和其它神經(jīng)元沒有連接。這樣就可以解決這個(gè)問題，在不同路的隱層神經(jīng)元之間可以并行計(jì)算了。
第一種改造 RNN 并行計(jì)算能力的方法思路大致如上所述，這種方法的代表就是論文「Simple Recurrent Units for Highly Parallelizable Recurrence」中提出的 SRU 方法，它最本質(zhì)的改進(jìn)是把隱層之間的神經(jīng)元依賴由全連接改成了哈達(dá)馬乘積，這樣 T 時(shí)刻隱層單元本來對 T-1 時(shí)刻所有隱層單元的依賴，改成了只是對 T-1 時(shí)刻對應(yīng)單元的依賴，于是可以在隱層單元之間進(jìn)行并行計(jì)算，但是收集信息仍然是按照時(shí)間序列來進(jìn)行的。所以其并行性是在隱層單元之間發(fā)生的，而不是在不同時(shí)間步之間發(fā)生的。
這其實(shí)是比較巧妙的一種方法，但是它的問題在于其并行程度上限是有限的，并行程度取決于隱層神經(jīng)元個(gè)數(shù)，而一般這個(gè)數(shù)值往往不會太大，再增加并行性已經(jīng)不太可能。另外每一路并行線路仍然需要序列計(jì)算，這也會拖慢整體速度。SRU 的測試速度為：在文本分類上和原始 CNN（Kim 2014）的速度相當(dāng)，論文沒有說 CNN 是否采取了并行訓(xùn)練方法。其它在復(fù)雜任務(wù)閱讀理解及 MT 任務(wù)上只做了效果評估，沒有和 CNN 進(jìn)行速度比較，我估計(jì)這是有原因的，因?yàn)閺?fù)雜任務(wù)往往需要深層網(wǎng)絡(luò)，其它的就不妄作猜測了。
第二種改進(jìn)典型的思路是：為了能夠在不同時(shí)間步輸入之間進(jìn)行并行計(jì)算，那么只有一種做法，那就是打斷隱層之間的連接，但是又不能全打斷，因?yàn)檫@樣基本就無法捕獲組合特征了，所以唯一能選的策略就是部分打斷，比如每隔 2 個(gè)時(shí)間步打斷一次，但是距離稍微遠(yuǎn)點(diǎn)的特征如何捕獲呢？只能加深層深，通過層深來建立遠(yuǎn)距離特征之間的聯(lián)系。代表性模型比如上圖展示的 Sliced RNN。我當(dāng)初看到這個(gè)模型的時(shí)候，心里忍不住發(fā)出杠鈴般的笑聲，情不自禁地走上前跟他打了個(gè)招呼：你好呀，CNN 模型，想不到你這個(gè)糙漢子有一天也會穿上粉色裙裝，裝扮成 RNN 的樣子出現(xiàn)在我面前啊，哈哈。了解 CNN 模型的同學(xué)看到我上面這句話估計(jì)會莞爾會心一笑：這不就是簡化版本的 CNN 嗎？不了解 CNN 的同學(xué)建議看完后面 CNN 部分再回頭來看看是不是這個(gè)意思。
那經(jīng)過這種改造的 RNN 速度改進(jìn)如何呢？論文給出了速度對比實(shí)驗(yàn)，歸納起來，SRNN 速度比 GRU 模型快 5 到 15 倍，嗯，效果不錯(cuò)，但是跟對比模型 DC-CNN 模型速度比較起來，比 CNN 模型仍然平均慢了大約 3 倍。這很正常但是又有點(diǎn)說不太過去，說正常是因?yàn)楸緛磉@就是把 RNN 改頭換面成類似 CNN 的結(jié)構(gòu)，而片段里仍然采取 RNN 序列模型，所以必然會拉慢速度，比 CNN 慢再正常不過了。說「說不過去」是指的是：既然本質(zhì)上是 CNN，速度又比 CNN 慢，那么這么改的意義在哪里？為什么不直接用 CNN 呢？是不是？前面那位因?yàn)槌蕴澇缘纳偎詯厶Ц艿耐瑢W(xué)又會說了：也許人家效果特別好呢。嗯，從這個(gè)結(jié)構(gòu)的作用機(jī)制上看，可能性不太大。你說論文實(shí)驗(yàn)部分證明了這一點(diǎn)呀，我認(rèn)為實(shí)驗(yàn)部分對比試驗(yàn)做的不充分，需要補(bǔ)充除了 DC-CNN 外的其他 CNN 模型進(jìn)行對比。當(dāng)然這點(diǎn)純屬個(gè)人意見，別當(dāng)真，因?yàn)槲抑v起話來的時(shí)候經(jīng)常搖頭晃腦，此時(shí)一般會有人驚奇地跟我反饋說：為什么你一講話我就聽到了水聲？
上面列舉了兩種大的改進(jìn) RNN 并行計(jì)算能力的思路，我個(gè)人對于 RNN 的并行計(jì)算能力持悲觀態(tài)度，主要因?yàn)?RNN 本質(zhì)特性決定了我們能做的選擇太少。無非就是選擇打斷還是不打斷隱層連接的問題。如果選擇打斷，就會面臨上面的問題，你會發(fā)現(xiàn)它可能已經(jīng)不是 RNN 模型了，為了讓它看上去還像是 RNN，所以在打斷片段里仍然采取 RNN 結(jié)構(gòu)，這樣無疑會拉慢速度，所以這是個(gè)兩難的選擇，與其這樣不如直接換成其它模型；如果我們選擇不打斷，貌似只能在隱層神經(jīng)元之間進(jìn)行并行，而這樣做的缺點(diǎn)是：一方面并行能力上限很低；另外一方面里面依然存在的序列依賴估計(jì)仍然是個(gè)問題。這是為何悲觀的原因，主要是看不到大的希望。
在一年多前，CNN 是自然語言處理中除了 RNN 外最常見的深度學(xué)習(xí)模型，這里介紹下 CNN 特征抽取器，會比 RNN 說得詳細(xì)些，主要考慮到大家對它的熟悉程度可能沒有 RNN 那么高。
NLP 中早期的懷舊版 CNN 模型
最早將 CNN 引入 NLP 的是 Kim 在 2014 年做的工作，論文和網(wǎng)絡(luò)結(jié)構(gòu)參考上圖。一般而言，輸入的字或者詞用 Word Embedding 的方式表達(dá)，這樣本來一維的文本信息輸入就轉(zhuǎn)換成了二維的輸入結(jié)構(gòu)，假設(shè)輸入 X 包含 n 個(gè)字符，而每個(gè)字符的 Word Embedding 的長度為 d，那么輸入就是 d*n 的二維向量。
卷積層本質(zhì)上是個(gè)特征抽取層，可以設(shè)定超參數(shù) F 來指定卷積層包含多少個(gè)卷積核（Filter）。對于某個(gè) Filter 來說，可以想象有一個(gè) d*k 大小的移動(dòng)窗口從輸入矩陣的第一個(gè)字開始不斷往后移動(dòng)，其中 k 是 Filter 指定的窗口大小，d 是 Word Embedding 長度。對于某個(gè)時(shí)刻的窗口，通過神經(jīng)網(wǎng)絡(luò)的非線性變換，將這個(gè)窗口內(nèi)的輸入值轉(zhuǎn)換為某個(gè)特征值，隨著窗口不斷往后移動(dòng)，這個(gè) Filter 對應(yīng)的特征值不斷產(chǎn)生，形成這個(gè) Filter 的特征向量。這就是卷積核抽取特征的過程。卷積層內(nèi)每個(gè) Filter 都如此操作，就形成了不同的特征序列。Pooling 層則對 Filter 的特征進(jìn)行降維操作，形成最終的特征。一般在 Pooling 層之后連接全聯(lián)接層神經(jīng)網(wǎng)絡(luò)，形成最后的分類過程。
這就是最早應(yīng)用在 NLP 領(lǐng)域 CNN 模型的工作機(jī)制，用來解決 NLP 中的句子分類任務(wù)，看起來還是很簡潔的，之后陸續(xù)出現(xiàn)了在此基礎(chǔ)上的改進(jìn)模型。這些懷舊版 CNN 模型在一些任務(wù)上也能和當(dāng)時(shí)懷舊版本的 RNN 模型效果相當(dāng)，所以在 NLP 若干領(lǐng)域也能野蠻生長，但是在更多的 NLP 領(lǐng)域，還是處于被 RNN 模型壓制到抑郁癥早期的尷尬局面。那為什么在圖像領(lǐng)域打遍天下無敵手的 CNN，一旦跑到 NLP 的地盤，就被 RNN 這個(gè)地頭蛇壓制得無顏見圖像領(lǐng)域江東父老呢？這說明這個(gè)版本的 CNN 還是有很多問題的，其實(shí)最根本的癥結(jié)所在還是老革命遇到了新問題，主要是到了新環(huán)境沒有針對新環(huán)境的特性做出針對性的改變，所以面臨水土不服的問題。
CNN 能在 RNN 縱橫的各種 NLP 任務(wù)環(huán)境下生存下來嗎？謎底即將揭曉。
CNN 的進(jìn)化：物競天擇的模型斗獸場
下面我們先看看懷舊版 CNN 存在哪些問題，然后看看我們的 NLP 專家們是如何改造 CNN，一直改到目前看上去還算效果不錯(cuò)的現(xiàn)代版本 CNN 的。
首先，我們先要明確一點(diǎn)：CNN 捕獲到的是什么特征呢？從上述懷舊版本 CNN 卷積層的運(yùn)作機(jī)制你大概看出來了，關(guān)鍵在于卷積核覆蓋的那個(gè)滑動(dòng)窗口，CNN 能捕獲到的特征基本都體現(xiàn)在這個(gè)滑動(dòng)窗口里了。大小為 k 的滑動(dòng)窗口輕輕的穿過句子的一個(gè)個(gè)單詞，蕩起陣陣漣漪，那么它捕獲了什么? 其實(shí)它捕獲到的是單詞的 k-gram 片段信息，這些 k-gram 片段就是 CNN 捕獲到的特征，k 的大小決定了能捕獲多遠(yuǎn)距離的特征。
說完這個(gè)，我們來看 Kim 版 CNN 的第一個(gè)問題：它只有一個(gè)卷積層。表面看上去好像是深度不夠的問題是吧？我會反問你說：為什么要把 CNN 作深呢？其實(shí)把深度做起來是手段，不是目的。只有一個(gè)卷積層帶來的問題是：對于遠(yuǎn)距離特征，單層 CNN 是無法捕獲到的，如果滑動(dòng)窗口 k 最大為 2，而如果有個(gè)遠(yuǎn)距離特征距離是 5，那么無論上多少個(gè)卷積核，都無法覆蓋到長度為 5 的距離的輸入，所以它是無法捕獲長距離特征的。
那么怎樣才能捕獲到長距離的特征呢？有兩種典型的改進(jìn)方法：一種是假設(shè)我們?nèi)匀挥脝蝹€(gè)卷積層，滑動(dòng)窗口大小 k 假設(shè)為 3，就是只接收三個(gè)輸入單詞，但是我們想捕獲距離為 5 的特征，怎么做才行？顯然，如果卷積核窗口仍然覆蓋連續(xù)區(qū)域，這肯定是完不成任務(wù)的。提示一下：你玩過跳一跳是吧？能采取類似策略嗎？對，你可以跳著覆蓋呀，是吧？這就是 Dilated 卷積的基本思想，確實(shí)也是一種解決方法。
第二種方法是把深度做起來。第一層卷積層，假設(shè)滑動(dòng)窗口大小 k 是 3，如果再往上疊一層卷積層，假設(shè)滑動(dòng)窗口大小也是 3，但是第二層窗口覆蓋的是第一層窗口的輸出特征，所以它其實(shí)能覆蓋輸入的距離達(dá)到了 5。如果繼續(xù)往上疊加卷積層，可以繼續(xù)增大卷積核覆蓋輸入的長度。
上面是兩種典型的解決 CNN 遠(yuǎn)距離特征捕獲能力的方案，Dilated CNN 偏技巧一些，而且疊加卷積層時(shí)超參如何設(shè)置有些學(xué)問，因?yàn)檫B續(xù)跳接可能會錯(cuò)過一些特征組合，所以需要精心調(diào)節(jié)參數(shù)搭配，保證所有可能組合都被覆蓋到。相對而言，把 CNN 作深是主流發(fā)展方向。上面這個(gè)道理好理解，其實(shí)自從 CNN 一出現(xiàn)，人們就想各種辦法試圖把 CNN 的深度做起來，但是現(xiàn)實(shí)往往是無情的，發(fā)現(xiàn)怎么折騰，CNN 做 NLP 問題就是做不深，做到 2 到 3 層卷積層就做不上去了，網(wǎng)絡(luò)更深對任務(wù)效果沒什么幫助（請不要拿 CharCNN 來做反例，后來研究表明使用單詞的 2 層 CNN 效果超過 CharCNN）。目前看來，還是深層網(wǎng)絡(luò)參數(shù)優(yōu)化手段不足導(dǎo)致的這個(gè)問題，而不是層深沒有用。后來 Resnet 等圖像領(lǐng)域的新技術(shù)出現(xiàn)后，很自然地，人們會考慮把 Skip Connection 及各種 Norm 等參數(shù)優(yōu)化技術(shù)引入，這才能慢慢把 CNN 的網(wǎng)絡(luò)深度做起來。
上面說的是 Kim 版本 CNN 的第一個(gè)問題，無法捕獲遠(yuǎn)距離特征的問題，以及后面科研人員提出的主要解決方案?；仡^看 Kim 版本 CNN 還有一個(gè)問題，就是那個(gè) Max Pooling 層，這塊其實(shí)與 CNN 能否保持輸入句子中單詞的位置信息有關(guān)系。首先我想問個(gè)問題：RNN 因?yàn)槭蔷€性序列結(jié)構(gòu)，所以很自然它天然就會把位置信息編碼進(jìn)去；那么，CNN 是否能夠保留原始輸入的相對位置信息呢？我們前面說過對于 NLP 問題來說，位置信息是很有用的。其實(shí) CNN 的卷積核是能保留特征之間的相對位置的，道理很簡單，滑動(dòng)窗口從左到右滑動(dòng)，捕獲到的特征也是如此順序排列，所以它在結(jié)構(gòu)上已經(jīng)記錄了相對位置信息了。但是如果卷積層后面立即接上 Pooling 層的話，Max Pooling 的操作邏輯是：從一個(gè)卷積核獲得的特征向量里只選中并保留最強(qiáng)的那一個(gè)特征，所以到了 Pooling 層，位置信息就被扔掉了，這在 NLP 里其實(shí)是有信息損失的。所以在 NLP 領(lǐng)域里，目前 CNN 的一個(gè)發(fā)展趨勢是拋棄 Pooling 層，靠全卷積層來疊加網(wǎng)絡(luò)深度，這背后是有原因的（當(dāng)然圖像領(lǐng)域也是這個(gè)趨勢）。
上圖展示了在 NLP 領(lǐng)域能夠施展身手的摩登 CNN 的主體結(jié)構(gòu)，通常由 1-D 卷積層來疊加深度，使用 Skip Connection 來輔助優(yōu)化，也可以引入 Dilated CNN 等手段。比如 ConvS2S 主體就是上圖所示結(jié)構(gòu)，Encoder 包含 15 個(gè)卷積層，卷積核 kernel size=3，覆蓋輸入長度為 25。當(dāng)然對于 ConvS2S 來說，卷積核里引入 GLU 門控非線性函數(shù)也有重要幫助，限于篇幅，這里不展開說了，GLU 貌似是 NLP 里 CNN 模型必備的構(gòu)件，值得掌握。再比如 TCN（論文：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling），集成了幾項(xiàng)技術(shù)：利用 Dilated CNN 拓展單層卷積層的輸入覆蓋長度，利用全卷積層堆疊層深，使用 Skip Connection 輔助優(yōu)化，引入 Casual CNN 讓網(wǎng)絡(luò)結(jié)構(gòu)看不到 T 時(shí)間步后的數(shù)據(jù)。不過 TCN 的實(shí)驗(yàn)做得有兩個(gè)明顯問題：一個(gè)問題是任務(wù)除了語言模型外都不是典型的 NLP 任務(wù)，而是合成數(shù)據(jù)任務(wù)，所以論文結(jié)論很難直接說就適合 NLP 領(lǐng)域；另外一點(diǎn)，它用來進(jìn)行效果比較的對比方法，沒有用當(dāng)時(shí)效果很好的模型來對比，比較基準(zhǔn)低。所以 TCN 的模型效果說服力不太夠。其實(shí)它該引入的元素也基本引入了，實(shí)驗(yàn)說服力不夠，我覺得可能是它命中缺 GLU 吧。
除此外，簡單談一下 CNN 的位置編碼問題和并行計(jì)算能力問題。上面說了，CNN 的卷積層其實(shí)是保留了相對位置信息的，只要你在設(shè)計(jì)模型的時(shí)候別手賤，中間層不要隨手瞎插入 Pooling 層，問題就不大，不專門在輸入部分對 position 進(jìn)行編碼也行。但是也可以類似 ConvS2S 那樣，專門在輸入部分給每個(gè)單詞增加一個(gè) position embedding，將單詞的 position embedding 和詞向量 embedding 疊加起來形成單詞輸入，這樣也可以，也是常規(guī)做法。
至于 CNN 的并行計(jì)算能力，那是非常強(qiáng)的，這其實(shí)很好理解。我們考慮單層卷積層，首先對于某個(gè)卷積核來說，每個(gè)滑動(dòng)窗口位置之間沒有依賴關(guān)系，所以完全可以并行計(jì)算；另外，不同的卷積核之間也沒什么相互影響，所以也可以并行計(jì)算。CNN 的并行度是非常自由也非常高的，這是 CNN 的一個(gè)非常好的優(yōu)點(diǎn)。
以上內(nèi)容介紹了懷舊版 CNN 是如何在 NLP 修羅場一步步通過自我進(jìn)化生存到今天的。CNN 的進(jìn)化方向，如果千言萬語一句話歸納的話，那就是：想方設(shè)法把 CNN 的深度做起來，隨著深度的增加，很多看似無關(guān)的問題就隨之解決了。就跟我們國家最近 40 年的主旋律是發(fā)展經(jīng)濟(jì)一樣，經(jīng)濟(jì)發(fā)展好了，很多問題就不是問題了。最近幾年之所以大家感到各方面很困難，癥結(jié)就在于經(jīng)濟(jì)不行了，所以很多問題無法通過經(jīng)濟(jì)帶動(dòng)來解決，于是看似各種花樣的困難就冒出來，這是一個(gè)道理。
那么介紹了這么多，摩登版 CNN 效果如何呢？與 RNN 及 Transforme 比起來怎樣？別著急，后面會專門談這個(gè)問題。
Transformer 是谷歌在 17 年做機(jī)器翻譯任務(wù)的「Attention is all you need」的論文中提出的，引起了相當(dāng)大的反響。每一位從事 NLP 研發(fā)的同仁都應(yīng)該透徹搞明白 Transformer，它的重要性毫無疑問，尤其是你在看完我這篇文章之后，我相信你的緊迫感會更迫切，我就是這么一位善于制造焦慮的能手。不過這里沒打算重點(diǎn)介紹它，想要入門 Transformer 的可以參考以下三篇文章：一個(gè)是 Jay Alammar 可視化地介紹 Transformer 的博客文章 The Illustrated Transformer，非常容易理解整個(gè)機(jī)制，建議先從這篇看起，這是中文翻譯版本；第二篇是 Calvo 的博客：Dissecting BERT Part 1: The Encoder，盡管說是解析 Bert，但是因?yàn)?Bert 的 Encoder 就是 Transformer，所以其實(shí)它是在解析 Transformer，里面舉的例子很好；再然后可以進(jìn)階一下，參考哈佛大學(xué) NLP 研究組寫的「The Annotated Transformer.」，代碼原理雙管齊下，講得也很清楚。
下面只說跟本文主題有關(guān)的內(nèi)容。
這里要澄清一下，本文所說的 Transformer 特征抽取器并非原始論文所指。我們知道，「Attention is all you need」論文中說的的 Transformer 指的是完整的 Encoder-Decoder 框架，而我這里是從特征提取器角度來說的，你可以簡單理解為論文中的 Encoder 部分。因?yàn)?Encoder 部分目的比較單純，就是從原始句子中提取特征，而 Decoder 部分則功能相對比較多，除了特征提取功能外，還包含語言模型功能，以及用 attention 機(jī)制表達(dá)的翻譯模型功能。所以這里請注意，避免后續(xù)理解概念產(chǎn)生混淆。
Transformer 的 Encoder 部分（不是上圖一個(gè)一個(gè)的標(biāo)為 encoder 的模塊，而是紅框內(nèi)的整體，上圖來自 The Illustrated Transformer，Jay Alammar 把每個(gè) Block 稱為 Encoder 不太符合常規(guī)叫法）是由若干個(gè)相同的 Transformer Block 堆疊成的。這個(gè) Transformer Block 其實(shí)才是 Transformer 最關(guān)鍵的地方，核心配方就在這里。那么它長什么樣子呢？
它的照片見上圖，看上去是不是很可愛，有點(diǎn)像安卓機(jī)器人是吧？這里需要強(qiáng)調(diào)一下，盡管 Transformer 原始論文一直重點(diǎn)在說 Self Attention，但是目前來看，能讓 Transformer 效果好的，不僅僅是 Self attention，這個(gè) Block 里所有元素，包括 Multi-head self attention，Skip connection，LayerNorm，F(xiàn)F 一起在發(fā)揮作用。為什么這么說？你看到后面會體會到這一點(diǎn)。
我們針對 NLP 任務(wù)的特點(diǎn)來說下 Transformer 的對應(yīng)解決方案。首先，自然語言一般是個(gè)不定長的句子，那么這個(gè)不定長問題怎么解決呢？Transformer 做法跟 CNN 是類似的，一般設(shè)定輸入的最大長度，如果句子沒那么長，則用 Padding 填充，這樣整個(gè)模型輸入起碼看起來是定長的了。另外，NLP 句子中單詞之間的相對位置是包含很多信息的，上面提過，RNN 因?yàn)榻Y(jié)構(gòu)就是線性序列的，所以天然會將位置信息編碼進(jìn)模型；而 CNN 的卷積層其實(shí)也是保留了位置相對信息的，所以什么也不做問題也不大。但是對于 Transformer 來說，為了能夠保留輸入句子單詞之間的相對位置信息，必須要做點(diǎn)什么。為啥它必須要做點(diǎn)什么呢？因?yàn)檩斎氲牡谝粚泳W(wǎng)絡(luò)是 Muli-head self attention 層，我們知道，Self attention 會讓當(dāng)前輸入單詞和句子中任意單詞發(fā)生關(guān)系，然后集成到一個(gè) embedding 向量里，但是當(dāng)所有信息到了 embedding 后，位置信息并沒有被編碼進(jìn)去。所以，Transformer 不像 RNN 或 CNN，必須明確的在輸入端將 Positon 信息編碼，Transformer 是用位置函數(shù)來進(jìn)行位置編碼的，而 Bert 等模型則給每個(gè)單詞一個(gè) Position embedding，將單詞 embedding 和單詞對應(yīng)的 position embedding 加起來形成單詞的輸入 embedding，類似上文講的 ConvS2S 的做法。而關(guān)于 NLP 句子中長距離依賴特征的問題，Self attention 天然就能解決這個(gè)問題，因?yàn)樵诩尚畔⒌臅r(shí)候，當(dāng)前單詞和句子中任意單詞都發(fā)生了聯(lián)系，所以一步到位就把這個(gè)事情做掉了。不像 RNN 需要通過隱層節(jié)點(diǎn)序列往后傳，也不像 CNN 需要通過增加網(wǎng)絡(luò)深度來捕獲遠(yuǎn)距離特征，Transformer 在這點(diǎn)上明顯方案是相對簡單直觀的。說這些是為了單獨(dú)介紹下 Transformer 是怎樣解決 NLP 任務(wù)幾個(gè)關(guān)鍵點(diǎn)的。
Transformer 有兩個(gè)版本：Transformer base 和 Transformer Big。兩者結(jié)構(gòu)其實(shí)是一樣的，主要區(qū)別是包含的 Transformer Block 數(shù)量不同，Transformer base 包含 12 個(gè) Block 疊加，而 Transformer Big 則擴(kuò)張一倍，包含 24 個(gè) Block。無疑 Transformer Big 在網(wǎng)絡(luò)深度，參數(shù)量以及計(jì)算量相對 Transformer base 翻倍，所以是相對重的一個(gè)模型，但是效果也最好。
（上篇）
雷鋒網(wǎng) AI 科技評論經(jīng)作者許可轉(zhuǎn)載。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
