圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

本文作者：黃善清

2019-03-28 21:52

導語：你心目中的人選有誰？

雷鋒網 AI 科技評論：昨日毫無疑問是振奮人心的一天，深度學習界的 3 位「巨頭」齊齊獲得計算機界最高榮譽「圖靈獎」，這里再次祝賀 Yoshua Bengio、 Yann LeCun 以及 Geoffrey Hinton！

談及今年頒獎理由時，美國計算機協會主席 Cherri M. Pancake 在一份聲明中表示:「人工智能的發(fā)展和繁榮，在很大程度上要歸功于 Bengio、Hinton 和 LeCun 為之奠定基礎的深度學習的最新進展。這些技術被數十億人使用。只要擁有智能手機的人現在都能實實在在地體驗到自然語言處理和計算機視覺方面的進步，而這些體驗在 10 年前是想都不敢想的?！?/p>

不過，在得獎消息公布后，也有人在社交媒體上為落選的「遺珠」抱屈，他們認為還有這么一批人，雖然名氣不大，對于 AI 研究的發(fā)展卻做出了不亞于三位巨頭的貢獻。

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

遞歸神經網絡之父——Jürgen Schmidhuber

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

Jürgen Schmidhuber 是瑞士人工智能實驗室（IDSIA）的研發(fā)主任，他所發(fā)明的 LSTM（長短期記憶網絡），有效解決了人工智能系統(tǒng)的記憶問題。

昨日頒獎消息公布后，為他抱屈的聲音極多，部分人認為「深度學習」少了他終究不夠圓滿。

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

推一下眼鏡的表情富含深意……

一戰(zhàn)成名的 LSTM

要了解 LSTM，還得從循環(huán)神經網絡（Recurrent Neural Network，RNN）開始說起。

RNN 是一種用于處理序列數據的神經網絡，相比一般的神經網絡，更擅于處理序列多變的數據（比如某個單詞的意思會因為上文提到的內容不同而有不同的含義）然而其技術缺陷也非常明顯，其中一項便是梯度消失：

RNN 模型在某些的取值上，梯度特別小（幾乎為 0）。這也意味著，如果在控制學習率不變的情況下，要么參數不變（學不到東西），要么就變化極大（學習成果推倒重來）。

因此 RNN 在參數學習上很難表現出彩。

而 LSTM 則可以理解為 RNN 的升級版，其結構天然可以解決梯度消失問題。其內部主要可以分為三個階段：

忘記階段
這個階段主要是對上一個節(jié)點傳進來的輸入進行選擇性忘記。簡單來說就是會「忘記不重要的，記住重要的」。
——由一個被稱為「遺忘門層」的 Sigmod 層組成的。它輸入 ht?1 和 xt, 然后在 Ct?1 的每個神經元狀態(tài)輸出 0~1 之間的數字。「1」表示「完全保留這個」，「0」表示「完全遺忘這個」。

選擇記憶階段
這個階段將這個階段的輸入有選擇性地進行「記憶」。哪些重要則著重記錄下來，哪些不重要，則少記一些。
——首先，一個被稱為「輸入門層」的 Sigmod 層決定我們要更新的數值。然后，一個 tanh 層生成一個新的候選數值，Ct?, 它會被增加到神經元狀態(tài)中。

輸出階段
這個階段將決定哪些將會被當成當前狀態(tài)的輸出。
——首先，我們使用 Sigmod 層決定哪一部分的神經元狀態(tài)需要被輸出；然后我們讓神經元狀態(tài)經過 tanh（讓輸出值變?yōu)?1~1 之間）層并且乘上 Sigmod 門限的輸出，我們只輸出我們想要輸出的。

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

Jürgen Schmidhuber 把這種人工智能訓練比作人類大腦將大的時刻過濾成長期記憶，而讓更平常的記憶消失的方式。「LSTM 可以學會把重要的東西放在記憶里，忽略那些不重要的東西。在當今世界，LSTM 可以在許多非常重要的事情上表現出色，其中最著名的是語音識別和語言翻譯，還有圖像字幕，你可以在那里看到一個圖像，然后你就能寫出能解釋你所看到的東西的詞語。」他如此表示道。

而現實正如 Jürgen Schmidhuber 所說的，LSTM 確實足夠出色，以致無論是蘋果、谷歌、微軟、Facebook 還是亞馬遜都在自家業(yè)務中采用了 LSTM——Facebook 應用 LSTM 完成每天 45 億次的翻譯；Google 29% 的數據中心計算能力使用 LSTM（CNN 僅占 5%）；LSTM 不僅改善了近 10 億部 iPhone 手機中的 Siri 和 QuickType 功能，更為超過 20 億部 Android 手機語音識別提供支持；LSTM 還是亞馬遜 Alexa 和 Google 語音識別器的核心。

LSTM 的巨大成功，導致后來每當有人提到利用 RNN 取得卓越成果時，都會默認是 LSTM 的功勞。

通用人工智能夢

然而 Jürgen Schmidhuber 并未滿足于 LSTM 的成功，他的終極歸宿是 AGI（通用人工智能）。

兩年前接受雷鋒網 AI 科技評論采訪時，Jürgen Schmidhuber 明確表示自己有一項「商業(yè)上認知不是很廣，但是卻是非常重要的研究」——如何讓機器具備自我學習、更聰明的能力。在他一篇 1987 年的論文中，他詳細描述了元學習（Meta Learning，或者叫做 Learning to Learn）計劃的第一個具體研究，即不僅學習如何解決問題，而且學習提高自己的學習算法，通過遞歸自我學習最終成為超級人工智能。但這種設想受限當時的計算性能力無法進得到充分驗證。

堅信 AGI 一定能實現的背后，是他堅信「我們生活在一個矩陣式的計算機模擬中」的理念?！高@就是我的想法，因為這是對一切事物最簡單的解釋?！杆睦碚撜J為，人類一開始就設定為要不斷追逐進步，并將繼續(xù)制造更強大的計算機，直到我們讓自己變得過時或者決定與智能機器合并為止。

為此，Schmidhuber 曾經預言：「要么你變成了一個真正不同于人類的東西，要么你出于懷舊的原因依然以人的身份存在。但你不會成為一個主要的決策者，你不會在塑造世界的過程中扮演任何角色?！?/p>

爭議

在查閱資料的過程中，你會發(fā)現 Jürgen Schmidhuber 的「傲氣」無處不在。

年輕的時候，他是那個會在履歷學術經歷一欄寫上「拒絕加州理工學院的博士后錄取通知」的學術青年。2016 年的神經信息處理系統(tǒng)大會上，他當場質疑 Ian Goodfellow 的「生成對抗網絡」是抄襲了他在 1992 年的一項研究。后來，他在《自然》雜志的留言板上與所有人工智能大佬開懟，指責他們扭曲了人工智能的歷史，抹去了他和其他人最初的想法。

阿爾伯塔大學的研究人員 Kory Mathewson 說過，與 Jürgen Schmidhuber 起沖突甚至成為某種「潛在的儀式」，有些年輕的 AI 研究人員甚至期待有朝一日能夠獲得這個「待遇」。但對于一些資深的研究人員來說，Jürgen Schmidhuber 可能就是麻煩的存在，比如他經常被認為只會「抱怨」、「虛偽」、「自私」、「過分強調理論的價值」。

對此，他依然固守己見?！该慨斘铱吹接腥俗隽酥匾氖虑?，而他沒有得到認可，但有人又說另一個人先做了那件事，那么我是第一個把這個信息傳遞給《自然》雜志、《科學》雜志或其他期刊上的人。你可以通過時間脈絡來證明誰先做了什么。說得好聽點，其他的一切都是再創(chuàng)造，說得難聽一點，這是剽竊?！?/p>

因此，不少人懷疑，這正是 Jürgen Schmidhuber 無法在圖靈獎名單上出現的原因。

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

支持向量機（SVM）之父——Vladimir Vapnik

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

另外一名呼聲極高的，是奠定了統(tǒng)計學習理論的 Vladimir Vapnik，他主要成就有二：

與另一名蘇聯數學家合寫了著名的統(tǒng)計學習理論 Vapnik–Chervonenkis theory（VC 維）
在上述理論基礎上發(fā)展出支持向量機 (Support Vector Machine，簡稱 SVM) 演算法

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

SVM 演算法

1971 年，Vladimir Vapnik 與 A. Chervonenkis 在論文《On the uniform convergence of relative frequencies of events to their probabilities》中提出了 Vapnik–Chervonenkis theory，它表明機器學習算法選擇的模型的錯誤率，是兩個因素的作用結果：

模型類越大，分類器錯誤率的聚集性 (收斂到泛化錯誤率的速度) 就越差。
模型類越大，擬合數據效果也越好。

總的來說，根據泛化錯誤率 <= 經驗錯誤率 + 泛化界，我們必須權衡模型的復雜度，以最小化泛化錯誤率。

在此基礎上，Vladimir Vapnik 等人對線性分類器提出了另一種設計最佳準則。其原理從線性可分說起，然后擴展到線性不可分以及非線性函數中去，這種分類器被稱為支持向量機（Support Vector Machine，簡稱 SVM）。SVM 最早是由 Vladimir N.Vapnik 和 Alexey Ya.Chervonenkis 在 1963 年提出，目前的版本（soft margin）是 Corinna Cortes 和 Vapnik 在 1993 年提出，1995 年發(fā)表。

SVM 主要是針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能。

這讓泛化對空間中數據點的測量誤差容忍度更大，再結合作為非線性擴充的「內核技巧」（kernel trick），支持向量機算法就成了機器學習中的重要支柱。

目前 SVM 已經被廣泛運用在各個領域，尤其是許多工程領域，并成功解決了許多真實界問題背后的關鍵演算法，像是文字分類、超文本（網頁分類）、圖像辨識、生物資訊學（蛋白質分類、癌癥特徵分類）、手寫筆跡辨識等?？烧f是自動分類技術中最重要的關鍵演算法之一。

一度「壓制」深度學習

當 Vapnik 和 Cortes 在 1995 年提出支持向量機（SVM）理論后，機器學習這一領域便分成了兩大流派——神經網絡及支持向量機。2000 年內核版的 SVM 被提出后，神經網絡在這場競爭中逐漸處于下風。

換句話說，在深度學習還沒火起來以前，支持向量機（support vector machine）是毫無疑問的主流。2002 - 2014 年期間，在 NEC Lab 工作的 Vladimir Vapnik 在支持向量機領域的地位與今天的 Geoffrey Hinton 之于深度學習不相伯仲。

圖靈獎評委們，明年可以考慮下這兩位 AI 先驅

對于支持向量機與深度學習的糾葛，阿里巴巴技術副總裁賈揚清曾經在知乎上有過這么一段論述：

這兩個冤家一直不爭上下，最近基于神經網絡的深度學習因為 AlphaGo 等熱門時事，促使神經網絡的熱度達到了空前最高。畢竟，深度學習那樣的多層隱含層的結構，猶如一個黑盒子，一個學習能力極強的潘多拉盒子。有人或許就覺得這就是我們真正的神經網絡，我們不知道它那數以百千計的神經元干了什么，也不理解為何如此的結構能誕生如此美好的數據——猶如復雜性科學般，處于高層的我們并不能知道底層的」愚群「為何能涌現。兩者一比起來，SVM 似乎也沒有深度學習等那么令人狂熱，連 Hinton 都開玩笑說 SVM 不過是淺度學習（來自深度學習的調侃）。

不然，個人覺得相對于熱衷于隱含層的神經網絡，具有深厚的數學理論的 SVM 更值得讓我們研究。SVM 背后偉大的數學理論基礎可以說是現今人類的偉大數學成就，因此 SVM 的解釋性也非神經網絡可比，可以說，它的數學理論讓它充滿了理性，這樣的理性是一個理工科生向往的。

SVM 的高效性能并且在神經網絡無法取得較好效果的領域的優(yōu)異表現，此外，支持向量機能夠利用所有的先驗知識做凸優(yōu)化選擇，產生準確的理論和核模型，因此可以對不同的學科產生大的推動，產生非常高效的理論和實踐改善。

最后，想與各位聊聊，你心目中的圖靈獎人選還有誰？

參考文獻：

1）《理解長短期記憶(LSTM) 神經網絡》. 元峰

https://zhuanlan.zhihu.com/p/24018768

2）《為什么相比于RNN，LSTM在梯度消失上表現更好？》. 劉通

https://www.zhihu.com/question/44895610/answer/616818627

3）《他是人工智能教父，卻快要被世人遺忘》. Joyce Lee . 機器人網

https://www.roboticschina.com/news/2018051811Schmidhuber.html

4）《Vapnik-Chervonenkis理論》. zccg

https://zhuanlan.zhihu.com/p/22457275

5）《如何理解SVM | 支持向量機之我見》. 煎魚不可能有BUG