LSTM之父：吐槽了兩年，來劃劃重點(diǎn)：“這5篇最高引論文都源于我們。”

本文作者：我在思考中

2021-09-10 15:16

導(dǎo)語：網(wǎng)友：他的自負(fù)大于他的引用次數(shù)。

LSTM之父：吐槽了兩年，來劃劃重點(diǎn)：“這5篇最高引論文都源于我們?！? data-backh=

作者 | 陳彩嫻

編輯 | 青暮

昨晚，“遞歸神經(jīng)網(wǎng)絡(luò)之父”Jürgen Schmidhuber 在推特上親自發(fā)文，稱目前引用數(shù)最高的5項(xiàng)神經(jīng)網(wǎng)絡(luò)工作都基于他的團(tuán)隊(duì)成果，一時(shí)引起了網(wǎng)友的廣泛討論。這并不是他首次發(fā)聲，Jürgen Schmidhuber近兩年來發(fā)表無數(shù)文章和言論，每次提及幾項(xiàng)他過去的研究，表示是他首創(chuàng)，并抱怨學(xué)界不承認(rèn)他對AI領(lǐng)域的貢獻(xiàn)。

這篇博文也算是為我們劃了重點(diǎn)，即他過去兩年來提過的幾十項(xiàng)“不是你首創(chuàng)”AI研究中，有哪些更具影響力。

LSTM之父：吐槽了兩年，來劃劃重點(diǎn)：“這5篇最高引論文都源于我們?！? data-backh=

Jürgen 稱，人工神經(jīng)網(wǎng)絡(luò)（neural networks，簡稱“NN”）與深度學(xué)習(xí)是現(xiàn)代人工智能的兩大主題，而現(xiàn)今最受歡迎的五大神經(jīng)網(wǎng)絡(luò)都是基于他在慕尼黑工業(yè)大學(xué)和 IDSIA 實(shí)驗(yàn)室的研究團(tuán)隊(duì)所取得的成果，這五大神經(jīng)網(wǎng)絡(luò)就包括：

1）LSTM（Long Short-Term Memory，長短期記憶人工神經(jīng)網(wǎng)絡(luò)），是 20 世紀(jì)被引用最多的神經(jīng)網(wǎng)絡(luò)；當(dāng)然這項(xiàng)工作已經(jīng)被公認(rèn)是他的首創(chuàng)，Yann LeCun也在自傳中提及了這一點(diǎn)；

2）ResNet，21世紀(jì)被引用最多的神經(jīng)網(wǎng)絡(luò)，Jürgen 認(rèn)為是他們早期提出的高速網(wǎng)絡(luò)（Highway Net，第一個(gè)真正有效的深度前饋神經(jīng)網(wǎng)絡(luò)）的門控版本；

3）AlexNet 與 VGG Net，21世紀(jì)引用數(shù)排第二與第三的神經(jīng)網(wǎng)絡(luò)，Jürgen 稱這兩個(gè)網(wǎng)絡(luò)都是基于他們早期提出的 DanNet（第一個(gè)在圖像識別競賽中取勝的深度卷積神經(jīng)網(wǎng)絡(luò)）；

4）GAN（Generative Adversarial Networks，生成對抗網(wǎng)絡(luò)），基于他早期提出的“對抗性人工好奇心”（Adversarial Artificial Curiosity）；

5）Transformer的變體，Jürgen 認(rèn)為，線性 Transformer 的形式與他早期所提出的 Fast Weight Programmers 一樣。許多工作是從他們在 1990 年至 1991 年間提出的 Annus Mirabilis 開始的，當(dāng)時(shí)的計(jì)算代價(jià)比現(xiàn)在要貴一百萬倍。

回顧神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，Jürgen 所提出的五大工作都在現(xiàn)代人工智能領(lǐng)域的研究中發(fā)揮了重要作用。比如，LSTM 被廣泛應(yīng)用于醫(yī)療健康、學(xué)習(xí)機(jī)器人、游戲、語音處理與機(jī)器翻譯等研究方向。

在他所發(fā)表的博文中，Jürgen 本人特地談到，何愷明等人在2015年所提出的 ResNet（殘差網(wǎng)絡(luò)）借鑒了他們在 2015 年 5 月發(fā)布的 Highway Net。他指出，Highway Net 是第一個(gè)具有 100 層以上的前饋神經(jīng)網(wǎng)絡(luò)（以前的神經(jīng)網(wǎng)絡(luò)最多只有幾十層），而 ResNet 的本質(zhì)其實(shí)是“開放的” Highway Nets。Highway Net 展示了具有跳躍式傳遞（skip connection）的深度神經(jīng)網(wǎng)絡(luò)是如何工作的，且在 ImageNet 上的表現(xiàn)與 ResNet 大致相同。但美國專利商標(biāo)局在 2001 年就將這項(xiàng)發(fā)明的專利授予了 NNAISENSE。

LSTM之父：吐槽了兩年，來劃劃重點(diǎn)：“這5篇最高引論文都源于我們。”

論文鏈接：https://arxiv.org/pdf/1505.00387.pdf

值得注意的是，20 世紀(jì)與 21 世紀(jì)被引用最高的神經(jīng)網(wǎng)絡(luò)（LSTM與ResNet）是緊密相連的，因?yàn)?/span> Highway Net 實(shí)際上是 Jürgen 團(tuán)隊(duì)所提出的循環(huán) LSTM 的前饋神經(jīng)網(wǎng)絡(luò)版本。深度學(xué)習(xí)主要是聚焦于神經(jīng)網(wǎng)絡(luò)的深度。LSTM 打破了監(jiān)督循環(huán)神經(jīng)網(wǎng)絡(luò)的深度局限性，而 Highway Nets 將其引到了前饋神經(jīng)網(wǎng)絡(luò)。

在 Jürgen 所寫的文章中，他感慨，這些工作為谷歌、Facebook、微軟等大企業(yè)做出了巨大貢獻(xiàn)，頗有點(diǎn)“為他人做嫁衣”的唏噓：何愷明是在 MSRA 期間發(fā)表的 ResNet，后來他加入了Facebook；而 AlexNet 與 VGG Net 的大多作者去了谷歌，谷歌在 2017 年發(fā)布了Transformer，都與他在 1991 年發(fā)表的線性 Transformer 相關(guān)，然后谷歌還收購了他實(shí)驗(yàn)室里一位學(xué)生參與聯(lián)合創(chuàng)立的 DeepMind；而 DanNet 的二作、GAN 的一作去了蘋果公司。

“上述這些公司都廣泛使用了我的 LSTM?！?/span>

或許是抱怨過于頻繁，Jürgen Schmidhuber形象早已瀕臨崩塌邊緣。

廣大吃瓜群眾亦不耐煩，在推特和reddit上紛紛對Jürgen Schmidhuber開啟了嘲諷模式，一句“他的自負(fù)大于他的引用次數(shù)”可謂精辟。