0
作者 | 陳彩嫻
編輯 | 青暮
昨晚，“遞歸神經網絡之父”Jürgen Schmidhuber 在推特上親自發(fā)文，稱目前引用數最高的5項神經網絡工作都基于他的團隊成果，一時引起了網友的廣泛討論。這并不是他首次發(fā)聲，Jürgen Schmidhuber近兩年來發(fā)表無數文章和言論，每次提及幾項他過去的研究，表示是他首創(chuàng)，并抱怨學界不承認他對AI領域的貢獻。
這篇博文也算是為我們劃了重點，即他過去兩年來提過的幾十項“不是你首創(chuàng)”AI研究中，有哪些更具影響力。
Jürgen 稱，人工神經網絡（neural networks，簡稱“NN”）與深度學習是現代人工智能的兩大主題，而現今最受歡迎的五大神經網絡都是基于他在慕尼黑工業(yè)大學和 IDSIA 實驗室的研究團隊所取得的成果，這五大神經網絡就包括：
1）LSTM（Long Short-Term Memory，長短期記憶人工神經網絡），是 20 世紀被引用最多的神經網絡；當然這項工作已經被公認是他的首創(chuàng)，Yann LeCun也在自傳中提及了這一點；
2）ResNet，21世紀被引用最多的神經網絡，Jürgen 認為是他們早期提出的高速網絡（Highway Net，第一個真正有效的深度前饋神經網絡）的門控版本；
3）AlexNet 與 VGG Net，21世紀引用數排第二與第三的神經網絡，Jürgen 稱這兩個網絡都是基于他們早期提出的 DanNet（第一個在圖像識別競賽中取勝的深度卷積神經網絡）；
4）GAN（Generative Adversarial Networks，生成對抗網絡），基于他早期提出的“對抗性人工好奇心”（Adversarial Artificial Curiosity）；
5）Transformer的變體，Jürgen 認為，線性 Transformer 的形式與他早期所提出的 Fast Weight Programmers 一樣。許多工作是從他們在 1990 年至 1991 年間提出的 Annus Mirabilis 開始的，當時的計算代價比現在要貴一百萬倍。
回顧神經網絡的發(fā)展歷程，Jürgen 所提出的五大工作都在現代人工智能領域的研究中發(fā)揮了重要作用。比如，LSTM 被廣泛應用于醫(yī)療健康、學習機器人、游戲、語音處理與機器翻譯等研究方向。
在他所發(fā)表的博文中，Jürgen 本人特地談到，何愷明等人在2015年所提出的 ResNet（殘差網絡）借鑒了他們在 2015 年 5 月發(fā)布的 Highway Net。他指出，Highway Net 是第一個具有 100 層以上的前饋神經網絡（以前的神經網絡最多只有幾十層），而 ResNet 的本質其實是“開放的” Highway Nets。Highway Net 展示了具有跳躍式傳遞（skip connection）的深度神經網絡是如何工作的，且在 ImageNet 上的表現與 ResNet 大致相同。但美國專利商標局在 2001 年就將這項發(fā)明的專利授予了 NNAISENSE。
論文鏈接：https://arxiv.org/pdf/1505.00387.pdf
值得注意的是，20 世紀與 21 世紀被引用最高的神經網絡（LSTM與ResNet）是緊密相連的，因為 Highway Net 實際上是 Jürgen 團隊所提出的循環(huán) LSTM 的前饋神經網絡版本。深度學習主要是聚焦于神經網絡的深度。LSTM 打破了監(jiān)督循環(huán)神經網絡的深度局限性，而 Highway Nets 將其引到了前饋神經網絡。
在 Jürgen 所寫的文章中，他感慨，這些工作為谷歌、Facebook、微軟等大企業(yè)做出了巨大貢獻，頗有點“為他人做嫁衣”的唏噓：何愷明是在 MSRA 期間發(fā)表的 ResNet，后來他加入了Facebook；而 AlexNet 與 VGG Net 的大多作者去了谷歌，谷歌在 2017 年發(fā)布了Transformer，都與他在 1991 年發(fā)表的線性 Transformer 相關，然后谷歌還收購了他實驗室里一位學生參與聯合創(chuàng)立的 DeepMind；而 DanNet 的二作、GAN 的一作去了蘋果公司。
“上述這些公司都廣泛使用了我的 LSTM?！?/span>
或許是抱怨過于頻繁，Jürgen Schmidhuber形象早已瀕臨崩塌邊緣。
廣大吃瓜群眾亦不耐煩，在推特和reddit上紛紛對Jürgen Schmidhuber開啟了嘲諷模式，一句“他的自負大于他的引用次數”可謂精辟。
在Reddit上，一位網友中肯地評價道：
不可否認，他做了真正開創(chuàng)性的工作，并幫助開創(chuàng)了深度學習，但這篇文章看起來像一個孩子在大喊，“看我，我是最棒的”。
雷鋒網雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
