最近因?yàn)槿藱C(jī)大戰(zhàn)成為當(dāng)紅炸子雞的DeepMind被世人各種扒皮，但很少有人想到它的聯(lián)合創(chuàng)始人中也有來(lái)自深度學(xué)習(xí)四巨頭之一Jürgen Schmidhuber的學(xué)生，有種扒來(lái)扒去原來(lái)還是沒逃出這個(gè)圈子的感覺。

作為又一位以貢獻(xiàn)論資歷的大牛，雷鋒網(wǎng)非常驚奇地發(fā)現(xiàn)Schmidhuber在網(wǎng)上的資料也是少得可憐，so, 又一次展示出我們開扒小能手的一面，為大家找來(lái)了所有網(wǎng)上能找到的資料，來(lái)為大家畫個(gè)清晰的輪廓。

1. 根據(jù)linkedin的介紹， 大概從15歲左右開始， Jürgen Schmidhuber的主要目標(biāo)就是建造一個(gè)能夠自我改進(jìn)的比他自己聰明的人工智能，然后他就能退休了。

2. 1987年，他首先將自我改進(jìn)的常規(guī)問題給解決了，并從1991開始研究出了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。他的研究團(tuán)隊(duì)研發(fā)出的遞歸神經(jīng)網(wǎng)絡(luò)第一次贏得了官方國(guó)際賽事的冠軍。 

3. 1992年，他和他的學(xué)生團(tuán)隊(duì)提出了非監(jiān)督學(xué)習(xí)時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural net)，為語(yǔ)音識(shí)別和自然語(yǔ)言翻譯提供了重要的模型。

4. 1997年，他和他的學(xué)生團(tuán)隊(duì)提出了簡(jiǎn)化時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的長(zhǎng)短期記憶人工時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)(LSTM RNN)，解決了時(shí)間遞歸網(wǎng)絡(luò)在學(xué)習(xí)過程中的誤差消失和放大問題，并因?yàn)檫@個(gè)開創(chuàng)性的成果而聲名遠(yuǎn)播， 并奠定了遞歸神經(jīng)網(wǎng)絡(luò)之父的美譽(yù)。

5. 2007年的時(shí)候，他和他的學(xué)生團(tuán)隊(duì)用CTC訓(xùn)練的LSTM開始革新語(yǔ)音識(shí)別，性能表現(xiàn)超越了鍵盤識(shí)別任務(wù)中傳統(tǒng)方法。

谷歌后來(lái)也用LSTM以幫助改進(jìn)現(xiàn)有的技術(shù)，包括圖像字幕（2014年）、機(jī)器翻譯（2014年）、文本到語(yǔ)音合成（2015年，現(xiàn)在可在谷歌Android上使用）、自然語(yǔ)言處理的句法分析（2015年）等其它許多應(yīng)用。

6. 2009至2012年年間，他的研究小組贏得了模式識(shí)別和機(jī)器學(xué)習(xí)的八個(gè)國(guó)際比賽。

MICCAI 2013有絲分裂檢測(cè)挑戰(zhàn)賽 

ICPR 2012乳腺癌組織學(xué)圖片有絲分裂檢測(cè)大賽 

ISBI 2012腦圖像分割挑戰(zhàn)賽 

IJCNN 2011交通標(biāo)志識(shí)別大賽 

ICDAR 2011離線中國(guó)書法大賽 

在線德國(guó)交通標(biāo)志識(shí)別大賽 

ICDAR 2009阿拉伯語(yǔ)連接手寫大賽 

ICDAR 2009波斯語(yǔ)/阿拉伯語(yǔ)手寫字符識(shí)別大賽 

ICDAR 2009法語(yǔ)連接手寫大賽 

7. 2015年，CTC訓(xùn)練的LSTM極大地改善了Google Voice（49%）——現(xiàn)在有超過10億智能手機(jī)用戶可以使用它。微軟和IBM和其它著名公司也在大量使用LSTM。   

8. Schmidhuber在InfoQ最近的采訪《專訪深度學(xué)習(xí)元老Jürgen Schmidhuber：這個(gè)實(shí)驗(yàn)室如何孕育DeepMind 》當(dāng)中表示，“我為谷歌DeepMind的成功感到高興，同時(shí)也因?yàn)檫@家公司在很大程度上受我以前的學(xué)生影響：DeepMind的頭四個(gè)成員中有兩個(gè)來(lái)自IDSIA，他們的第一個(gè)人工智能領(lǐng)域的博士雇員也來(lái)自IDSIA，其中一個(gè)是聯(lián)合創(chuàng)始人，另一個(gè)是公司的第一名員工”。

9. 2015年ICML的深度學(xué)習(xí)研討會(huì)，Schmidhuber認(rèn)為，真正運(yùn)行AI代理的代碼是非常簡(jiǎn)短的，甚至高中生都能玩轉(zhuǎn)它。換句話說(shuō)，不用有任何擔(dān)心會(huì)有行業(yè)壟斷AI及其研究。

10. 2015年，Schmidhuber和他在瑞士人工智能實(shí)驗(yàn)室 IDSIA 共事的四位研究人員聯(lián)合創(chuàng)辦了初創(chuàng)公司Nnaisense。

小結(jié)：

作為又一位在理論研究上有貢獻(xiàn)、不耍流氓的深度學(xué)習(xí)大牛，雖然找到他的資料并不容易，但對(duì)整個(gè)科學(xué)界來(lái)說(shuō)，這樣的人越低調(diào)我們?cè)綈鬯?，特別是在InfoQ最近的采訪中，他表示，“我最近的研究興趣仍然是我早在20世紀(jì)80年代闡述過的那些：「開發(fā)出比我更聰明的人工智能，這樣我就可以退休了。」”，這讓我們看到一個(gè)始終堅(jiān)持初衷的大牛形象。

相關(guān)閱讀：

人類群星閃耀時(shí) | 深度學(xué)習(xí)鼻祖杰夫·辛頓：沒有他就沒有今天的人工智能

人類群星閃耀時(shí) | Facebook人工智能負(fù)責(zé)人Yann LeCun：讓深度學(xué)習(xí)擺脫束縛

Yoshua Bengio大神為什么要留在學(xué)術(shù)界？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。