上一周，ICML 2016在紐約畫上了完美的句號(hào)。這個(gè)會(huì)議（International Conference on Machine Learning）已經(jīng)逐漸發(fā)展為了由國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì)（IMLS）主辦的世界最頂級(jí)的機(jī)器學(xué)習(xí)領(lǐng)域會(huì)議之一。來自世界各地的機(jī)器學(xué)習(xí)領(lǐng)域的專家們都以論文投稿的方式向大會(huì)遞交了自己最新的研究成果，其中包括一篇來自百度硅谷實(shí)驗(yàn)室的語音識(shí)別的論文。

大會(huì)主要采用演講和PPT展示的形式，輔以一定程度上的交流討論會(huì)來進(jìn)行。整個(gè)會(huì)議議程已經(jīng)于24日全部結(jié)束，最終評(píng)出了三篇最佳論文獎(jiǎng)和一篇最具時(shí)間價(jià)值獎(jiǎng)，其中Google的DeepMind獨(dú)攬了其中的兩個(gè)獎(jiǎng)項(xiàng)，過去的一周里我們選取了大會(huì)中一些我們認(rèn)為比較有意義的論文并進(jìn)行過翻譯，在這里給大家回顧一下。

谷歌ICML獲獎(jiǎng)?wù)撐?看像素遞歸神經(jīng)網(wǎng)絡(luò)如何幫圖片“極致”建模 ？

這篇論文獲得了最佳論文獎(jiǎng)。目前圖像識(shí)別領(lǐng)域的深度學(xué)習(xí)通常聚焦于某個(gè)特定領(lǐng)域的識(shí)別應(yīng)用，因?yàn)楦爬ǔ鲆粋€(gè)相對(duì)通用的模型不管對(duì)算法設(shè)計(jì)者建立規(guī)則和機(jī)器概括和學(xué)習(xí)圖像中的規(guī)則都是很難的。因此谷歌的這篇通過二維循環(huán)特性來進(jìn)行有效的通用圖像識(shí)別建模的論文獲得今年ICML2016的最佳論文獎(jiǎng)也不奇怪了。Google在論文中對(duì)自己的方法給出了詳細(xì)的推導(dǎo)和應(yīng)用過程，這項(xiàng)進(jìn)步意味著目前的深度學(xué)習(xí)算法能得到的訓(xùn)練圖片的量得到了很大的擴(kuò)展，甚至可以將任意圖片交給其用來訓(xùn)練。

利用CNN來學(xué)習(xí)任意圖結(jié)構(gòu)

這篇論文的選題同谷歌的那篇類似，也是研究一種通用化的圖像識(shí)別算法。由NEC歐洲海德堡實(shí)驗(yàn)室的Mathias Niepert、Mohamed Ahmed、Konstantin Kutzkov完成。但是在結(jié)果上表現(xiàn)的沒有Google的算法好，因此沒能獲獎(jiǎng)。

百度ICML論文：端對(duì)端中英文語音識(shí)別

這篇論文來自百度硅谷實(shí)驗(yàn)室，吳恩達(dá)也參與了論文的研究和撰寫，在這篇論文中，百度使用神經(jīng)網(wǎng)絡(luò)代替了傳統(tǒng)的語音識(shí)別的分析結(jié)構(gòu)，使得算法的適應(yīng)性得到了提高，表現(xiàn)的結(jié)果是算法可以同時(shí)識(shí)別普通話和英語兩種語言。并且可以“兼容”多種方言。百度表示，除了算法的設(shè)計(jì)，這項(xiàng)研究的進(jìn)展還要?dú)w功于對(duì)HPC（超級(jí)計(jì)算機(jī)）的恰當(dāng)應(yīng)用，這極大的增加了百度對(duì)算法迭代的速度。推進(jìn)了研究的進(jìn)程。

這違反直覺的“升噪”方法，反而能很好的解決激活函數(shù)梯度彌散的問題

這篇論文的最大亮點(diǎn)在于突破了傳統(tǒng)的思維方式，獨(dú)辟蹊徑的改善了梯度彌散的問題。梯度彌散指的是在神經(jīng)網(wǎng)絡(luò)層數(shù)過多的時(shí)候，算法后向傳播的途中卷積核的輸入落入了函數(shù)的飽和區(qū)，因此得到的梯度很小，最終可能導(dǎo)致在算法正常發(fā)揮的情況下結(jié)果偏離正確值。通常來說，一般人的思路是盡可能增加每層的函數(shù)和初始值的精確性，但這篇論文反其道而行之，向函數(shù)中注入適當(dāng)?shù)脑胍?，反而起到了很好的抑制梯度彌散的作用?/p>

阿爾法狗CTO講座： AI如何用新型強(qiáng)化學(xué)習(xí)玩轉(zhuǎn)圍棋撲克游戲

DeepMind的科學(xué)家、圍棋團(tuán)隊(duì)主程序員David Silver分享了它在增強(qiáng)學(xué)習(xí)方面應(yīng)用的論文。如果說深度學(xué)習(xí)是教機(jī)器“認(rèn)知”，增強(qiáng)學(xué)習(xí)就是教會(huì)機(jī)器人“行動(dòng)”。通過不斷的訓(xùn)練、試錯(cuò)來教會(huì)機(jī)器人或算法在各種情況下做出相應(yīng)認(rèn)知的一門科學(xué)。因此“下棋”其實(shí)也屬于增強(qiáng)學(xué)習(xí)的一種應(yīng)用。在某種程度上來說。這篇以棋牌類游戲應(yīng)用為主題的論文其實(shí)就是一篇AlphaGo的解密。你們難道不好奇嗎~

關(guān)注這些最前沿的學(xué)術(shù)會(huì)議能讓我們對(duì)AI最新的應(yīng)用的可能性有足夠的了解，也是了解國(guó)內(nèi)和國(guó)際科研實(shí)力對(duì)比的一個(gè)極好的途徑，我們會(huì)繼續(xù)保持關(guān)注大型的學(xué)術(shù)會(huì)議，為大家第一時(shí)間獻(xiàn)上其最新的亮點(diǎn)。

圖片來自unist.ac.kr

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。