0
近日雷鋒網(wǎng)了解到,F(xiàn)acebook團(tuán)隊與圭爾夫大學(xué)及里昂國立應(yīng)用科學(xué)學(xué)院推出了新作,F(xiàn)an Li 與Natalia Neverova, Christian Wolf, Graham Taylor等一起提出了一種創(chuàng)新的方法,提高了多模型下深度學(xué)習(xí)的效果。
Facebook原文鏈接:https://research.fb.com/publications/modout-learning-multi-modal-architectures-by-stochastic-regularization/
論文鏈接:http://www.uoguelph.ca/~gwtaylor/publications/modout.pdf
論文闡述了通過隨機(jī)正則化方法進(jìn)行多模型架構(gòu)學(xué)習(xí)新方法Modout,并介紹了已有的基于隨機(jī)正則化的模型選擇方法,通過論證和實驗數(shù)據(jù),表現(xiàn)了Modout的優(yōu)越性。
雷鋒網(wǎng)了解到,基于隨機(jī)正則化的模型選擇方法因其簡單性和有效性已經(jīng)廣泛應(yīng)用于深度學(xué)習(xí)中。其中非常有名的drop-out,以相同的方式處理每個單元,包括可見的、隱藏的,有一定幾率的讓一半的特征檢測器停過工作,提高網(wǎng)絡(luò)的泛化能力,也因此,忽略了與網(wǎng)絡(luò)分組和結(jié)構(gòu)相關(guān)的任何先驗信息。這種結(jié)構(gòu)存在于多模式學(xué)習(xí)的應(yīng)用中,比如情感分析和手勢識別。在這些應(yīng)用中,每一個子數(shù)據(jù)集都可能需要對應(yīng)一個單獨的學(xué)習(xí)模式。
團(tuán)隊向大家介紹一種新的方法,Modout。Modout是一種基于隨機(jī)正則化的模型選擇方法,它在多模型設(shè)定中特別有用。它與其他隨機(jī)正則化方式不同的地方在于,在同一層網(wǎng)絡(luò)中,它可以有效的通過學(xué)習(xí)判斷是否要或什么時候?qū)煞N模式進(jìn)行融合。而在一般情況下,這種機(jī)制通常都是深度學(xué)習(xí)的研究者們和實踐者們預(yù)先設(shè)置好的架構(gòu)層面的高級參數(shù)。
在Li的論文中,Modout在兩種實際的多模型數(shù)據(jù)組中得到實現(xiàn),而其實驗的結(jié)果可以看到Modout相對于其他隨機(jī)正則化方法的優(yōu)越性。除此之外,Modout在Montalbano數(shù)據(jù)中表現(xiàn)出了與學(xué)者設(shè)計的最先進(jìn)的深度學(xué)習(xí)架構(gòu)比肩的實驗效果。
via Facebook,雷鋒網(wǎng)編譯
AI科技評論招業(yè)界記者啦!
在這里,你可以密切關(guān)注海外會議的大牛演講;可以采訪國內(nèi)巨頭實驗室的技術(shù)專家;對人工智能的動態(tài)了如指掌;更能深入剖析AI前沿的技術(shù)與未來!
如果你:
*對人工智能有一定的興趣或了解
* 求知欲強(qiáng),具備強(qiáng)大的學(xué)習(xí)能力
* 有AI業(yè)界報道或者媒體經(jīng)驗優(yōu)先
簡歷投遞:
lizongren@leiphone.com
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。