近日雷鋒網(wǎng)了解到，F(xiàn)acebook團(tuán)隊(duì)與圭爾夫大學(xué)及里昂國(guó)立應(yīng)用科學(xué)學(xué)院推出了新作，F(xiàn)an Li 與Natalia Neverova, Christian Wolf, Graham Taylor等一起提出了一種創(chuàng)新的方法，提高了多模型下深度學(xué)習(xí)的效果。

Facebook原文鏈接：https://research.fb.com/publications/modout-learning-multi-modal-architectures-by-stochastic-regularization/

論文鏈接：http://www.uoguelph.ca/~gwtaylor/publications/modout.pdf

論文闡述了通過隨機(jī)正則化方法進(jìn)行多模型架構(gòu)學(xué)習(xí)新方法Modout，并介紹了已有的基于隨機(jī)正則化的模型選擇方法，通過論證和實(shí)驗(yàn)數(shù)據(jù)，表現(xiàn)了Modout的優(yōu)越性。

雷鋒網(wǎng)了解到，基于隨機(jī)正則化的模型選擇方法因其簡(jiǎn)單性和有效性已經(jīng)廣泛應(yīng)用于深度學(xué)習(xí)中。其中非常有名的drop-out，以相同的方式處理每個(gè)單元，包括可見的、隱藏的，有一定幾率的讓一半的特征檢測(cè)器停過工作，提高網(wǎng)絡(luò)的泛化能力，也因此，忽略了與網(wǎng)絡(luò)分組和結(jié)構(gòu)相關(guān)的任何先驗(yàn)信息。這種結(jié)構(gòu)存在于多模式學(xué)習(xí)的應(yīng)用中，比如情感分析和手勢(shì)識(shí)別。在這些應(yīng)用中，每一個(gè)子數(shù)據(jù)集都可能需要對(duì)應(yīng)一個(gè)單獨(dú)的學(xué)習(xí)模式。

團(tuán)隊(duì)向大家介紹一種新的方法，Modout。Modout是一種基于隨機(jī)正則化的模型選擇方法，它在多模型設(shè)定中特別有用。它與其他隨機(jī)正則化方式不同的地方在于，在同一層網(wǎng)絡(luò)中，它可以有效的通過學(xué)習(xí)判斷是否要或什么時(shí)候?qū)煞N模式進(jìn)行融合。而在一般情況下，這種機(jī)制通常都是深度學(xué)習(xí)的研究者們和實(shí)踐者們預(yù)先設(shè)置好的架構(gòu)層面的高級(jí)參數(shù)。

在Li的論文中，Modout在兩種實(shí)際的多模型數(shù)據(jù)組中得到實(shí)現(xiàn)，而其實(shí)驗(yàn)的結(jié)果可以看到Modout相對(duì)于其他隨機(jī)正則化方法的優(yōu)越性。除此之外，Modout在Montalbano數(shù)據(jù)中表現(xiàn)出了與學(xué)者設(shè)計(jì)的最先進(jìn)的深度學(xué)習(xí)架構(gòu)比肩的實(shí)驗(yàn)效果。

via Facebook，雷鋒網(wǎng)編譯

AI科技評(píng)論招業(yè)界記者啦！

在這里，你可以密切關(guān)注海外會(huì)議的大牛演講；可以采訪國(guó)內(nèi)巨頭實(shí)驗(yàn)室的技術(shù)專家；對(duì)人工智能的動(dòng)態(tài)了如指掌；更能深入剖析AI前沿的技術(shù)與未來！

如果你：

＊對(duì)人工智能有一定的興趣或了解

 * 求知欲強(qiáng)，具備強(qiáng)大的學(xué)習(xí)能力

 * 有AI業(yè)界報(bào)道或者媒體經(jīng)驗(yàn)優(yōu)先

簡(jiǎn)歷投遞：

lizongren@leiphone.com

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。