ICML是國際頂級的機器學(xué)習(xí)會議，它與NIPS一起，是機器學(xué)習(xí)與人工智能研究領(lǐng)域影響力極高的兩個主要會議。今年的ICML將于8月6-11日在澳大利亞悉尼召開，屆時雷鋒網(wǎng) AI 科技評論也將前往現(xiàn)場進行報道。

作為國內(nèi)著名的人工智能研究機構(gòu)，騰訊 AI Lab 也有4篇論文入選了今年的 ICML。雷鋒網(wǎng) AI 科技評論對這4篇論文簡單介紹如下。

Efficient Distributed Learning with Sparsity

• 「高效的分布式稀疏學(xué)習(xí)」

• 論文作者：王佳磊（芝加哥大學(xué)），Mladen Kolar（芝加哥大學(xué)）, Nathan Srebro（豐田芝加哥技術(shù)研究院），張潼（騰訊 AI Lab）

• 論文簡介：論文中介紹了一種新穎、高效的分布式稀疏學(xué)習(xí)方法，數(shù)據(jù)可以隨機分配在多臺計算機中進行學(xué)習(xí)。在所提方法的每一輪中，下屬工作計算機會根據(jù)其上的數(shù)據(jù)計算損失梯度，總計算機則會對一個偏移的 L1 正則化損失最小值問題求解?？梢宰C明，在經(jīng)過一定數(shù)量的循環(huán)后，這個分布式方法的估計誤差可以達到中心化計算的同等水平，而循環(huán)數(shù)量僅僅與計算機數(shù)目的對數(shù)成正比，而且與問題中其它的參數(shù)無關(guān)。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML3-%E7%8E%8B%E4%BD%B3%E7%A3%8A.pdf 

Projection-free Distributed Online Learning in Networks

• 「無需投影的網(wǎng)絡(luò)中的在線分布式學(xué)習(xí)」
  

• 論文作者：張文鵬（清華大學(xué)計算機系），Peilin Zhao（螞蟻金服人工智能部），朱文武（清華大學(xué)計算機系“” 教授，IEEE、AAAS、SPIE Fellow），Steven C. H. Hoi（新加坡大學(xué)信息系統(tǒng)學(xué)院），張潼（騰訊 AI Lab）

• 論文簡介：條件梯度算法由于其應(yīng)對大規(guī)模機器學(xué)習(xí)問題時高效的特點，近幾年來重新成為了研究的熱門話題。然而，目前為止的研究都沒有考慮過在線分布式環(huán)境下的算法表現(xiàn)，這種情況下本地的計算量就很輕微。在這篇論文中，作者們提出了在線分布式狀況下的條件梯度算法，通過應(yīng)用簡單得多的線性優(yōu)化步驟，避免了算法副本中高成本的投影操作，填補了這一研究空白。作者們在所提的算法中加入了一個約束邊界，它是網(wǎng)絡(luò)大小和拓撲形式的函數(shù)，對于更小的圖或者連接狀況更好的圖，這個邊界就會越小。根據(jù)兩個真實的大規(guī)模數(shù)據(jù)集進行的多類別分類任務(wù)實驗表明了所提算法帶來的計算優(yōu)勢，并且驗證了理論的約束邊界。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML-%E5%BC%A0%E6%96%87%E9%B9%8F.pdf 

GSOS: Gauss-Seidel Operator Splitting Algorithm for Multi-Term Nonsmooth Convex Composite Optimization

• 「GSOS：用于多項非平滑凸組合優(yōu)化問題的高斯 - 賽德爾算子分裂算法」

• 論文作者：沈力（騰訊 AI Lab），劉威（騰訊 AI Lab），Ganzhao Yuan（中山大學(xué)），Shiqian Ma（香港中文大學(xué)）

• 論文簡介：這篇論文中介紹了一種快速的“高斯 - 賽德爾”算子分裂算法（Gauss-Seidel Operator Splitting，GSOS），用于解決多項非平滑凸組合優(yōu)化問題；這種算法未來可以在機器學(xué)習(xí)、信號處理和統(tǒng)計中得到廣泛運用。所提的 GSOS 算法繼承了高斯 - 賽德爾算法的優(yōu)點，能夠加速優(yōu)化過程，并且借助算計分裂技巧降低了計算復(fù)雜度。另外，作者們還開發(fā)了一種新技術(shù)來為GSOS算法建立全局收斂。具體來說，作者們首先重構(gòu)GSOS的迭代過程，通過應(yīng)用算子優(yōu)化理論讓它成為一個兩步的迭代算法。接下來，作者們基于這個兩步的迭代算法重構(gòu)建立了GSOS的收斂。最后，作者們應(yīng)用這種GSOS算法解決重疊群套索和圖引導(dǎo)稠套索問題。數(shù)值實驗結(jié)果表明所提的GSOS算法在效率和有效性方面都比當前最好的方法有提升。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML1-%E6%B2%88%E5%8A%9B-%E5%88%98%E5%A8%81.pdf 

Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction

• 「同時降低特征和樣本數(shù)量，提高稀疏SVM的規(guī)?！?/p>

• 論文作者：張衛(wèi)忠（浙江大學(xué)計算機系），Bin Hong（密歇根大學(xué)），劉威（騰訊 AI Lab），Jieping Ye（密歇根大學(xué)），Deng Cai（浙江大學(xué)計算機系），Xiaofei He（浙江大學(xué)計算機系），Jie Wang（密歇根大學(xué)）

• 論文簡介：稀疏支持向量機（SVM）是一種常見的分類方法，它可以同時學(xué)習(xí)一組數(shù)量不多、解釋性強的特征并找到支持向量。這種方法在許多實際應(yīng)用中都取得了不錯的效果。然而，在樣本數(shù)量非常多、特征維度非常高的大規(guī)模問題中，求稀疏SVM仍然是一個有難度的問題。作者們注意到稀疏SVM會導(dǎo)致特征空間和樣本空間都出現(xiàn)稀疏性，從而提出了一種全新的方法，它基于對原始和雙重優(yōu)化SVM的精確估計，然后同時找到能夠確認與輸出相關(guān)的支持向量和樣本。這樣，作者們就可以從訓(xùn)練過程中去掉已經(jīng)找到的非活動樣本和特征，從而在不降低正確率的前提下顯著降低內(nèi)存占用和計算成本。據(jù)作者們所知，所提的這種方法是第一個用于稀疏SVM的統(tǒng)計性特征和樣本削減方法。論文中分別基于生成的和真實數(shù)據(jù)集進行了實驗（真實數(shù)據(jù)集例如包含大約2千萬樣本和3千萬特征的kddb數(shù)據(jù)集），結(jié)果表明所提的方法相比現(xiàn)有方法得到了明顯提升，而且所提的方法有若干數(shù)量級的速度提升。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML2-%E5%BC%A0%E5%8D%AB%E5%BF%A0.pdf 

ICML 2017即將開幕，雷鋒網(wǎng) AI 科技評論會前往現(xiàn)場報道。CVPR 2017 和 ACL 2017中的精彩內(nèi)容也還在繼續(xù)，請繼續(xù)關(guān)注我們哦。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。