0
| 本文作者： 楊曉凡 | 2018-07-12 00:53 | 專題：ICML 2018 |
雷鋒網 AI 科技評論按：經過 7 月 10 日的三個 Tutorial Session 和 Opening Reception 晚宴之后，在瑞典斯德哥爾摩舉辦的機器學習頂會 ICML 2018 正式進入第一天的正會。
當?shù)貢r間 7 月 11 日早上 8：45，北京時間 7 月 11 日下午 2：45 開始的 Opening Remarks 上先出現(xiàn)了點小意外，會議大廳兩塊幕布、兩臺投影儀配置里的靠前的一臺壞了，在大會主席 Francis Bach 的演講途中才亮起來 —— 當然，投影儀好起來的一瞬間，現(xiàn)場響起了熱烈的掌聲。
主席透露，明年 ICML 計劃和 CVPR 一樣在美國加州長灘舉辦，2020 年在奧地利維也納，2021 年在夏威夷火奴魯魯。
今年 ICML 的四個邀請演講分別為：來自 UC 伯克利大學電子工程與計算機系 Dawn Song 教授的《AI and Security: Lessons, Challenges and Future Directions》（AI 與安全：教訓、挑戰(zhàn)以及未來的方向），來自阿姆斯特丹大學機器學習學院研究主席、高通副總裁 Max Welling 教授的《Intelligence per Kilowatthour》（用千瓦時衡量的智慧），來自密歇根州立大學計算機科學與工程學院 Joyce Chai 教授的《Language to Action: towards Interactive Task Learning with Physical Agents》（從語言到行動：向著與真實機器人的交互式任務學習），以及來自 MIT 認知科學與計算學院 Joshua Brett Tenenbaum 教授的《Building Machines that Learn and Think Like People》（構建像人類一樣學習和思考的機器）。
雷鋒網 AI 科技評論了解到，今年的 ICML （機器學習國際會議）是與自主智能體與多智能體系統(tǒng)國際會議（AAMAS）以及人工智能國際聯(lián)合大會（IJCAI）在同一地點舉辦的，在議程安排上有聯(lián)合的大會報告 session 和聯(lián)合的 workshop。后兩個邀請演講就是在聯(lián)合的大會報告 session 中的。
與其他機器學習會議一樣，今年 ICML 的投稿數(shù)量也是繼續(xù)暴漲。ICML 2017 的數(shù)字是 1676 篇投稿、434 篇接受論文，今年則是 2473 / 621，投稿數(shù)增加了 45%。對所有論文統(tǒng)計關鍵詞做成詞云，毫不意外地看到 learning、Deep、Network、Model、reinforcement learning、optimization 等詞匯。
最熱門的投稿領域是神經網絡架構，有超過 200 篇投稿。其后的大類依次是強化學習、深度學習理論研究、對抗性深度學習、凸優(yōu)化、非凸優(yōu)化、監(jiān)督學習、在線學習、生成式模型、統(tǒng)計學習理論、無監(jiān)督學習、遷移與多任務學習等。
之前 NIPS 由于投稿數(shù)量多、審稿人水平參差不齊，論文初審和 AC 審經常大相徑庭而引發(fā)討論，ICML 組委會此次也統(tǒng)計了 Rebuttal 前后的分數(shù)差異，給大家提供一個討論評審過程公平性的參考依據。經過 Rebuttal 后，審稿意見更新的比例有 45.7%，分數(shù)得到更新的論文有 9.2%。而在接收分數(shù)邊界線附近的論文有 16%。
最佳論文獎、最佳論文提名獎、時間檢驗將獲獎論文名單也在現(xiàn)場再次公布。
Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
模糊梯度防御帶來的只是安全的假象：繞過對抗性樣本的防御
論文摘要：作者們提出，模糊梯度（obfuscated gradients）這種梯度遮蔽方法，對于對抗性樣本的防御并不是真正的安全。雖然引發(fā)模糊梯度的防御方法似乎能夠抵御基于迭代優(yōu)化方法的攻擊，但是作者們發(fā)現(xiàn)依賴這種模糊梯度效果的防御方法其實可以被繞過。作者們描述了造成模糊梯度效果的防御方法的特點，把它們分為了三類，然后針對每一類防御方法設計了可以繞過它們的攻擊方法。作者們取 ICLR 2018 論文中的白盒防御方法作為案例研究對象，他們發(fā)現(xiàn)梯度模糊是一種普遍的做法，那篇論文中研究的 9 種防御方法中有 7 種都依靠的是模糊梯度方法。作者們提出的新的攻擊方法發(fā)可以完全繞過其中的 6 種方法，部分繞過 1 種。
Delayed Impact of Fair Machine Learning
研究公平的機器學習的延遲影響
論文摘要：之前的研究者們主要是在靜態(tài)分類的場景下進行機器學習中的公平性問題研究，并沒有研究這些決定會如何隨著時間流逝而影響其中深層的人群分布變化。傳統(tǒng)觀念一般認為給機器學習模型施加公平性的限制以后能夠更好地保護受到不公平待遇的人群的長期利益。
這篇論文中，作者們研究了靜態(tài)的公平性限制與會隨時間變化的利益指標之間的相互作用，這些利益指標包括一系列研究變量的長時間尺度中的上升、停滯或者下降。作者們表明即便只是對于一階的反饋模型，平常的公平性限制總的來說都并不會提高利益；實際上，當一個完全無限制的目標能夠帶來正常的結果時，公平性限制施加以后在某些情況下反倒有可能造成傷害。
作者們完全分析了三種標準的公平性限制帶來的延遲的影響，三種環(huán)境中表現(xiàn)出了可以量化的不同行為。出自之外，作者們還發(fā)現(xiàn)了一種自然形式的測量誤差，它可以拓展環(huán)境，讓公平性限制的表現(xiàn)比較符合人意。
作者們的結果顯著體現(xiàn)出了公平性限制的評估中測量指標的選擇以及基于時間建模的重要性，這同時也揭示了一組新的挑戰(zhàn)和新的取舍。
The Mechanics of n-Player Differentiable Games
可微分多玩家博弈的機制研究
論文摘要：深度學習最根本的基石是一個對象的梯度下降最終可以保證收斂到某個局部最小值。然而不幸的是，這種保證在某些設定下會失效，比如對抗性生成網絡，其中有多個互相影響的損失函數(shù)。基于梯度的方法在博弈中的行為并沒有得到很好的研究，而隨著對抗性以及多目標的模型架構的發(fā)展，這方面的研究也越來越重要。在這篇論文中，作者們開發(fā)了一種新的方法以便理解與控制一般博弈中的動態(tài)表現(xiàn)。其中的關鍵成果是把二階動態(tài)特性分解為兩個項。第一項與可能的博弈有關，它可以根據隱式的函數(shù)梯度下降而減?。坏诙椗c哈密頓博弈有關，這是一類新的遵循守恒定律的博弈，和經典機械系統(tǒng)中的守恒定律很類似。這種分解手段也帶來了辛梯度調節(jié)（Symplectic Gradient Adjustment）算法，這是一種可以在普通博弈中尋找穩(wěn)定固定點的新算法?；A性的實驗表明 SGA 與近期提出的在 GANs 中尋找穩(wěn)定固定點的算法有同等的表現(xiàn)，同時也可以運用于更多一般的博弈中，而且還有求解的保證。
Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices
用于密集、稀疏矩陣的接近最優(yōu)的頻繁方向算法
這篇論文的唯一作者是復旦大學大數(shù)據學院副教授黃增峰
論文摘要：對于一個大矩陣
，我們考慮計算這個矩陣的梗概矩陣（sketch matrix）
的問題。這個矩陣應當明顯更小，但同時也與 A 足夠接近。我們考慮最小化如下的協(xié)方差誤差
我們在流模型中考慮這個問題，在這里算法只有有限的工作空間，而且只能對輸入進行一次計算得到結果。流行的頻繁方向算法（Frequent Directions）和它的各種變體在空間和誤差之間取得了最佳取舍。然而，算法的運行時間是否可以得到改進還是一個尚未研究的問題。
在這篇論文中，我們幾乎解決了這個問題的時間復雜性。尤其是，我們提出了新的空間最優(yōu)的算法，它具有更快的運行時間。并且，我們展現(xiàn)了我們算法的運行時間是接近最優(yōu)的，除非目前最優(yōu)的矩陣乘法的運行時間可以得到大幅度的提升。
Fairness Without Demographics in Repeated Loss Minimization
在反復的損失最小化中，無需人口特征統(tǒng)計實現(xiàn)平等
斯坦福大學教授 Percy Liang 是這篇論文的作者之一
論文摘要：機器學習模型（比如語音識別模型）在訓練時通常都是要讓平均損失最小化，這樣會帶來表征懸殊的問題 —— 少數(shù)群體（比如非母語的講話者）由于對訓練目標的貢獻較少，這些樣本的損失值也就更高。更糟糕的是，隨著模型的準確率下降而影響到用戶留存的話，使用模型的少數(shù)群體會越來越少。在這篇論文中，作者們首先展示了經驗風險最小化（ERM）的方法會讓表征懸殊的問題變得越來越嚴重的狀況，這甚至會讓最初還平等的模型變得不平等。為了減緩這種問題，作者們開發(fā)了一種基于分布魯棒優(yōu)化（DRO）的新方法，它會把所有數(shù)據分布中的最糟糕的情況風險都最小化到接近經驗分布。作者們證明了這種方法在每一個時間步中都控制了少數(shù)群體的風險，根據羅爾斯的分配正義思想評價的話，同時也能夠忽略不同組之間的身份差異。作者們展現(xiàn)了 DRO 能夠在 ERM 不能阻止表征懸殊增大的情況下阻止它發(fā)生，同時也在真實世界的文本自動完成任務中成功增加了少數(shù)群體的用戶滿意程度。
A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning
一個自然語言處理的統(tǒng)一架構：多任務學習深度神經網絡
這篇論文來自 ICML 2008
作者們描述了一種卷積神經網絡架構，只靠一個語言模型網絡就可以基于給定的句子輸出一系列語言處理預測結果，包括語句的一部分的標簽、語料段、可命名的實體標簽、語義角色、語義類似的詞，以及句子有意義的似然值（語法角度以及語義角度）。整個網絡是在所有這些任務上以權重共享的方式聯(lián)合訓練的，這樣也成為了多任務學習的一個實例。所有任務都使用了標注數(shù)據，除了語言模型是從無標注文本學習的，并且它也為這些共享的任務提供了一種新的半監(jiān)督學習形式。作者們展示了多任務學習和半監(jiān)督學習都可以增加這些共享的任務的泛化性，最終帶來了頂級的表現(xiàn)。
資料地址：http://videolectures.net/icml08_collobert_uanl/（帶視頻和 PPT）
目前 ICML 2018 還在如火如荼地進行中，正會會進行到 7 月 13 日。雷鋒網 AI 科技評論會繼續(xù)發(fā)出相關報道，請繼續(xù)關注。前方照片感謝吳立偉。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
專題
