0
| 本文作者： 楊曉凡 | 2018-07-12 00:53 | 專(zhuān)題：ICML 2018 |
雷鋒網(wǎng) AI 科技評(píng)論按：經(jīng)過(guò) 7 月 10 日的三個(gè) Tutorial Session 和 Opening Reception 晚宴之后，在瑞典斯德哥爾摩舉辦的機(jī)器學(xué)習(xí)頂會(huì) ICML 2018 正式進(jìn)入第一天的正會(huì)。
當(dāng)?shù)貢r(shí)間 7 月 11 日早上 8：45，北京時(shí)間 7 月 11 日下午 2：45 開(kāi)始的 Opening Remarks 上先出現(xiàn)了點(diǎn)小意外，會(huì)議大廳兩塊幕布、兩臺(tái)投影儀配置里的靠前的一臺(tái)壞了，在大會(huì)主席 Francis Bach 的演講途中才亮起來(lái) —— 當(dāng)然，投影儀好起來(lái)的一瞬間，現(xiàn)場(chǎng)響起了熱烈的掌聲。
主席透露，明年 ICML 計(jì)劃和 CVPR 一樣在美國(guó)加州長(zhǎng)灘舉辦，2020 年在奧地利維也納，2021 年在夏威夷火奴魯魯。
今年 ICML 的四個(gè)邀請(qǐng)演講分別為：來(lái)自 UC 伯克利大學(xué)電子工程與計(jì)算機(jī)系 Dawn Song 教授的《AI and Security: Lessons, Challenges and Future Directions》（AI 與安全：教訓(xùn)、挑戰(zhàn)以及未來(lái)的方向），來(lái)自阿姆斯特丹大學(xué)機(jī)器學(xué)習(xí)學(xué)院研究主席、高通副總裁 Max Welling 教授的《Intelligence per Kilowatthour》（用千瓦時(shí)衡量的智慧），來(lái)自密歇根州立大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 Joyce Chai 教授的《Language to Action: towards Interactive Task Learning with Physical Agents》（從語(yǔ)言到行動(dòng)：向著與真實(shí)機(jī)器人的交互式任務(wù)學(xué)習(xí)），以及來(lái)自 MIT 認(rèn)知科學(xué)與計(jì)算學(xué)院 Joshua Brett Tenenbaum 教授的《Building Machines that Learn and Think Like People》（構(gòu)建像人類(lèi)一樣學(xué)習(xí)和思考的機(jī)器）。
雷鋒網(wǎng) AI 科技評(píng)論了解到，今年的 ICML （機(jī)器學(xué)習(xí)國(guó)際會(huì)議）是與自主智能體與多智能體系統(tǒng)國(guó)際會(huì)議（AAMAS）以及人工智能?chē)?guó)際聯(lián)合大會(huì)（IJCAI）在同一地點(diǎn)舉辦的，在議程安排上有聯(lián)合的大會(huì)報(bào)告 session 和聯(lián)合的 workshop。后兩個(gè)邀請(qǐng)演講就是在聯(lián)合的大會(huì)報(bào)告 session 中的。
與其他機(jī)器學(xué)習(xí)會(huì)議一樣，今年 ICML 的投稿數(shù)量也是繼續(xù)暴漲。ICML 2017 的數(shù)字是 1676 篇投稿、434 篇接受論文，今年則是 2473 / 621，投稿數(shù)增加了 45%。對(duì)所有論文統(tǒng)計(jì)關(guān)鍵詞做成詞云，毫不意外地看到 learning、Deep、Network、Model、reinforcement learning、optimization 等詞匯。
最熱門(mén)的投稿領(lǐng)域是神經(jīng)網(wǎng)絡(luò)架構(gòu)，有超過(guò) 200 篇投稿。其后的大類(lèi)依次是強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)理論研究、對(duì)抗性深度學(xué)習(xí)、凸優(yōu)化、非凸優(yōu)化、監(jiān)督學(xué)習(xí)、在線(xiàn)學(xué)習(xí)、生成式模型、統(tǒng)計(jì)學(xué)習(xí)理論、無(wú)監(jiān)督學(xué)習(xí)、遷移與多任務(wù)學(xué)習(xí)等。
之前 NIPS 由于投稿數(shù)量多、審稿人水平參差不齊，論文初審和 AC 審經(jīng)常大相徑庭而引發(fā)討論，ICML 組委會(huì)此次也統(tǒng)計(jì)了 Rebuttal 前后的分?jǐn)?shù)差異，給大家提供一個(gè)討論評(píng)審過(guò)程公平性的參考依據(jù)。經(jīng)過(guò) Rebuttal 后，審稿意見(jiàn)更新的比例有 45.7%，分?jǐn)?shù)得到更新的論文有 9.2%。而在接收分?jǐn)?shù)邊界線(xiàn)附近的論文有 16%。
最佳論文獎(jiǎng)、最佳論文提名獎(jiǎng)、時(shí)間檢驗(yàn)將獲獎(jiǎng)?wù)撐拿麊我苍诂F(xiàn)場(chǎng)再次公布。
Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
模糊梯度防御帶來(lái)的只是安全的假象：繞過(guò)對(duì)抗性樣本的防御
論文摘要：作者們提出，模糊梯度（obfuscated gradients）這種梯度遮蔽方法，對(duì)于對(duì)抗性樣本的防御并不是真正的安全。雖然引發(fā)模糊梯度的防御方法似乎能夠抵御基于迭代優(yōu)化方法的攻擊，但是作者們發(fā)現(xiàn)依賴(lài)這種模糊梯度效果的防御方法其實(shí)可以被繞過(guò)。作者們描述了造成模糊梯度效果的防御方法的特點(diǎn)，把它們分為了三類(lèi)，然后針對(duì)每一類(lèi)防御方法設(shè)計(jì)了可以繞過(guò)它們的攻擊方法。作者們?nèi)?nbsp;ICLR 2018 論文中的白盒防御方法作為案例研究對(duì)象，他們發(fā)現(xiàn)梯度模糊是一種普遍的做法，那篇論文中研究的 9 種防御方法中有 7 種都依靠的是模糊梯度方法。作者們提出的新的攻擊方法發(fā)可以完全繞過(guò)其中的 6 種方法，部分繞過(guò) 1 種。
Delayed Impact of Fair Machine Learning
研究公平的機(jī)器學(xué)習(xí)的延遲影響
論文摘要：之前的研究者們主要是在靜態(tài)分類(lèi)的場(chǎng)景下進(jìn)行機(jī)器學(xué)習(xí)中的公平性問(wèn)題研究，并沒(méi)有研究這些決定會(huì)如何隨著時(shí)間流逝而影響其中深層的人群分布變化。傳統(tǒng)觀(guān)念一般認(rèn)為給機(jī)器學(xué)習(xí)模型施加公平性的限制以后能夠更好地保護(hù)受到不公平待遇的人群的長(zhǎng)期利益。
這篇論文中，作者們研究了靜態(tài)的公平性限制與會(huì)隨時(shí)間變化的利益指標(biāo)之間的相互作用，這些利益指標(biāo)包括一系列研究變量的長(zhǎng)時(shí)間尺度中的上升、停滯或者下降。作者們表明即便只是對(duì)于一階的反饋模型，平常的公平性限制總的來(lái)說(shuō)都并不會(huì)提高利益；實(shí)際上，當(dāng)一個(gè)完全無(wú)限制的目標(biāo)能夠帶來(lái)正常的結(jié)果時(shí)，公平性限制施加以后在某些情況下反倒有可能造成傷害。
作者們完全分析了三種標(biāo)準(zhǔn)的公平性限制帶來(lái)的延遲的影響，三種環(huán)境中表現(xiàn)出了可以量化的不同行為。出自之外，作者們還發(fā)現(xiàn)了一種自然形式的測(cè)量誤差，它可以拓展環(huán)境，讓公平性限制的表現(xiàn)比較符合人意。
作者們的結(jié)果顯著體現(xiàn)出了公平性限制的評(píng)估中測(cè)量指標(biāo)的選擇以及基于時(shí)間建模的重要性，這同時(shí)也揭示了一組新的挑戰(zhàn)和新的取舍。
The Mechanics of n-Player Differentiable Games
可微分多玩家博弈的機(jī)制研究
論文摘要：深度學(xué)習(xí)最根本的基石是一個(gè)對(duì)象的梯度下降最終可以保證收斂到某個(gè)局部最小值。然而不幸的是，這種保證在某些設(shè)定下會(huì)失效，比如對(duì)抗性生成網(wǎng)絡(luò)，其中有多個(gè)互相影響的損失函數(shù)?；谔荻鹊姆椒ㄔ诓┺闹械男袨椴](méi)有得到很好的研究，而隨著對(duì)抗性以及多目標(biāo)的模型架構(gòu)的發(fā)展，這方面的研究也越來(lái)越重要。在這篇論文中，作者們開(kāi)發(fā)了一種新的方法以便理解與控制一般博弈中的動(dòng)態(tài)表現(xiàn)。其中的關(guān)鍵成果是把二階動(dòng)態(tài)特性分解為兩個(gè)項(xiàng)。第一項(xiàng)與可能的博弈有關(guān)，它可以根據(jù)隱式的函數(shù)梯度下降而減??；第二項(xiàng)與哈密頓博弈有關(guān)，這是一類(lèi)新的遵循守恒定律的博弈，和經(jīng)典機(jī)械系統(tǒng)中的守恒定律很類(lèi)似。這種分解手段也帶來(lái)了辛梯度調(diào)節(jié)（Symplectic Gradient Adjustment）算法，這是一種可以在普通博弈中尋找穩(wěn)定固定點(diǎn)的新算法。基礎(chǔ)性的實(shí)驗(yàn)表明 SGA 與近期提出的在 GANs 中尋找穩(wěn)定固定點(diǎn)的算法有同等的表現(xiàn)，同時(shí)也可以運(yùn)用于更多一般的博弈中，而且還有求解的保證。
Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices
用于密集、稀疏矩陣的接近最優(yōu)的頻繁方向算法
這篇論文的唯一作者是復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院副教授黃增峰
論文摘要：對(duì)于一個(gè)大矩陣
，我們考慮計(jì)算這個(gè)矩陣的梗概矩陣（sketch matrix）
的問(wèn)題。這個(gè)矩陣應(yīng)當(dāng)明顯更小，但同時(shí)也與 A 足夠接近。我們考慮最小化如下的協(xié)方差誤差
我們?cè)诹髂Ｐ椭锌紤]這個(gè)問(wèn)題，在這里算法只有有限的工作空間，而且只能對(duì)輸入進(jìn)行一次計(jì)算得到結(jié)果。流行的頻繁方向算法（Frequent Directions）和它的各種變體在空間和誤差之間取得了最佳取舍。然而，算法的運(yùn)行時(shí)間是否可以得到改進(jìn)還是一個(gè)尚未研究的問(wèn)題。
在這篇論文中，我們幾乎解決了這個(gè)問(wèn)題的時(shí)間復(fù)雜性。尤其是，我們提出了新的空間最優(yōu)的算法，它具有更快的運(yùn)行時(shí)間。并且，我們展現(xiàn)了我們算法的運(yùn)行時(shí)間是接近最優(yōu)的，除非目前最優(yōu)的矩陣乘法的運(yùn)行時(shí)間可以得到大幅度的提升。
Fairness Without Demographics in Repeated Loss Minimization
在反復(fù)的損失最小化中，無(wú)需人口特征統(tǒng)計(jì)實(shí)現(xiàn)平等
斯坦福大學(xué)教授 Percy Liang 是這篇論文的作者之一
論文摘要：機(jī)器學(xué)習(xí)模型（比如語(yǔ)音識(shí)別模型）在訓(xùn)練時(shí)通常都是要讓平均損失最小化，這樣會(huì)帶來(lái)表征懸殊的問(wèn)題 —— 少數(shù)群體（比如非母語(yǔ)的講話(huà)者）由于對(duì)訓(xùn)練目標(biāo)的貢獻(xiàn)較少，這些樣本的損失值也就更高。更糟糕的是，隨著模型的準(zhǔn)確率下降而影響到用戶(hù)留存的話(huà)，使用模型的少數(shù)群體會(huì)越來(lái)越少。在這篇論文中，作者們首先展示了經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（ERM）的方法會(huì)讓表征懸殊的問(wèn)題變得越來(lái)越嚴(yán)重的狀況，這甚至?xí)屪畛踹€平等的模型變得不平等。為了減緩這種問(wèn)題，作者們開(kāi)發(fā)了一種基于分布魯棒優(yōu)化（DRO）的新方法，它會(huì)把所有數(shù)據(jù)分布中的最糟糕的情況風(fēng)險(xiǎn)都最小化到接近經(jīng)驗(yàn)分布。作者們證明了這種方法在每一個(gè)時(shí)間步中都控制了少數(shù)群體的風(fēng)險(xiǎn)，根據(jù)羅爾斯的分配正義思想評(píng)價(jià)的話(huà)，同時(shí)也能夠忽略不同組之間的身份差異。作者們展現(xiàn)了 DRO 能夠在 ERM 不能阻止表征懸殊增大的情況下阻止它發(fā)生，同時(shí)也在真實(shí)世界的文本自動(dòng)完成任務(wù)中成功增加了少數(shù)群體的用戶(hù)滿(mǎn)意程度。
A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning
一個(gè)自然語(yǔ)言處理的統(tǒng)一架構(gòu)：多任務(wù)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)
這篇論文來(lái)自 ICML 2008
作者們描述了一種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，只靠一個(gè)語(yǔ)言模型網(wǎng)絡(luò)就可以基于給定的句子輸出一系列語(yǔ)言處理預(yù)測(cè)結(jié)果，包括語(yǔ)句的一部分的標(biāo)簽、語(yǔ)料段、可命名的實(shí)體標(biāo)簽、語(yǔ)義角色、語(yǔ)義類(lèi)似的詞，以及句子有意義的似然值（語(yǔ)法角度以及語(yǔ)義角度）。整個(gè)網(wǎng)絡(luò)是在所有這些任務(wù)上以權(quán)重共享的方式聯(lián)合訓(xùn)練的，這樣也成為了多任務(wù)學(xué)習(xí)的一個(gè)實(shí)例。所有任務(wù)都使用了標(biāo)注數(shù)據(jù)，除了語(yǔ)言模型是從無(wú)標(biāo)注文本學(xué)習(xí)的，并且它也為這些共享的任務(wù)提供了一種新的半監(jiān)督學(xué)習(xí)形式。作者們展示了多任務(wù)學(xué)習(xí)和半監(jiān)督學(xué)習(xí)都可以增加這些共享的任務(wù)的泛化性，最終帶來(lái)了頂級(jí)的表現(xiàn)。
資料地址：http://videolectures.net/icml08_collobert_uanl/（帶視頻和 PPT）
目前 ICML 2018 還在如火如荼地進(jìn)行中，正會(huì)會(huì)進(jìn)行到 7 月 13 日。雷鋒網(wǎng) AI 科技評(píng)論會(huì)繼續(xù)發(fā)出相關(guān)報(bào)道，請(qǐng)繼續(xù)關(guān)注。前方照片感謝吳立偉。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
專(zhuān)題
