0
雷鋒網(wǎng) AI 科技評論按:人工智能領(lǐng)域最熱門會議之一的 NIPS 已經(jīng)開幕了,新鮮報道紛至沓來。
今年 NIPS 2017 中,接近6000人參會、3240篇論文投稿、678篇接收論文的幾個數(shù)字都創(chuàng)下了歷史記錄;甚至僅僅谷歌一家公司就有450人到場、45篇收錄論文,可以說是非常嚇人了。我們甚至擔心,所有參加會議的接近6000名參會者的吃飯問題怎么解決,本屆 NIPS 不提供一日三餐,而附近只有十一二家集中的餐館……(詳情見 搶先看:6000個滿腦子機器學習的人一起開會會是什么樣?)
隨著正會開始,NIPS 2017 的三篇最佳論文獎和一篇 Test of Time Award 獲獎?wù)撐亩家呀?jīng)公布出來,我們先放下前面的擔憂,看看這幾篇論文內(nèi)容如何。
Safe and Nested Subgame Solving for Imperfect-Information Games
在不完全信息博弈中安全、嵌套地求解子博弈(卡內(nèi)基梅隆大學德?lián)?AI 的論文)
論文摘要:對于不完全信息的博弈來說,一個子博弈的最優(yōu)策略可能也會取決于其它的、沒有遇到的子博弈中的策略。所以一個子博弈不可以單獨求解,必須把基于整個博弈考慮策略;這和圍棋象棋之類的完全信息博弈不同。但不管怎么說,首先對整個博弈求解,然后再對子博弈分別求解以改善原來的解的方法也是可行的。這種方法就稱作“子博弈求解”。論文中作者們提出了一種子博弈求解方法,它在理論和實際效果方面都要超越以往的方法。作者們同時展示了如何適配這種方法以及以往的子博弈求解方法,以便能夠處理原來的動作抽象范圍之外的對手動作;這也比先前的最好方法“動作翻譯”的效果好得多。最后,作者們表明子博弈求解可以在博弈沿著分支樹向下進行的過程中反復(fù)運用,這也帶來了遠低小于之前的探索空間。這些技術(shù)都是第一個在一對一無限注德州撲克單挑中打敗頂尖人類選手的 AI 的關(guān)鍵組成部分。
雷鋒網(wǎng)字幕組翻譯的 論文作者的論文介紹視頻
Variance-based Regularization with Convex Objectives
帶有凸對象的基于方差的正則化方法
作者們開發(fā)了一種風險最小化和隨機優(yōu)化的方法,該方法為方差提供了一個凸代替項(convex surrogate),并能夠允許在近似和估計誤差之間實現(xiàn)接近最優(yōu)且計算效率高的權(quán)衡。 作者們的方法建立在分布魯棒性優(yōu)化和 Owen 經(jīng)驗似然值的技術(shù)基礎(chǔ)之上,并用一些有限樣本和漸近結(jié)果來表征估計的理論性能。 特別是,作者們證明了他們的過程是最優(yōu)的,在某些情景下他們的方法要比通過自動平衡偏差和方差的經(jīng)驗風險最小化方法有更快地收斂速率。他們給出的經(jīng)驗性證據(jù)表明,在實踐中估計值確實會在訓練樣本的方差和絕對性能之間進行權(quán)衡。這種權(quán)衡相比于很多標準的經(jīng)驗性風險最小化方法,在許多分類問題上的測試性能都提升。
論文地址:https://papers.nips.cc/paper/6890-variance-based-regularization-with-convex-objectives.pdf
A Linear-Time Kernel Goodness-of-Fit Test
一種線性時間核的擬合優(yōu)度測試方法
作者們提出了一中全新的擬合優(yōu)度(goodness-of-fit)的適應(yīng)性測試,其計算成本與樣本的數(shù)量呈線性關(guān)系。作者們通過最小化假陰性率(the false negative rate)來學習最能表明觀測樣本和參考樣本之間差異的測試特性。這種特性是通過 Stein 方法構(gòu)造的,這意味著沒有必要計算模型的歸一化常數(shù)。作者們分析了新測試的漸近 Bahadur 效率,并證明了在均值偏移的情況下,無論測試中的那個參數(shù)都比之前的線性時間核測試具有更高的相對效率。在實驗中,作者們的方法的性能超過早期的線性時間測試,與二次時序核測試的能力相匹配(甚至超過它)。在高維以及可以使用模型結(jié)構(gòu)的情況下,作者們的擬合優(yōu)度測試即使只用從模型中抽取的樣本,也能比基于最大平均偏差(Maximum Mean Discrepancy)的二次時序、雙樣本測試表現(xiàn)得更好。
論文地址:https://papers.nips.cc/paper/6630-a-linear-time-kernel-goodness-of-fit-test.pdf
Random Features for Large-Scale Kernel Machines (NIPS 2007)
用于大規(guī)模核學習機器的隨機特征方法
論文摘要:為了提高核學習機器的訓練速度,這篇論文中提出了一種把輸入數(shù)據(jù)映射到隨機的低維特征空間中,然后再使用現(xiàn)有的快速線性化算法的方法。作者們是按照這樣的條件設(shè)計隨機特征的:映射后的數(shù)據(jù)的內(nèi)積要和用戶指定的具有平移不變性的核的特征空間中的數(shù)據(jù)內(nèi)積近似相等。作者們在兩組隨機的特征上進行了實驗,并給它們的逼近各種徑向基函數(shù)的能力設(shè)定了收斂界限,結(jié)果表明在大規(guī)模分類和回歸任務(wù)中,使用了這些特征的線性機器學習算法要比當前最好的大規(guī)模核學習機器表現(xiàn)更好。
論文地址:http://www.seas.upenn.edu/~cis520/papers/random_features_for_SVM.pdf
NIPS 2017 會一直進行到 12月9日 (北京時間12月10日),會議進行期間雷鋒網(wǎng) AI 科技評論會繼續(xù)帶來各方面報道,請繼續(xù)關(guān)注我們。
相關(guān)文章:
NIPS 2017今天開啟議程,谷歌科學家竟然組團去了450人,還都不是去玩的!
Facebook發(fā)出NIPS節(jié)目單:精彩研究馬上登臺亮相
帶你搶先看:6000個滿腦子機器學習的人一起開會會是什么樣?| NIPS 2017
DeepMind 16篇NIPS 2017論文,全部信息都在這里了 | NIPS 2017
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。