0
本文作者: 張馳 | 2017-08-01 18:45 | 專題:ICML 2017 |
ICML是國際頂級的機(jī)器學(xué)習(xí)會議,它與NIPS一起,是機(jī)器學(xué)習(xí)與人工智能研究領(lǐng)域影響力極高的兩個(gè)主要會議。今年的ICML將于8月6-11日在澳大利亞悉尼召開,屆時(shí)雷鋒網(wǎng)也將前往現(xiàn)場進(jìn)行報(bào)道。
早在5月時(shí),ICML 2017被接受的論文就已經(jīng)公布了。今年的ICML收到了創(chuàng)紀(jì)錄的1676篇論文,434篇被接受(也創(chuàng)下了新紀(jì)錄)。OpenAI的研究科學(xué)家Andrej Karpathy對這些論文作了分析,并發(fā)現(xiàn)了一些有趣的事。
根據(jù)分析,所有論文中共出現(xiàn)了961個(gè)機(jī)構(gòu)名稱,其中420個(gè)只出現(xiàn)了一次。論文數(shù)前30名的機(jī)構(gòu)如下:
統(tǒng)計(jì)中Google和微軟的論文數(shù)排在了前兩名,CMU排第三。需要注意的是,統(tǒng)計(jì)中Google、Google公司、Google大腦和Google Research都屬于一個(gè)類別,同樣的還有斯坦福和斯坦福大學(xué)。一篇論文中多個(gè)人屬于同一機(jī)構(gòu)時(shí)會合并。
從這些統(tǒng)計(jì)中也可以看出,工業(yè)界發(fā)表的論文占了不小的比例。Karpathy統(tǒng)計(jì)了一些比較知名的工業(yè)界實(shí)驗(yàn)室的論文狀況,比如DeepMind、Google、微軟、Facebook、IBM、迪士尼、亞馬遜和Adobe,發(fā)現(xiàn)他們的論文占論文總數(shù)的14%。而如果算上其它不太知名業(yè)界公司的論文,他認(rèn)為約20-25%的論文有公司參與。也就是說,ICML 2017的論文中約四分之三是完全來自學(xué)術(shù)界。
另外,由于DeepMind和Google可以算一家,加在一起它們共參與60篇論文,占總論文的6.3%。
逐年分析這些論文可以發(fā)現(xiàn),在2011年時(shí)很少有工業(yè)界研究出現(xiàn)在ICML上。而現(xiàn)在公司的參與有了很顯著的提高。不過學(xué)術(shù)界仍然做得很好,貢獻(xiàn)了很大一部分論文。
還有其它一些比較有趣的統(tǒng)計(jì)數(shù)據(jù)。
以第一作者身份論文被接受最多的是一位中國研究者朱澤園,他有5篇論文被接受。他如今在北美的微軟研究院工作。
對第一作者所在機(jī)構(gòu)進(jìn)行統(tǒng)計(jì),排名前五的是CMU(25),Google(19),DeepMind(15),MIT(14)和UCB(14),可見Google的實(shí)力。微軟研究院以10篇排在第七。
純數(shù)量統(tǒng)計(jì)并不能反應(yīng)真實(shí)的研究狀況,一個(gè)更重要的指標(biāo)或許是論文被引用的情況,畢竟論文不是生來平等的。工業(yè)界與學(xué)術(shù)界內(nèi)容被引用的情況如何,這點(diǎn)還沒有統(tǒng)計(jì)。
ICML也也是窺見機(jī)器學(xué)習(xí)最新趨勢的途徑之一。深度學(xué)習(xí)當(dāng)然是重要的內(nèi)容,但雷鋒網(wǎng)檢索標(biāo)題發(fā)現(xiàn),只有6篇文章含這一關(guān)鍵詞。其它出現(xiàn)頻率較高的研究領(lǐng)域還有:強(qiáng)化學(xué)習(xí),隨機(jī)及高斯過程,嵌入(embeddings),貝葉斯優(yōu)化,AutoML(用機(jī)器學(xué)習(xí)探索神經(jīng)網(wǎng)絡(luò)架構(gòu))等。
除了論文,ICML上最受關(guān)注的要屬每天的主題演講了。今年大會安排了四場主題演講,涵蓋了AI的前沿、應(yīng)用和社會影響等方面。
牛津大學(xué)Peter Donnelly
他演講的主題是:基因組學(xué)、大數(shù)據(jù)與機(jī)器學(xué)習(xí):理解生命圖普,推動醫(yī)療革命。演講會通過具體的例子來說明,將機(jī)器學(xué)習(xí)和其他推理工具應(yīng)用于基因組數(shù)據(jù)的機(jī)會和挑戰(zhàn)。
Donnelly是維康信托中心人類遺傳學(xué)研究室主任和牛津大學(xué)統(tǒng)計(jì)學(xué)教授,以及Genomics Plc公司CEO。他是牛津大學(xué)博士,曾任倫敦大學(xué)和芝加哥大學(xué)教授。他的早期研究工作涉及人口遺傳學(xué)隨機(jī)模型的開發(fā),后來逐漸開發(fā)研究遺傳和基因組數(shù)據(jù)統(tǒng)計(jì)方法。他和團(tuán)隊(duì)開發(fā)了多種廣泛使用的統(tǒng)計(jì)算法,包括STRUCTURE和PHASE。他還領(lǐng)導(dǎo)了一個(gè)名為wWGS500的項(xiàng)目,在其中牛津大學(xué)與Illumina合作,對500名具有一系列臨床條件的個(gè)體進(jìn)行測序,以評估臨床醫(yī)學(xué)中全基因組測序的短期潛力,這一項(xiàng)目也是NHS 100000基因組計(jì)劃的前身。
過去10多年,基因測序的成本呈指數(shù)級下降,而未來10多年,或許會有近10億人進(jìn)行基因測序。海量的基因數(shù)據(jù)與個(gè)人的病歷信息和可穿戴設(shè)備信息的結(jié)合,將顯著提高我們評估個(gè)體健康風(fēng)險(xiǎn)、預(yù)測健康狀況以及做出個(gè)性化治療的能力。
哈佛大學(xué)Latanya Sweeney
她的演講主題是:AI設(shè)計(jì)者如何影響公民生活
作為哈佛大學(xué)政府和技術(shù)學(xué)院教授,Sweeney的使命是開發(fā)和運(yùn)用技術(shù),來評估和解決社會、政治和管理問題。她的重點(diǎn)研究領(lǐng)域是技術(shù)對人類的影響,她本人還是Technology Science總編輯 。她對數(shù)據(jù)隱私也很感興趣,是哈佛數(shù)據(jù)隱私實(shí)驗(yàn)室主任。
她認(rèn)為,技術(shù)設(shè)計(jì)者(Technology designer)是新的決策者。雖然他們沒有經(jīng)過選舉,而且大多數(shù)人不知道他們的名字,但正是他們開發(fā)工具和創(chuàng)新時(shí)做出的決定,影響了那些能規(guī)范我們?nèi)粘I畹拇a。 隱私和安全是新技術(shù)的第一個(gè)挑戰(zhàn),而隨著技術(shù)的進(jìn)步,生活的方方面面都會被重新定義。
DeepMind的Raia Hadsell
她的演講主題是:邁向現(xiàn)實(shí)世界的加強(qiáng)學(xué)習(xí)
她是DeepMind的高級研究科學(xué)家,在深度學(xué)習(xí)和機(jī)器人領(lǐng)域有10多年研究經(jīng)驗(yàn)。她早期的研究與用暹羅網(wǎng)絡(luò)進(jìn)行多學(xué)科學(xué)習(xí)有關(guān),這可以用于不變特征學(xué)習(xí)。她的博士導(dǎo)師是Yann LeCun,后來加入CMU的機(jī)器人研究所,以及SRI International。她在2014年初加入了DeepMind,開始研究通用人工智能。她目前的研究側(cè)重于AI代理和機(jī)器人系統(tǒng)持續(xù)學(xué)習(xí)的挑戰(zhàn)。
深度強(qiáng)化學(xué)習(xí)已經(jīng)迅速發(fā)展成為頗具潛力的人工智能研究領(lǐng)域,大量的雅達(dá)利游戲也被用于許多基礎(chǔ)開發(fā)的主要基準(zhǔn)。隨著研究的成熟,更重要的是開發(fā)復(fù)雜的學(xué)習(xí)系統(tǒng),以解決更復(fù)雜的任務(wù)。她屆時(shí)會介紹DeepMind的最近研究,這些研究與在現(xiàn)實(shí)世界和具有復(fù)雜任務(wù)結(jié)構(gòu)的挑戰(zhàn)性環(huán)境中進(jìn)行端到端學(xué)習(xí)有關(guān)。
馬克斯·普朗克智能系統(tǒng)研究所Bernhard Sch?lkopf
他的演講主題是:因果學(xué)習(xí)。
Sch?lkopf的主要研究領(lǐng)域是機(jī)器學(xué)習(xí)和因果推理。他將研究應(yīng)用于許多不同的領(lǐng)域,比如生物醫(yī)學(xué)問題、計(jì)算攝影和天文學(xué)。他曾在AT&T貝爾實(shí)驗(yàn)室和英國的微軟研究院工作。他是德國科學(xué)院的成員,獲得過國際模式識別協(xié)會的J.K. Aggarwal獎。
在機(jī)器學(xué)習(xí)中,會使用數(shù)據(jù)來自動尋找依賴關(guān)系,目的是對未來進(jìn)行預(yù)測。大多數(shù)機(jī)器學(xué)習(xí)方法都建立在統(tǒng)計(jì)學(xué)上,當(dāng)然也可以進(jìn)一步分析數(shù)據(jù)在統(tǒng)計(jì)依賴性后的因果結(jié)構(gòu)。Sch?lkopf認(rèn)為,這樣的因果知識可以幫助在機(jī)器學(xué)習(xí)任務(wù)中做出預(yù)測。他在演講中也會提到因果模型對機(jī)器學(xué)習(xí)任務(wù)的影響,如遷移學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。
雷鋒網(wǎng)將在現(xiàn)場帶來ICML 2017的即時(shí)報(bào)道,敬請關(guān)注我們的后續(xù)文章。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
本專題其他文章