0
今年最后一場重量級的人工智能頂會 NeurIPS 2019 也落下帷幕了，據(jù)統(tǒng)計，今年參會人數(shù)超過 1.3萬人，達歷史之最！
不止是 NeurIPS，今年所有國際學術(shù)頂會的現(xiàn)場都可以用“盛況空前”來概括，這也反映出當下人工智能的研究熱潮依舊在迅猛上漲，越來越多的研究者參與到會議中來展開思想火花的碰撞。
然而，過大的規(guī)模同時也會讓會議的組織難度急劇增加，并且還難以保證參會者們的參會體驗。
對此，來自斯坦福的研究生 Andrey Kurenkov 就撰文記錄了他參加 NeurIPS 2019 的體驗，并分享了自己對會議規(guī)模過大的一些思考。
幾周前，NeurIPS 2019 圓滿落幕了。
許多出色的博文已經(jīng)總結(jié)了本屆 NeurIPS 大會上各種各樣的演講和關(guān)鍵發(fā)展趨勢。因此，本文的目的十分簡單：反思本次參會的經(jīng)歷，特別是反思本屆大會如此之大的規(guī)模是否有害于其作為研究型會議的初衷。
那么，本屆 NeurIPS 究竟有多「龐大」呢？據(jù)統(tǒng)計，此次會議的參會人數(shù)突破了 13,000 人，共有 1,428 篇被接收的論文，舉行了 57 場大型的研討會。NeurIPS 著實是一場大型的盛會，正如參會者在 Twitter 上所報道的：
上面人們前往主題報告會場的視頻反映了本屆 NeurIPS 的規(guī)模。
我們將 9 分鐘的視頻濃縮到了 15 秒，這里面還遠遠不是所有的參會者!
這是一場滾石樂隊的演唱會嗎？不！這是 NeurIPS 2019 的主題報告。
NeurIPS 2019 人頭攢動的海報展。我找到了感興趣的海報，最后在會場外的咖啡廳獨海報。
我從事的是人工智能子領(lǐng)域——機器人方向的研究。因此，到目前為止，我參加過的會議主要都是一些小型的機器人會議（例如，規(guī)模約為 400 人的會議「Conference on Robot Learning」和「Robotics: Science and Systems conference」）。在這之前，我最近參加過的學術(shù)會議是規(guī)模約為 3,000 人的 ICRA。
參與人工智能學術(shù)會議的人數(shù)變化情況
從會議規(guī)模的角度來看，2018 年的「Robotics: Science and Systems」會議的茶歇環(huán)節(jié)和海報展都是在同一個房間內(nèi)進行的，但這個房間的大小大概只有 NeurIPS 舉行海報展的房間的 1/50，詳情請觀看下面的視頻：
視頻播放地址：https://youtu.be/gobhhfdgRHQ
如你所見，NeurIPS 的會場人山人海。這是好事還是壞事呢？在我看來，這兩方面都存在。雖然采取這種中間的立場有些無聊，但是我確實發(fā)現(xiàn)參加這樣的會議有積極和消極的兩個方面。
當然，我并不是第一個指出「NeurIPS 的規(guī)模變得如此龐大可能弊大于利」的人，例如，「The Greatest Trade Show North of Vegas (Pressing Lessons from NeurIPS 2018)」這篇文章也發(fā)表了這一觀點（文章閱讀地址：http://approximatelycorrect.com/2018/12/22/the-greatest-trade-show-north-of-vegas-pressing-lessons-neurips-2018/）。
因此，我首先要說，在本文中我并不會提出強烈的批評，我只想闡述我的一些觀察。而且，在介紹這些觀察的同時，我也承認 NeurIPS 的組委會對于會議的目的和設(shè)計的考慮可能遠遠比我多，我提出的這些消極的問題也可能確實沒有非常簡單的解決方案。
1、人多
任何研究型會議的核心目的都是聚集一群對相似事物感興趣的研究人員，讓他們討論自己的工作和想法。NeurIPS 能夠有如此大的規(guī)模，便很好地實現(xiàn)了這一目的，因為它自然而然地讓那些相熟的研究者、合作者圍坐在一起，一邊喝咖啡一遍交談。
本屆 NeurIPS 特別關(guān)注對更多研究者的包容性，尤其是通過關(guān)注于此的多個研討會（Black In AI；Women In Machine Learning；LatinX In AI；Queer In AI；New In Machine Learning；CiML 2019: Machine Learning competition for All）進一步強化了這種積極的特質(zhì)。
看到、聽到有很多人因為這些研討會收獲了一段美好的學術(shù)經(jīng)歷，這十分令人感動！這都要歸功于 NeurIPS。
我在 WiML 研討會度過了收獲滿滿的一天，這太不可思議了！與學術(shù)界和工業(yè)界卓越的研究者交流是一種享受！感謝 Yann Lecun 在圓桌討論中提出的深刻見解！
在 Black in AI 晚宴上與 Yoshua Bengio 同桌，我受益匪淺。
感謝本屆 NeurIPS 的 Black in AI 活動的全體組織者。這真的是一個超棒、超熱情的研究社區(qū)，它們在人工智能界做了很多非常重要的工作。衷心感謝它們?yōu)榇舜位顒幼龀龅乃信Γ?/span>
Ramon Vilarion：
在本屆 NeurIPS 的一個研討會上，有人說為了在 AI 上實現(xiàn)去殖民化，我們?nèi)匀挥泻荛L的路要走。我說：「我就是一名來自巴西貧困社區(qū)的黑人，而今天早上我在這里對 Yoshua Bengio 提出了異議。我們應(yīng)該樂觀一點！」
Timnit Gebru：
2015 年，我首次參加了 NeurIPS 大會，我記得那是在蒙特利爾。我寫下了我糟糕的參會經(jīng)歷，并打算匿名發(fā)表。但是朋友們告訴我很容易看出來是誰寫的。4年過去了，這個會議真的改變了很多。
Ramon Vilarin：
感謝 Black in AI！所有人都感到這次的經(jīng)歷不可思議。我即將回到巴西，深感我們很有可能讓那些最貧困的人也參與到對于「如何創(chuàng)造、應(yīng)用人工智能，將它們與社會相結(jié)合」的大討論中來。
2、海報、演講、主題活動多
任何研究型會議的另一個主要的目的是：向參會者介紹新的研究并激發(fā)新的思路。
對于這一點，本屆 NeurIPS 有如此大的規(guī)模也是很有助益的：本屆 NeurIPS 的內(nèi)容比我以前參加的任何會議都要多，只不過有大量的研究著眼于不同的子領(lǐng)域。
盡管這種規(guī)模和多樣性可能會導致我們能夠找到的需要深入研究的新內(nèi)容變得更少（而不是更多），但對我來說恰恰相反——由于我已經(jīng)在 arxiv 上閱讀過許多機器人學會議上發(fā)表的論文，如果我深入研究這些論文的主題，可能很容易就會發(fā)現(xiàn)這些論文，而我在 NeurIPS 發(fā)現(xiàn)的最令人興奮的論文并非關(guān)注于機器人學，而是來自計算機視覺（CV）或自然語言處理（NLP）領(lǐng)域。
如果不是因為這次會議，我可能永遠也不會看到這些論文，也不會在看到這些論文后迸發(fā)出一些奇妙的點子。
我在正會和研討會上瀏覽過的 50 張海報
研討會和活動眾多也意味著會有一些與眾不同的活動。例如，可復現(xiàn)性挑戰(zhàn)賽（相關(guān)鏈接：https://openreview.net/group?id=NeurIPS.cc/2019/Reproducibility_Challenge），創(chuàng)意與設(shè)計機器學習研討會（相關(guān)鏈接：https://slideslive.com/38922087/neurips-workshop-on-machine-learning-for-creativity-and-design-30-2），溝通技巧實訓（相關(guān)鏈接：http://www.katherinelgorman.com/home），以及「回顧：對機器學習研究的反思」研討會（相關(guān)鏈接：https://slideslive.com/38921897/retrospectives-a-venue-for-selfreflection-in-ml-research-4）。
這些絕對都是我最喜歡的部分，很高興看到來自研究社區(qū)之外的人與人工智能領(lǐng)域的互動（記者和藝術(shù)家），這些活動給了他們一個與我們研究人員交流的平臺 。
3、歡樂多
說實話，對于像我這樣的研究生來說，我們之所以對參會如此感興趣，在某種程度上來說也是因為旅行和與朋友進行的社交活動。會議規(guī)模大意味著會有很多贊助商，這也意味著會有很多工業(yè)界的聚會，十分有趣！正如「An AI conference once known for blowout parties is finally growing up」中所說的那樣，「工業(yè)界的聚會相對比較溫和」是過去的說法，但是在晚上參加這些聚會是我此次參會經(jīng)歷中非常重要的一部分。
盡管我并沒有參加過很多這樣的活動，但是我仍然很喜歡在溫哥華的市中心四處探索，和新老朋友聚餐。晚間的社交活動是這屆 NeurIPS 大會的一個新的特征，似乎這種進步非常受歡迎，因為它為那些不喜歡參加嘈雜的聚會或沒有被邀請參加工業(yè)界活動的人提供了一種選擇。
1、人太多
我之所以拍了這么多海報的照片，有一部分的原因是：通常情況下，與那些我最感興趣的海報的講者交談是很困難的（由于人多），所以我不停地在周圍走來走去，因此就會看到其它的海報。
對于海報進行深入的探討是我最喜歡的環(huán)節(jié)之一，而且這也絕對是我在 NeurIPS 上做到的、在以前的會議中做不到的事情。盡管有這么多的參會者確實可以促成很多對話，但另一方面也為對話設(shè)置了阻礙——在如此大的規(guī)模下，如果你不制定明確的計劃，你很可能永遠也不會遇到你認識的同樣也參會了的人，這意味著一些本來會在茶歇時間發(fā)生的對話永遠不會發(fā)生。
此外，盡管大會組織者在包容性方面的努力值得稱贊，但這也意味著他們有更多的責任來確保被邀請參加這些活動的人能夠真正成行。因此，在幾個月前，聽說有許多人因為簽證被拒而不能參加此次 NeurIPS，我對此深表遺憾：
加拿大再次拒絕向參加NeurIPS的人工智能研究人員發(fā)放旅行簽證
我的經(jīng)驗是，研討會接受申請的日期通常較晚，這讓來自發(fā)展中國家的人更加焦慮。
2017 年的 NeurIPS 在美國的洛杉磯召開，我在會前兩個月申請了簽證，但是會開完了一個月后我才收到通過的簽證。
今年的 NeurIPS 在加拿大的溫哥華召開，我在開會前 3 周才拿到簽證。盡管預(yù)定行程的壓力很大，但我很高興最終得以成行。
值得贊揚的是人工智能研究社區(qū)、NeurIPS 的組織者，以及加拿大政府在大會籌備過程中似乎在很大程度上已經(jīng)解決了這個問題。但是，如果一開始就沒有發(fā)生這種情況，那就很理想了。
Graeme Moffat：
2018 年加拿大的創(chuàng)新部和邊境署注意到科學簽證被拒的問題時，已經(jīng)太晚了。因此，全世界的科學家對加拿大的印象并不好。
2019 年的 NeurIPS 大會前不久在溫哥華召開了。本次會議沒有出現(xiàn)重大的簽證被拒問題。這次創(chuàng)新部和邊境署的能力得到了體現(xiàn)，這個問題在一定程度上得到了解決。
我可以去 NeurIPS 了！經(jīng)過了了三次嘗試，我的加拿大簽證被批準了。這是一段漫長而又曲折的經(jīng)歷，我由衷感謝一路上支持我的每一個人。但令人難過的是，仍然有許多人無法通過簽證。讓我們確保這不是一次性的努力，從而讓這個世界更加包容。
2、海報、演講、主題互動太多！
即使日程安排十分簡單（在沒有研討會的日子里，每天在一個大房間內(nèi)會有兩個小時的海報展，而在另一個大房間里會進行兩場長時間的演講。此外，在幾個稍小一些（但仍然很大）的房間里，會在兩個時間段內(nèi)進行一些短時間的演講），但是會議的內(nèi)容太多了，這意味著僅僅想要弄清楚應(yīng)該嘗試什么和關(guān)注什么內(nèi)容就是一個挑戰(zhàn)。
這與我前面提到的小型機器人學術(shù)會議 CoRL 和 RSS 形成了鮮明的對比，這些小型會議會將所有的演講和海報展全都囊括在一個大房間內(nèi)，這樣就很容易讓參會者弄清楚全部的內(nèi)容。
每個研討會的規(guī)模都要比正式會議的規(guī)模小一些（盡管有些研討會仍然占據(jù)著巨大的會議室），研討會上有數(shù)十張海報和數(shù)百名參會者。這既有好處也有壞處，因為參加每個研討會都要花費一整天的時間，所以參會者可以選擇專注于一個話題，并進行深入研究。但實際上，我們很難靜下心來選擇只專注于一個話題，所以我最終參加了多個研討會。
最后，隨著提交的論文越來越多，審稿需求也越來越多，隨之而來的審稿質(zhì)量差異也凸顯了出來。雖然這不僅僅是 NeurIPS 的問題，但應(yīng)該指出的是，一些真正存在學術(shù)道德隱患的論文也成功通過了本屆會議的審稿程序：
本屆 NeurIPS 的最可怕論文獎應(yīng)該頒給：「使用生成對抗網(wǎng)絡(luò)根據(jù)聲音重建人臉」（有監(jiān)視的嫌疑）以及「使用網(wǎng)絡(luò)監(jiān)督數(shù)據(jù)預(yù)測一張圖片的政治含義」（有歧視的嫌疑）。也祝賀 NeurIPS 沒有守住學術(shù)道德底線。
我并不是說自己是學術(shù)道德方面的權(quán)威，但許多參會者都提到了，這些論文存在很明顯的學術(shù)道德問題（當然，這是為了改善這一領(lǐng)域，而不僅僅是為了點名批評作者）。
3、過于有趣了！
是的，有這么多的聚會也并不完全是一件好事。正如 Zachary Lipton 已經(jīng)在「The Greatest Trade Show North of Vegas （Pressing Lessons from NeurIPS 2018）」一文（文章鏈接：http://approximatelycorrect.com/2018/12/22/the-greatest-trade-show-north-of-vegas-pressing-lessons-neurips-2018/）中提到的那樣，工業(yè)界的存在本來就分散了人們對于會議的研究目標的注意力。除此之外，「誰受到了邀請」這一問題本身也會損害包容性：
展會大廳將人們太多的注意力從學術(shù)活動上移開了。房間里擺滿了免費的小擺件、食物、豪華的座位，以及花費數(shù)百萬美元布置的景點?？茖W演講和海報不應(yīng)該與國際消費類電子產(chǎn)品展覽會（CES）之類的展覽會在展廳上「一較高下」。
當下的派對文化讓具有相關(guān)社會關(guān)系的（無論學科背景如何）、可以被招聘的（熱門的博士候選人和初級研究人員）以及已經(jīng)十分著名的研究人員聚集到了一起。但是那些最有可能在與潛在的雇主、導師的會面中獲益的年輕研究人員，卻被拒之門外。
我想說的是，對于我來說，展會大廳中的那些小擺件和景點并不會把我的注意力從海報展上分離開來，而且我確實認為它對于那些尋找實習機會或全職工作的人來說是很有用的。但是，它恰好位于海報展覽區(qū)的旁邊，所以那些需要和招聘人員討論這些工作機會的人很可能就會錯過了看海報或聽演講的機會。
所以，我的看法如何呢？
至今，你已經(jīng)對本屆會議的參會情況有了一定的了解，由于各種各樣的原因，會議規(guī)模很大既是好事也是壞事。當然，想要找到同時「揚長」和「避短」的方法并不簡單。盡管如此，我將在下面提出一些自己的想法：
將出席會議的大多數(shù)人限制在有論文要發(fā)表的人。
本屆大會有 1,500 篇論文被接受，加上研討會接收的論文后，這一數(shù)字可能會再翻一倍。這仍然意味著大量參會者中一定有沒有發(fā)表論文的人。雖然把有興趣參會的人拒之門外也很慚愧，但歸根結(jié)底，這是一個學術(shù)會議，最重要目的是讓參加會議的學者能從中受益。誠然，我可能在這里完全錯了，大多數(shù)人確實至少提交了論文，但仍然（還是有必要限制一下參會人數(shù)）。
改進審稿過程。
面對不斷增長的投稿量，如何保證審稿質(zhì)量是整個人工智能研究領(lǐng)域都要面對的問題。正如 NeurIPS 組委會在發(fā)表的一篇博文中所討論的那樣，這個問題并沒有簡單的答案。盡管如此，在與其他人在「回顧」研討會上的討論中，我聽到了一個更為激進的想法：允許全年提交論文，并且限制被接收論文的總數(shù)。也就是說，允許人們?nèi)昊蛞荒曛械拇蟛糠謺r間提交論文，并在滾動的基礎(chǔ)上進行審稿，直到達到一定數(shù)量的可接收論文。
希望通過這種方式，使得這一年的審稿負擔更加分散（因為這會刺激人們提前提交論文，因為你提交的越早，你的論文就越有可能盡早被安排審稿，此時審稿人不會有一大堆其它事情要評審，因此可以看得更仔細。
另一個想法可能是采用兩階段審稿程序。
第一階段要求提交簡短的摘要和方法說明，以便審稿人能夠評價總體新穎性并指出學術(shù)道德問題；第二階段（僅適用于那些已經(jīng)通過第一階段的論文）要求提交定稿，并且如常提交實驗結(jié)果。
最后，也是最容易的一點是，至少要有一套道德守則，以及讓審稿人根據(jù)學術(shù)道德問題將可能需要進一步審查的論文打上標記，這可能是一個好主意。
打造更好的工具。
有這么多的事情要處理，還要能夠在一個人的腦海中將其組織起來，并確定需要關(guān)注的事情的優(yōu)先級，這自然而然地就需要使用軟件工具。我們現(xiàn)有的 Whova app 有一個很好的日程安排功能：它可以通過關(guān)鍵詞進行搜索。
但不足之處是，它只能在智能手機上使用，并且有一個文字非常多的非可視化用戶界面。其它的大型會議（如 SIGRAPH） 似乎都有更好的用戶界面工具來安排他們的日程，所以如果 NeurIPS 能在這方面多投資一些就更好了。
展示更多的海報。
雖然把所有的主題并排放在一個大房間里展出是一件好事（因為這樣會鼓勵人們看看他們的子領(lǐng)域之外的研究工作），但最終由于會場太過擁擠，使得這樣做弊大于利。
由于我們已經(jīng)對研究的主題有了清晰的描述（自然語言處理、計算機視覺、理論、強化學習，等等），那么就應(yīng)該考慮在多個房間內(nèi)按照主題分會場舉行海報展，而不僅僅實在一個巨大的房間里。
最后，我將給出一些積極的評價。盡管本屆 NeurIPS 規(guī)模如此之大也有弊端，但我對 NeurIPS 2019（我第一次參加規(guī)模如此之大的學術(shù)活動）的總體感受是：整個活動進行地十分順利，這令我印象深刻。
我喜歡會議上展示的各種各樣的工作，參與了許多有趣的研討會，聽到了一些很棒的演講。只要在未來的發(fā)展過程中，NeurIPS 能夠謹慎地鼓勵更多的積極因素、減少與規(guī)模相關(guān)的消極因素，我會為其繼續(xù)成為一個重大的時間而感到興奮，未來仍然有可能會參會。
這么快，NeurIPS 2019（我的第一次 NeurIPS 之旅）就落下了帷幕。
昨天，當我坐在岸邊欣賞風景的時候。我想，這場大型的活動是多么地井然有序和實用，研討會是多么的酷炫。
向所有組織者、演講者和場館工作人員致敬！
PS：相關(guān)演講鏈接見原文
Via https://thegradient.pub/neurips-2019-too-big/
雷鋒網(wǎng) AI 科技評論編譯 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
