一封長(zhǎng)信為Yann LeCun鳴不平：機(jī)器學(xué)習(xí)社區(qū)有毒

本文作者：青暮

編輯：劉曉坤

2020-07-01 10:08

導(dǎo)語(yǔ)：盲目追風(fēng)之下，需要一場(chǎng)深刻的反思！

作者 | 蔣寶尚、青暮

編輯 | 叢末

不知道是不是連鎖反應(yīng)，自從Yann LeCun被眾“杠精”逼退推特，整個(gè)機(jī)器學(xué)習(xí)社區(qū)就彌漫著“有毒”的氣息。

一封長(zhǎng)信為Yann LeCun鳴不平：機(jī)器學(xué)習(xí)社區(qū)有毒

這不，今早一位資深的reddit社區(qū)網(wǎng)友細(xì)數(shù)了機(jī)器學(xué)習(xí)社區(qū)有毒的現(xiàn)象，從同行評(píng)審說(shuō)到了論文復(fù)現(xiàn)，從“大佬”崇拜說(shuō)到了 LeCun的有毒反彈，也提到了AI道德的倫理問(wèn)題以及論文發(fā)表的“你死我活”現(xiàn)象。

最后也點(diǎn)出了當(dāng)前機(jī)器學(xué)習(xí)社區(qū)的不尊重現(xiàn)象，例如Schmidhuber說(shuō)Hinton 是小偷，Gebru說(shuō)LeCun有性別歧視。在討論中沒(méi)有人心平氣和，每個(gè)人都在到處攻擊。然而，每個(gè)人都是受害者。

以下是這位網(wǎng)友的內(nèi)心獨(dú)白，以信件的形式展現(xiàn)在reddit社區(qū)，AI科技評(píng)論做了編譯：

機(jī)器學(xué)習(xí)社區(qū)有毒，并且無(wú)處不在

首先是，同行評(píng)審模式已經(jīng)崩潰。例如，第四屆NeurIPS要求，所有提交的論文都要放到了arXiv上，還有DeepMind的研究人員公開(kāi)對(duì)質(zhì)那些給他們ICLR論文“差評(píng)”的評(píng)審員。盡管評(píng)審員已經(jīng)表示拒收，但知名機(jī)構(gòu)提交到arXiv的論文仍然在頂會(huì)中被接收。反之亦然，評(píng)審委員也會(huì)斃掉一些評(píng)審過(guò)程中“好評(píng)度”非常高的論文。（我不想提到任何名字，只需看一下今年ICLR的openreview頁(yè)面即可）。

其次，論文存在復(fù)現(xiàn)危機(jī)。如今，在測(cè)試集上調(diào)整超參數(shù)似乎已成為標(biāo)準(zhǔn)做法。未能超越SOTA的論文在頂會(huì)上被接收的機(jī)會(huì)幾乎為零。所以，這導(dǎo)致研究員轉(zhuǎn)換了轉(zhuǎn)換了研究風(fēng)向：對(duì)超參數(shù)進(jìn)行調(diào)整，實(shí)現(xiàn)一些細(xì)微的技巧，并期望性能的提高。

第三，存在“大佬”崇拜問(wèn)題。來(lái)自斯坦?；駾eepMind等知名機(jī)構(gòu)的每篇論文都被視為是一項(xiàng)突破。例如，BERT被引用的次數(shù)是ULMfit的七倍。加持Google背景的論文可以提供相當(dāng)多的信譽(yù)和可見(jiàn)度。在每次ICML會(huì)議上，無(wú)論工作內(nèi)容如何，每一篇DeepMind poster論文前都有很多人圍觀。在線上ICLR 2020上的Zoom會(huì)議上也發(fā)生了同樣的事情。

此外，NeurIPS 2020的提交量是ICML的兩倍，即使這兩個(gè)都是頂級(jí)ML會(huì)議。為什么？為什么“神經(jīng)”這個(gè)名字如此受歡迎？還有，Bengio、Hinton和LeCun確實(shí)是深度學(xué)習(xí)的先驅(qū)，但稱他們?yōu)锳I的“教父”則是瘋狂的行為，這已經(jīng)達(dá)到了宗教崇拜的程度。

第四，Yann LeCun談?wù)撈?jiàn)和公平話題的方式實(shí)際上并不敏感，但是，卻遭到了超出合理范圍的惡意攻擊，LeCun的沉默也不會(huì)解決任何問(wèn)題。

第五，機(jī)器學(xué)習(xí)和整個(gè)計(jì)算機(jī)科學(xué)領(lǐng)域都存在嚴(yán)重的多樣性問(wèn)題。在我們大學(xué)的CS系中，只有30％的本科生和15％的教授是女性。對(duì)于女性而言，在博士或博士后期間休育兒假通常意味著學(xué)術(shù)生涯的結(jié)束。

但是，這種缺乏多樣性的現(xiàn)象經(jīng)常被濫用為借口，用來(lái)使某些人免受任何形式的批評(píng)。限制關(guān)于種族和性別的科學(xué)討論中的負(fù)面評(píng)論造成了有毒的環(huán)境。人們變得害怕，害怕被稱為種族主義者或性別歧視者。然而，這反過(guò)來(lái)加劇了多樣性問(wèn)題。

第六，社區(qū)的道德和倫理環(huán)境非常隨意。僅僅因?yàn)闆](méi)有在文章中提到研究人員，就發(fā)生了很多激烈的討論。同時(shí)，幾乎所有有價(jià)值的ML討論都將超過(guò)10億人口的非洲排除在外（一些Indaba研討會(huì)除外）。

第七，有一種刻板的不發(fā)論文就“狗die”的心態(tài)。如果每年不發(fā)表5篇以上的NeurIPS / ICML論文，那就是looser。研究小組已經(jīng)變得如此龐大，以至于項(xiàng)目負(fù)責(zé)人甚至都不知道每個(gè)博士生的名字。某些人每年向NeurIPS提交50篇以上的論文。撰寫(xiě)論文的唯一目的已經(jīng)變成在簡(jiǎn)歷中再增加一篇NeurIPS論文。質(zhì)量是次要的，通過(guò)同行評(píng)審已經(jīng)成為主要目標(biāo)。

最后，討論變得不禮貌。Schmidhuber稱Hinton為小偷，Gebru稱LeCun為白人至上主義者，Anandkumar稱Marcus為性別主義者。每個(gè)人都受到攻擊，但沒(méi)有任何改善的跡象。

Jürgen Schmidhuber曾經(jīng)引用 200 多條文獻(xiàn)來(lái)逐條反駁 ACM 給予Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun的圖靈獎(jiǎng)的理由，指出獲獎(jiǎng)?wù)卟](méi)有引用之前研究者的工作，包括LSTM、CTC、CNN、dropout、GAN等技術(shù)。

Yann LeCun曾經(jīng)和Timnit Gebru在推特上討論機(jī)器學(xué)習(xí)系統(tǒng)中的偏見(jiàn)來(lái)源問(wèn)題，卻因?yàn)閱?wèn)題的敏感性和直言不諱的說(shuō)話方式被暗示是種族主義者甚至是性別歧視者，導(dǎo)致他后來(lái)失望退出推特。

即便是愛(ài)因斯坦，也曾經(jīng)極力反對(duì)如今已被普遍接受的量子力學(xué)理論，我們可以停止妖魔化那些不同意我們觀點(diǎn)的人嗎？

由于他人的惡意攻擊或壓制而使我們沉默的那一刻，就是科學(xué)和社會(huì)進(jìn)步消亡的開(kāi)始。

網(wǎng)友評(píng)論：完全同意

此“信件”發(fā)在reddit上之后，引起了網(wǎng)友的熱烈討論，6個(gè)小時(shí)瀏覽閱讀量達(dá)到了1.2K，是近幾個(gè)星期的話題活躍度之首。

網(wǎng)友評(píng)論的風(fēng)向還算一致，大多都同意作者羅列的這些有毒現(xiàn)象。另外，還有網(wǎng)友額外補(bǔ)充了其他有毒現(xiàn)象，例如糟糕的政治。還有網(wǎng)友將此現(xiàn)象延伸到了其他學(xué)科，例如物理學(xué)。

100％同意。不太知名的研究人員真正有趣的研究通常只有1-2條評(píng)論，我感到很氣憤。同時(shí)，ML名人隨便一條推文都有300 -500條評(píng)論。

早在2017年，NeurIPS就拒絕了我已經(jīng)實(shí)現(xiàn)并發(fā)現(xiàn)非常有效的一種非常新穎的語(yǔ)言建模方法。（不是我的論文。）NeurIPS基本上接收了FAIR或DeepMind的所有NLP論文，甚至是那些聲稱僅歸因于網(wǎng)格搜索的微不足道的改進(jìn)，以及那些明顯夸大其成就的論文。

閱讀評(píng)審員的評(píng)論后，我不由自主地顫抖著：匿名審閱者在同一家公司工作。

那是導(dǎo)致我遠(yuǎn)離NLP AI研究的事件之一。

我可以證明：機(jī)器學(xué)習(xí)論文不發(fā)表就出局的心態(tài)很普遍，雖然我不是機(jī)器學(xué)習(xí)研究人員，但經(jīng)常有機(jī)器學(xué)習(xí)社區(qū)的小伙伴問(wèn)我發(fā)表論文的會(huì)議接收率是多少。仿佛他們和我生活的不是同一個(gè)星球。

我完全同意第三點(diǎn).......但是Bert確實(shí)讓模型訓(xùn)練變得容易了，作者在模型的可用性上做了很多的努力。

同意大部分，但是有點(diǎn)小問(wèn)題。投稿期間公開(kāi)論文、論文復(fù)現(xiàn)、大佬崇拜這些問(wèn)題確實(shí)存在，但是論文數(shù)量、多樣性等其他問(wèn)題，其實(shí)并沒(méi)有很嚴(yán)重。

當(dāng)前的問(wèn)題是論文放在arxiv上面的太少了。要是都放上去....就像數(shù)學(xué)和物理領(lǐng)域一樣，這會(huì)使得社區(qū)更健康。

“我是化學(xué)工程領(lǐng)域的，你說(shuō)的這些現(xiàn)象其實(shí)在我的研究領(lǐng)域里也有，這是學(xué)術(shù)界普遍的問(wèn)題。其實(shí)這些問(wèn)題的根源在于大家論文發(fā)表的壓力太大了。”

其實(shí)，糟糕的政治才是學(xué)術(shù)界最大的悲哀~

我進(jìn)入科學(xué)研究是因?yàn)槲以菊J(rèn)為這里是公平的，結(jié)果卻大相徑庭。這不是最近的現(xiàn)象，而且不僅僅是ML。

只要學(xué)術(shù)系統(tǒng)按其方式運(yùn)作并受到看門人和具有不良激勵(lì)作用的機(jī)構(gòu)的保護(hù)，這將永遠(yuǎn)不會(huì)改變。你能做什么？只有以身作則，不要在規(guī)則里玩，退出吧，去做獨(dú)立研究。不要被行業(yè)的競(jìng)爭(zhēng)態(tài)勢(shì)驅(qū)使，去做真實(shí)的東西。

從內(nèi)部對(duì)系統(tǒng)進(jìn)行改革非常困難。當(dāng)足夠多的人決定完全退出系統(tǒng)并建立具有臨界價(jià)值的替代方案時(shí)，改革就來(lái)了。