0
近期，《美國新聞與世界報道》（U.S News & World Report，以下簡稱USN&WR）發(fā)布了其2018年度全球大學(xué)及各個學(xué)科排名。（雷鋒網(wǎng)報道：US News 2018年全球大學(xué)排名最新出爐，清華大學(xué)計算機(jī)專業(yè)問鼎全球Top1 ！）
其中較為引人注目的是，在其世界大學(xué)計算機(jī)學(xué)科的排行榜中，清華大學(xué)排名全球第一，華中科大和浙江大學(xué)也分別進(jìn)入前十；而一些世界著名的高校，例如MIT、斯坦福、哈佛分別只排到第4、第6和第7名；卡內(nèi)基·梅隆大學(xué)甚至僅排名第22名。
在USN&WR發(fā)布出這份排名后，國內(nèi)學(xué)者普遍認(rèn)為這不過是一個笑話。清華大學(xué)助理教授劉知遠(yuǎn)表示：“有人夸你，當(dāng)然可以樂呵一下，總比罵你的好。不過還需有自知之明，所以樂呵‘一下’就好了，該干嘛干嘛去?！?/p>
美國計算機(jī)研究協(xié)會（CRA）首先嘗試了與USN&WR溝通，希望他們撤回這份排名，但沒有得到USN&WR的任何回復(fù)。隨后CRA在其官網(wǎng)上發(fā)布了一份公開的聲明，指出USN&WR發(fā)表的全球大學(xué)計算機(jī)科學(xué)排名的不合理之處，并請求計算機(jī)社區(qū)的人忽視這份排名。
對于這份爭議，雷鋒網(wǎng)也第一時間在《清華計算機(jī)排名世界第一？美國計算研究協(xié)會公開抗議US News全球大學(xué)計算機(jī)科學(xué)排名》一文中做了詳細(xì)的報道。為了深入了解這個事件，我們向多位學(xué)者咨詢了他們的意見。
CRA的公開信中指出了USN&WR 的“三宗罪”：
1）只用期刊數(shù)據(jù)，而忽視會議論文數(shù)據(jù)；
2）USN&WR所采用的“學(xué)術(shù)聲譽(yù)”指標(biāo)不合理；
3）數(shù)據(jù)本身不透明。
針對這些問題，雷鋒網(wǎng)也咨詢了一些學(xué)者，大多數(shù)學(xué)者只針對第一個問題（忽視會議論文數(shù)據(jù)）發(fā)表意見，而對后兩個鮮有談?wù)?。這很大程度上是因為別的一些大學(xué)排名（例如QS世界大學(xué)排名等）都會有“學(xué)術(shù)聲譽(yù)”這一指標(biāo)，很難去說是否合理；另外，別的幾家大學(xué)排名也大多數(shù)據(jù)不透明。
1、只用期刊數(shù)據(jù)，而忽視會議論文數(shù)據(jù)？
加州大學(xué)圣克魯斯分校助理教授 Chen Qian解釋說：US News全球CS排名的根據(jù)是SCI期刊論文數(shù)及引用數(shù)。這個數(shù)據(jù)用于其它理工科專業(yè)是沒有問題的，但是不能用于CS專業(yè)，因為并沒有包括CS領(lǐng)域里最重視的conference publications。所以我們會看到一些結(jié)果比如MIT低于南洋理工，CMU低于上海交大，UCLA低于北京郵電，沙特的阿卜杜爾阿齊茲國王大學(xué)排世界13高于普林斯頓等等。
南洋理工大學(xué)助理教授安波也表示，計算機(jī)學(xué)科和大多數(shù)其他學(xué)科不一樣，CS的高水平的論文主要發(fā)表在國際頂級會議上。
所以換句話說，就相當(dāng)于USN&WR用了一把錯誤的尺子來丈量長度，無論測量得多么認(rèn)真，結(jié)果也必然是不準(zhǔn)確的。
“不幸的是，”安波說，“基本上所有的世界大學(xué)排名中關(guān)于計算機(jī)學(xué)科的排名都沒有包括會議論文。”
雷鋒網(wǎng)AI科技評論查閱了其他幾家比較著名的世界大學(xué)排名（例如QS世界大學(xué)排名）所依賴的指標(biāo)，發(fā)現(xiàn)確實如此。所以CS排名中沒有包含會議論文并不是USN&WR一家才有的現(xiàn)象。以QS世界大學(xué)排名為例，它同樣沒有采用會議論文，但是它通過調(diào)整評分指標(biāo)的權(quán)重保證了學(xué)科排名的相對合理性。而相比之下，USN&WR在學(xué)科排名中，不同的學(xué)科在指標(biāo)上則采用了相同的權(quán)重。
2、將會議論文納入計算機(jī)科學(xué)排名體系，是否可行？
如果按照CRA的說法以及大多數(shù)人的觀點，那么在對世界大學(xué)計算機(jī)科學(xué)排名時應(yīng)當(dāng)引入會議的指標(biāo)。在今年9月份麻省大學(xué)阿姆斯特分校的Emery Berger教授公布了一個世界大學(xué)計算機(jī)科學(xué)實力排名的開源項目 CS Rankings。
“CSRankings 是目前唯一一個根據(jù)頂級會議文章作為依據(jù)的排名，被很多頂級科學(xué)家（如Yann LeCun）認(rèn)可?！蹦涎罄砉ご髮W(xué)助理教授安波說。
“在這個排名中，可以看到MIT、CMU、Stanford、Berkeley還是世界前四，基本符合大眾的認(rèn)同。清華排名世界33，上交雄踞前30。”加州大學(xué)圣克魯斯分校助理教授Chen Qian表示。
（雷鋒網(wǎng)注：9月初CSRanking Beta測試時，北大全球排名12，清華33，上交30。經(jīng)過數(shù)據(jù)核查，排名發(fā)生更動，據(jù)2017年11月27日（2007-2017年）數(shù)據(jù)，上交大和清華并列第40名，北大排名28。）
但是簡單引入會議論文指標(biāo)也并非“一勞永逸”。首先，有一些優(yōu)秀會議還沒有被CSRankings收錄。安波告訴記者說：“如我常去的AAMAS（就沒有被CSRankings收錄），剛剛獲得NIPS 2017最佳論文的德?lián)湎到y(tǒng)Libratus之父Tuomas Sandholm教授從2002年開始在AAMAS發(fā)表了46篇論文，而他的成果就沒有被統(tǒng)計在內(nèi)?！?/p>
此外，安波教授告訴AI科技評論，“但將會議考慮在內(nèi)后，又會引入一些其他問題，例如會議質(zhì)量難以界定，CS學(xué)科內(nèi)部各分支眾多，如何統(tǒng)一會議和期刊進(jìn)行統(tǒng)一度量等等。”
這些都還是沒有明確考慮的問題。以會議論文作為指標(biāo)的CSRankings排名，現(xiàn)在仍然會因為修改數(shù)據(jù)，排名不斷出現(xiàn)巨大的變化。以北大為例，月末和月初的排名甚至差了16個名次。相信隨著Emery Berger教授對CSRankings版本的更新，排名還會出現(xiàn)更大的變化。
所以從這些角度來看，USN&WR沒有采用會議論文，而是采用傳統(tǒng)的期刊論文或許也是出于這一考慮。QS世界大學(xué)排名沒有使用會議論文，卻仍然能夠給出一個較合理的排名，說明會議論文這一指標(biāo)也并非必然因素。
北京大學(xué)計算機(jī)科學(xué)技術(shù)研究所的萬小軍研究員認(rèn)為：
每個排行榜都是基于若干指標(biāo)，指標(biāo)選擇不同，結(jié)果自然會有差異。計算機(jī)領(lǐng)域排名當(dāng)然也會有很多指標(biāo)，而且每個人會有不同的看法，但我覺得最重要的指標(biāo)還是影響力，例如圖靈獎獲得者以及對該領(lǐng)域發(fā)展有里程碑式影響的重要人物數(shù)量。計算機(jī)學(xué)科與其他學(xué)科評估沒有本質(zhì)的不同，都需要定義好該領(lǐng)域的影響力因子。
值得一提的是，世界大學(xué)學(xué)術(shù)排名（ARWU，簡稱 上海排名）就非常強(qiáng)調(diào)重要人物這一指標(biāo)。
來源：維基百科
既然沒有引入會議論文指標(biāo)的并不只USN&WR一家，為什么CRA就單單公開抗議它一家呢？
哈爾濱工業(yè)大學(xué)朱曉蕊教授認(rèn)為：“USN&WR以前（的排名）一直還相對比較穩(wěn)定的，這次在排名上出現(xiàn)大的變動，可能是CRA會寫信給他們的原因吧。十年樹木，百年樹人，大學(xué)的好壞從來都不是一朝一夕可以被改變的?！?/p>
安波博士也證實了這一現(xiàn)象：“USN&WR在美國國內(nèi)的計算機(jī)專業(yè)排名好像一直將CMU排在（并列）第一位，很難理解他們?yōu)槭裁锤阋粋€跟美國國內(nèi)排名很矛盾的排名?！?br/>
所以其實用哪些指標(biāo)不是重點，重點的是USN&WR給的結(jié)果太異常。
“當(dāng)出現(xiàn)一個會誤導(dǎo)社會的關(guān)于計算機(jī)學(xué)科排名的時候，CRA站出來發(fā)聲是一件很正確的事情。”安波博士補(bǔ)充說。
“普通大眾對該領(lǐng)域（CS）并沒有深刻了解，所以排行榜對他們有重要的參考意義，排行榜會影響學(xué)生求學(xué)的選擇，企業(yè)對學(xué)校學(xué)生的招聘等，因此排行榜對學(xué)校有直接或間接的影響，尤其是排在后面的學(xué)?？隙〞艿截?fù)面的影響，所以CRA會公開抗議?！北本┐髮W(xué)計算機(jī)科學(xué)技術(shù)研究所研究員萬小軍也給出了相同的觀點。
所以整體來看，CRA做的是一件正義的事情。排名對不了解這一領(lǐng)域的普通大眾有極大參考作用，正確的批判可以減少對大眾的誤導(dǎo)。
不過雖然CRA對USN&WR發(fā)表了公開的反對聲明，但就目前來看后者似乎并沒有打算撤回他們的排名結(jié)果。哈爾濱工業(yè)大學(xué)朱曉蕊教授認(rèn)為大學(xué)排名只是場游戲，游戲規(guī)則的制定決定了這個游戲怎么玩，不過“游戲就是游戲”，所以USNews不會撤銷排名。
對于這份排名，有人表示“我就笑笑”；也有網(wǎng)友表示“當(dāng)我看到這個排名的時候，我是拒絕的！”但難道僅僅因為它不符合我們由來已久的常識，我們就直接連其中合理的部分也一并“拒絕”了嗎？
雷鋒網(wǎng)AI科技評論詳細(xì)看了一下清華大學(xué)在USN&WR各項指標(biāo)中的排名：
可以看出，在11項指標(biāo)中，清華有4項是排在全球第一的位置。
清華大學(xué)計算機(jī)科學(xué)與技術(shù)系孫茂松教授認(rèn)為，盡管對這個排名可能見仁見智，但無論如何它都是一個標(biāo)志性事件。孫茂松教授11月12日在微信朋友圈中表達(dá)了如下看法：
我對清華計算機(jī)學(xué)科USN&WR排名世界第一這件事的理解是：它大體上與前幾年我們國家GDP躍居全球第二有可比性。
第一，這應(yīng)該是一個標(biāo)志性事件，具有階段劃分的顯著象征意義；
第二，GDP排第二，并沒有改變中國依然是世界上最大發(fā)展中國家的基本格局，我們依然任重道遠(yuǎn)；
第三，清華計算機(jī)學(xué)科要在深刻思考中開啟新的發(fā)展階段。
北京大學(xué)的萬小軍研究員則說：“總體上計算機(jī)領(lǐng)域的研究還是美國領(lǐng)先，但不排除未來中國趕超?！?/p>
清華大學(xué)&Cornell大學(xué)的聽海（知乎名）同學(xué)更是通過以會議論文排名的CS Rankings不同年份的排名具體說明了清華大學(xué)近幾年CS方面的突飛猛進(jìn)：
雖然這個排名顯然不靠譜，但是人們對國內(nèi)外CS發(fā)展的認(rèn)知是略有滯后的。
Chen Qian 說的那個排名網(wǎng)站 (Computer Science Rankings)，是國外公認(rèn)的比較cool的排名；同時因為它完全依賴于頂會論文的數(shù)據(jù)，也比較客觀。
在這個排名上，看近十年的話（從2007到2017），清華的排名是世界第37。
但是如果只看近三年的話（從2015到2017），清華的排名是世界第11。
如果只看2017年的話，清華的排名是世界第6。而且和前幾名相差不大。
當(dāng)然只看一年的數(shù)據(jù)noise會比較大，但是考慮到近三年的排名和清華的上升勢頭，我覺得這個第6其實并沒有很不靠譜。
另外，個人認(rèn)為讓系主任給其他系打分來計算排名（US News美國排名的計算方法）對于老牌強(qiáng)校來說沒有問題，但是其實對于新興的學(xué)校是有很大滯后的。因為即使一所學(xué)校實力已經(jīng)提升，reputation的改變往往需要多年才能反映出來。
最近兩年清華CS的頂會的論文數(shù)量，在世界前10。當(dāng)然這個和大家的認(rèn)知不符也是正常的，因為最近幾年清華的排名改變比較大。
（雷鋒網(wǎng)注：CSRankings的排名近期更新，結(jié)果稍有變動。以2017年11月27日的數(shù)據(jù)顯示：從2007年到2017年，清華排名第40名；從2015年到2017年，清華排名第19名；只看2017年，清華排名第9名）
清華大學(xué)助理教授劉知遠(yuǎn)也同樣這么認(rèn)為，過去是望塵莫及的話，現(xiàn)在大致可以望其項背了。
隨著近年來中國社會經(jīng)濟(jì)和信息產(chǎn)業(yè)的高速發(fā)展，以清華大學(xué)為代表的國內(nèi)高校在計算機(jī)科學(xué)與技術(shù)的研究水平和人才培養(yǎng)的確進(jìn)步神速。以聽海的回答為例，即使以CSRankings來看，清華大學(xué)等國內(nèi)高校近年來也上升明顯，這一點也可以得到QS、ARWU、THE等世界大學(xué)排名近年來變化的佐證?？梢哉f，過去是望塵莫及的話，現(xiàn)在大致可以望其項背了。
此外，高校的根本任務(wù)是培養(yǎng)人，開展高水平研究應(yīng)當(dāng)與人才培養(yǎng)過程相結(jié)合，這可能是現(xiàn)在我國還需要進(jìn)一步重視的方面?？傊?，我們既要看到差距，也要看到進(jìn)步，還要認(rèn)清目標(biāo)。可以說現(xiàn)在是中國計算機(jī)的黃金時代，我們應(yīng)當(dāng)及時總結(jié)經(jīng)驗，更加自信努力地繼續(xù)前進(jìn)。
北京大學(xué)黃鐵軍教授則從另一個方面看待這個問題，認(rèn)為越來越多的人更注重研究成果的影響力，而不是排名，這是一個很好的趨勢：
國內(nèi)學(xué)界很長一段時間以來很注重數(shù)量和指標(biāo)，包括各種評審和排名，其弊端已經(jīng)有很多討論，不必贅述。我感覺現(xiàn)在越來越多的學(xué)校和研究人員已經(jīng)把關(guān)注點從指標(biāo)轉(zhuǎn)向研究成果的影響力，這是很好的趨勢，也是孕育重要和重大研究成果的必要條件。
所以綜合來看的話，雖然USN&WR的這份排名不是很靠譜，但是依然有一定的參考價值，以清華為代表的國內(nèi)高校近幾年在計算機(jī)科學(xué)領(lǐng)域發(fā)展勢頭迅猛，相比頂尖學(xué)校雖仍有差距，但未來數(shù)年追平甚至超越不是沒有可能。
現(xiàn)代社會，大學(xué)排名榜單的名次似乎已經(jīng)成為評判一個學(xué)校好壞的重要標(biāo)準(zhǔn)。波士頓大學(xué)國際高等教育中心主任 Philip G. Altbach曾撰文對當(dāng)代大學(xué)排名進(jìn)行了詳細(xì)的分析，認(rèn)為高校排名在當(dāng)代社會幾乎是不可避免的；如果排名不存在，也會有人發(fā)明它們。它是大眾高等教育的必然結(jié)果，也是全球高等教育競爭和商業(yè)化的必然結(jié)果。學(xué)生及其家長想要了解哪些高等教育選項可供選擇，排名為這些問題提供了一些答案。
所以不管我們喜不喜歡，大學(xué)排名都會存在下去。那么作為學(xué)者，他們會怎么看待排名呢？
1、從學(xué)生、研究人員的角度
加州大學(xué)圣克魯斯分校助理教授 Chen Qian認(rèn)為排名高低并不代表什么，對于學(xué)生和研究人員重要的是你自己的科研興趣和你選擇的導(dǎo)師的水平：
不要總把學(xué)校分個你高我低——我上的學(xué)校排名高不說明我比你高。每個人都應(yīng)該用自己的科研成果和職業(yè)發(fā)展來證明自己，而不是學(xué)校排名。讀PHD選校更不能用這些排名，而是要看自己的科研興趣和導(dǎo)師的水平。
南洋理工大學(xué)助理教授安波直接堅決地反對大學(xué)排名，但排名存在而又無法改變，所以要用好的排名正確地引導(dǎo)學(xué)術(shù)界：
我反對對大學(xué)進(jìn)行排名。但是目前的現(xiàn)狀是學(xué)術(shù)界和教育機(jī)構(gòu)參考排名進(jìn)行管理（如各種資源的分配），因此排名對所有的研究人員都有很大影響。 一個不好的排名會錯誤地引導(dǎo)學(xué)術(shù)界（特別是青年研究人員），因此大家有義務(wù)糾正錯誤，引導(dǎo)大家做有益的研究。
中科院計算所一位不愿透露姓名的助理研究員對大學(xué)排名有不同的看法，他認(rèn)為排名就想搜索引擎的檢索結(jié)果，對領(lǐng)域內(nèi)外的人都有參考價值，所以積極作用大于消極作用：
排名能夠?qū)︻I(lǐng)域外的人起到指導(dǎo)作用，對領(lǐng)域內(nèi)的人有敦促作用，排名就像是搜索引擎的檢索結(jié)果，用一定的規(guī)則將最為相關(guān)的排序。當(dāng)然也存在對排名進(jìn)行優(yōu)化的行為，但個人認(rèn)為積極作用大于消極作用。而且對于嚴(yán)重的作弊行為，領(lǐng)域內(nèi)部也存在仲裁機(jī)制進(jìn)行判別。
2、對排名系統(tǒng)本身批評
北京大學(xué)萬小軍研究員認(rèn)為公正的排名有利于機(jī)構(gòu)認(rèn)清自己，但問題也在于排名并沒有客觀標(biāo)準(zhǔn)，很難做到絕對公正；從另外一個方面，過于頻繁的排名（例如一年一次）會導(dǎo)致機(jī)構(gòu)人員“急功近利”，這并不利于研究：
給大學(xué)進(jìn)行排名有利有弊。一份公正客觀的排名還是有利于各單位認(rèn)清形勢，做好定位，但弊在于排名本身沒有客觀答案，主觀性較大，選擇不同的因子，調(diào)整不同的權(quán)重，會得到不同的排名。另一方面，過于頻繁的排名會對學(xué)校的正常運(yùn)行和正常研究造成負(fù)面影響，如果用排名名次作為考核指標(biāo)，會導(dǎo)致學(xué)校、單位、人員“急功近利”，不利于研究，畢竟重大研究成果的獲得需要逐步積累，更需要一個良好與平靜的環(huán)境。
北京大學(xué)黃鐵軍教授認(rèn)為排名無法反映一個機(jī)構(gòu)或個人的真實情況，就像分?jǐn)?shù)不可能完整地反映一個學(xué)生的真實才能一樣，所以看看就好，不可太信：
所有排名都有問題，靠幾項指標(biāo)評價一個機(jī)構(gòu)或一個人，都只是從部分側(cè)面描述被評對象，而決定性的因素往往都不在這些指標(biāo)之列。用這些指標(biāo)去衡量歷史上偉大的科學(xué)發(fā)現(xiàn)（例如愛因斯坦的相對論）和重大的技術(shù)進(jìn)步（例如Linux，或者中國的超級計算機(jī)），大概都很難排名靠前，甚至排不上號。
還是那句話，很難靠幾項指標(biāo)決定名次，我的意見是，指標(biāo)就是指標(biāo)，大家客觀看那些指標(biāo)就好了。這就像學(xué)生分?jǐn)?shù)，很重要，但也只是一個側(cè)面，并不能決定學(xué)生將來是否成功。
哈爾濱工業(yè)大學(xué)朱曉蕊教授則認(rèn)為大學(xué)排名只是游戲，游戲規(guī)則的制定決定了這個游戲怎么玩，所以沒有太大的可取價值：
大學(xué)排名這件事本身就是個游戲而已，游戲規(guī)則的制定決定了這個游戲怎么玩。如果學(xué)校排名中突出一些對某些高校有利的條件的權(quán)重，那這些高校就會排名靠前。比如增加地方影響力的權(quán)重，那么欠發(fā)達(dá)地區(qū)最好的幾所學(xué)校的排名就會上升。再比如增加學(xué)校獲得科研經(jīng)費(fèi)的權(quán)重，那么像阿拉伯因石油而暴富的國家的大學(xué)排名就會上升。
所以大學(xué)排名我基本不會看，即使偶爾看也是抱著看熱鬧的目的看的。這個只對一些想要證明什么的教育管理者有用。學(xué)生不會因為MIT沒排到前面就不報考了，研究人員也不會因為排名的原因就不去MIT計算機(jī)系任教了。
（雷鋒網(wǎng)注：一個佐證就是，在2003年由俄羅斯私人機(jī)構(gòu)發(fā)布的環(huán)球大學(xué)排名中，莫斯科大學(xué)在哈佛、斯坦福、劍橋等老牌名校之前，全球排名第五。該排名只推出一期而后斷更了。）
從諸位學(xué)者的觀點可以看出，大部分學(xué)者對大學(xué)排名或多或少持有的都是“只是看看，并不相信”的態(tài)度，畢竟所謂排名只是人為假設(shè)出來的一個不存在的零和游戲。
不過，無論相信與否，或許下面這句話更能反映出我們真實的心理——
Rankings are a guilty pleasure—we claim they don't influence us, and we know their foibles, yet we can't help looking to see where we stand.
（排名是一種罪惡的享受 —— 我們聲稱它們不會影響我們，我們也知道它們的缺點，但我們還是禁不住要看看我們排在第幾名。）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
