10 月底《美國新聞和全球報導》(US News & World Report)公布的 2018 年全球大學最新排名,中國清華大學電腦專業排名全球第一,華中科大和浙江大學也分別進入前十。一些世界著名的學校,如MIT、史丹佛、哈佛只排到第 4、第 6 和第 7 名;更有甚之的是,卡內基美隆大學僅排名第 22。 排名出來後,中國很多知名教授的看法都類似「我就笑笑……」只把它當笑話。
但美國學界的態度卻不同。美東時間 2017 年 11 月 11 日,代表美國 200 多家電腦研究機構與學會的美國計算研究會(Computing Research Association,CRA)發表
公開聲明,抗議 US News 的全球大學電腦科學排名。
CRA 認為 USN&WR 這份排名非常荒謬,在電腦科學領域工作的研究人員沒有人會認真看待這個排名,但排名本身卻有可能嚴重誤導很多人。
CRA 指出 USN&WR 排名有兩個大問題:
第一,排名的文獻資料來自 the Web of Science,捨棄了會議出版物在 CS 領域的重要影響。
第二,USN&WR 採用的「學術聲譽」因素不合理。
他們在 USN&WR 全球大學排行榜出來之後,曾嘗試聯繫負責人,要求撤銷全球大學電腦科學排名,但 USN&WR 並沒有回覆。
公開信全文內容翻譯如下。
致計算研究社群:
《美國新聞和全球報導》(USN&WR)最近的全球大學電腦科學排名對 USN&WR 讀者及世界各地的電腦科學單位造成了惡劣影響。上週,我們誠意地要求他們撤銷這個排名,但很不幸,USN&WR 拒絕了這個要求。
這個排名使用的方法是基於 Web of Science 收集的期刊出版物(而捨棄了會議出版物)。這種方法無法準確反映 CS 社群的研究如何傳遞,以及研究人員如何得到認可或影響。此外,出版物清單並沒有公布,即使有些人質疑基於文獻計量排名的合理性,但卻無法爭議 USN&WR 排名的缺陷。從不正確的資料來推斷,資料又不透明,所以這是一個荒謬的排名。
USN&WR 排名另外一項重要因素是「學術聲譽」。但在一個體積巨大且大部分沒有聯繫的社群考慮學術聲譽,可說是非常有問題。另外考慮到這個群體的人們語言不同,價值觀念不同,資源水準不同,目標也不同,期望世界各地的研究單位之間有接近的準確「學術聲譽」評估很不合理。
任何具 CS 研究經歷的人都會看到他們的排名簡直是無稽之談,而捨棄它們。但其他人可能會被嚴重誤導。
2016 年 CRA 曾在 Snowbird 舉辦兩年一次的研討會,當時主導 USN&WR 排名工作的 Rober Morse 也曾參加。討論的諸多專案中,我們對排名使用文獻計量和涉及的其他各種問題認真的討論。特別是,我們指出使用不包括會議索引的資料源時會出現的問題,會議索引相比發表的論文有更大的影響和更高的參考率。11 月 1 日(全球排名出來後),我們聯繫了 Morse 並指出使用方法的問題,要求他們撤銷這個基於有缺陷資料源進行的排名,但他沒有回應。
我們敦促社群忽視 USN&WR 這份電腦科學排名。
此致
Susan Davidson, Chair CRA Board of Directors, Weiss Professor, University of Pennsylvania
Andrew P. Bernat, CRA Executive Director
Carla Brodley, Dean, Northeastern University
Laura Haas, Dean, University of Massachusetts Amherst
H.V. Jagadish, Bernard A. Galler Collegiate Professor, University of Michigan
Kathryn S. McKinley, Google
Mario Nascimento, Chair and Professor, University of Alberta
Fred Schneider, Chair and Samuel B. Eckert Professor, Cornell University
另附:USN&WR 2018 全球大學排名使用的大學 12 項指標評分及權重- 全球學術聲譽:12.5%
- 地區學術聲譽:12.5%
- 論文發表:10%
- 出版書籍:2.5%
- 舉辦會議:2.5%
- 標準論文參照影響因子:10%
- 論文參照數:7.5%
- 「被參考最多 10% 出版物」被參考率:12.5%
- 出版物占「被參考最多 10% 出版物」比率:10%
- 國際合作:10%
- 代表領域在「所有出版物被參考最多前 1% 論文」被參考論文數:5%
- 出版物占「所有出版物被參考最多前 1% 論文」比率:5%
其中全球(地區)學術聲譽的結果是來自 Clarivate Analytics 調查領域專家意見的學術聲譽。其他幾項指標對應的文獻資料來自 the Web of Science 2011~2015 年的論文資料,不過參考率使用的是至今年 5 月 30 日的資料。這樣做的目的是為了保證統計的穩定性和精確性。
那麼,CS 領域合理的排名應該是什麼呢?