就在几小时前，计算机研究学会（CRA）发表了一份声明，要求USNews撤回其最新发布的全球大学计算机科学专业排名。
计算机研究学会（Computing Research Association，CRA）是北美计算机科学、计算机工程及相关领域的非盈利协会，从事基础计算研究的工业，政府和学术机构的实验室和中心和附属的专业协会。CRA成立于1972年，总部位于美国华盛顿特区，其成员包括200多家北美计算机研究机构以及附属专业协会（AAAI，ACM，CACS/AIC，IEEE计算机协会，SIAM，USENIX）。
而USNews的大学排行榜，作为全球最具影响力的大学排行榜之一，一直有着非常大的影响力。10月24日，USNews发布了2018年世界大学排行榜，在计算机科学学科科排行榜上，中国大学表现强势，共有三所高校进入全球前十，清华大学更是排名第一。
2018年世界大学排行榜，计算机科学学科科排名Top 3，清华大学位居第一
但是，现在这份榜单却被要求撤回？
CRA声明：USNews计算机科学排名，使用错误的数据得出了一个荒谬的结论
还是先来看CRA的声明——《CRA关于USNews世界大学计算机科学学科排行榜的声明》。
致全体计算机研究人员：
最新的《美国新闻与世界报道》(USN&WR) 对全球大学计算机科学（CS）专业的排名，对世界各地的CS科系以及USN&WR读者造成了严重的伤害。上周，我们恭敬地要求撤销该排名。很遗憾，USN＆WR拒绝了我们的请求。该排名所使用的方法——基于Web of Science收集的期刊出版物的排名——忽略了会议出版物，因此并不能准确反映CS社区研究的传播情况，也没有准确体现教员在业内受认可或影响力情况。此外，排名的全部名单不公开。因此，尽管有些人可能会争辩基于文献计量的排名有其合理性，但USN＆WR发表的排名的缺陷是没有争议的。这种方法就是从错误的数据中推断出来的，不透明的结果。因此，这种方法得到了一个荒谬的排名。
USN＆WR排名中另一个重要因素是信誉。然而，在一个大规模的，大部分没有联系的社区中，根据声誉进行排名可以说是有问题的。考虑到各所大学的语言不同，价值观念不同，资源水平不同，目标不同，期望对世界各地的CS学科部门有一个准确的评估是不合理的。
任何具有CS研究知识的人都会认为这一排名是无稽之谈，并且忽略这一排名。但其他人可能会被严重误导。CRA主办了一个讨论会，其中也邀请了USN&WR排名负责人Robert Morse。在所讨论的许多项目中，使用文献计量学进行排名及其所涉及的各种问题得到了强有力的讨论。我们列出了使用不含会议相关数据的数据源进行排名会遇到的问题，这种数据源没有对会议中出现效果最好、被引用最多的同行评审研究出版物进行索引。CRA建议与USN&WR合作，创建一个对计算机研究界可信的排名方案，但他拒绝与CRA或更广泛的社区合作。 11月1日，在全球排名发布后，我们联系Morse，指出他们所用方法的问题，并要求这些基于有缺陷源数据的全球排名被撤回，但Morse没有回应。我们敦促社区忽视计算机科学的USN＆WR排名。
此致
Susan Davidson，CRA董事会主席，宾夕法尼亚大学Weiss教授
Andrew P. Bernat，CRA执行董事
Carla Brodley，东北大学院长
Laura Haas，马萨诸塞州阿默斯特大学院长
H.V. Jagadish，密歇根大学Bernard A. Galler教授
Kathryn S. McKinley，谷歌
Mario Nascimento，阿尔伯塔大学Chair兼教授
Fred Schneider，康奈尔大学Chair兼Samuel B. Eckert教授
再看USNews计算机科学专业排名及评分标准
正如上文所说，USNews的大学排行榜是全球最具影响力的大学排行榜之一，也一直被用作很多人选择高校的参考。其中，计算机科学学科排名涉及软件工程和设计、人工智能理论、编程语言、信息系统和信息技术等专业。2018年的排名前十名分别是：
由上图可知，USNews 2018年世界大学计算机科学学科排名中，清华大学位居第一，德克萨斯州大学奥斯汀分校第二，南洋理工大学位居第三。
第四到第十依次是：MIT、新加坡大学、斯坦福大学、哈佛大学、加州大学伯克利分校、华中科技大学、浙江大学。
USNews的学科排名具体的参考指标如下：
- 全球研究声誉 - 12.5%
- 地区研究声誉 - 12.5%
- 出版物 - 15%
- 引用影响因子 - 10%
- 引用数量 - 15%
- 占引用前10%的出版物的数量 - 10%
- 占引用前10%的出版物的比例 - 5%
- 在各自领域引用前1%的高被引论文的数量 - 5%
- 在各自领域引用前1%的高被引论文的比例 - 5%
- 国际合作 - 5%
- 涉及国际合作出版物的比例 - 5%
由此可见，正如CRA指出的，在计算机科学中十分重要的会议及会议相关出版物，在USNews排名中是不涉及的。而其十分关注的“声誉”，也是定义模糊。
高校都想在“大学选美”中得到高分，但这真的能体现大学的价值吗？
早在十年以前，2007年8月24日，《科学》发表了一篇评论文章，Martin Enserink写的《谁为那些排名高校的人排名？》（Who Ranks the University Rankers? DOI: 10.1126/science.317.5841.1026）。
文中提到，美国新闻与世界报道（US News＆World Report）为了提高销量，在1983年发明的“高校选美竞赛”，目前已经在全球十几个国家出现。几乎所有的这些榜单都受到来自大学、科学家甚至有些情况下，同行排名者的攻击。
文章还提到了数据收集的问题。大多数的国际排名都非常重视研究成果，这部分是因为这些排名更多是针对政策制定者，同时也是因为教育体系和文化背景在国与国之间差别很大，难以获得切实而有意义的数据。不仅如此，很多这样的数据都是大学自己提供的，关于在USNews排名中造假的事件多有见闻，且记录在案的都不下数十次。“虽然USNews会交叉验证数据，但真心要操控方法总是有的。”
更加具有争议的是同行评议调查，也就是学术专家来对机构进行评判。文中以澳大利亚高校THES排行为例，地域偏差十分严重。USNews排名也十分依赖同行评议，但这个同行评议却是专家“得到一个100个机构的名单，每家都从1到5打分”就完了（注：文中指的是2007年的情况）。
上海交通大学2007年的一项排名，与其他三大著名排名考核指标的对比
文章还给出了当年上海交通大学的一项排名为例，上交大的排名去除了所有上述因素，只使用公开数据，包括Nature、Science论文、诺贝尔奖、菲尔兹奖，得出了一个几乎只基于研究的排行。但是，这样的排行也有其局限所在。
说了这么多，尽管有种种不如意，但正如Science这篇评论最后指出的一样，排名也自有其好处。竞争促使大学表现更好，排名为学生和决策者提供了有关教育质量的参考，即使并不完美。还有排名者指出，在排名中得分高的大学会喜欢宣传这一结果，大学不喜欢被排除在外。
最后让我们用爱因斯坦的话收尾：“Not everything that counts can be counted, and not everything that can be counted counts”。
原文发布时间为：2017-11-12
本文作者：费欣欣
本文来自云栖社区合作伙伴新智元，了解相关信息可以关注“AI_era”微信公众号
