研究发现，科学家不善于识别重要科学

也许你不应该太相信五分之四的牙医说的话？一项新研究（当然）发现，科学家，甚至是同一领域的专家，对哪些研究最重要意见不一。一方面，这听起来很明显——专家们意见不一。另一方面，这表明即使是科学家也无法确定什么是伟大的科学。这项新研究还发现，科学家过度受发表论文的期刊声望的影响。

英国萨塞克斯大学生物学家亚当·艾尔-沃克 (Adam Eyre-Walker) 告诉《大众科学》 ：“很难评估优点。我们都像是在迷雾中跌跌撞撞地前行。”

Eyre-Walker 和同事 Nina Stoletzki 研究了 6000 多篇发表后由专家评审的论文。这些论文来自两个数据库。一个是研究资助组织 Wellcome Trust 的数据库，该组织要求专家在其资助的论文发表后对其进行评审。另一个是 Faculty of 1000，这是一个生物学家发布他们喜欢的论文、对其进行评分并进行讨论的网站。在这两个数据库中，Eyre-Walker 和 Stoletzki 发现，评估同一篇论文的科学家给出相同分数的概率并不比偶然给出的概率高多少。

两位作者还发现，审稿人的评分过于依赖论文发表期刊的声望。即使两篇论文在其他衡量标准（例如被其他科学家引用的频率）上相同，科学家也会对发表在更知名期刊上的论文给予更高的评价。

艾尔沃克说：“论文发表的地点有很大的随机因素。”

英国政府定期邀请外部专家审查政府资助研究的论文，以检查资金是否用在正确的地方。艾尔-沃克和斯托莱茨基想看看这是否值得。美国没有类似的项目，但生物学家的发现对英国以外的国家也有影响：他们认为，论文在发表前接受的专家审查可能同样混乱。“我们推断，在评估论文发表前的优点或重要性方面，也会出现大量错误，”艾尔-沃克说。

出版前的同行评审是世界各地科研工作的核心部分。许多科学家认为该流程可以有所改进，因此看到一些支持该流程的数学依据是很有趣的。

需要注意的是：尽管他和斯托莱茨基没有评估这一点，但艾尔-沃克认为专家们擅长判断一篇论文是否真实或准确。然而，在期刊上发表研究成果往往不仅仅取决于准确性。期刊的专家审稿人必须认为这篇论文很重要或有趣，尤其是如果它是一本像《自然》或《科学》这样的著名期刊。然而，艾尔-沃克的研究表明——就像你考不上常春藤盟校时朋友告诉你的那样——进入顶级期刊有点像碰运气。

“论文发表地点有很大的随机因素，”他说，“可能有两篇论文具有同等的价值，其中一篇很幸运，所有审稿人都认为它很棒”，而另一篇就没有那么幸运了。

艾尔-沃克有了一个解决方案。“你应该资助多元化研究，发表多元化的科学研究，无论你是否认为它有趣，”他说。与此同时，在与艾尔-沃克的作品同时发表的一篇评论文章中，一组科学家和出版商认为，科学需要一些更好的衡量标准来衡量什么是伟大的。

至少有一家主要期刊采纳了艾尔-沃克的建议。PLOS ONE是开放获取出版商公共科学图书馆的旗舰期刊，它承诺发表所有“技术上合理”的论文，而不评估论文是否有趣或重要。艾尔-沃克和斯托莱茨基在PLOS Biology上发表了他们的研究成果，PLOS Biology 是同一出版商的期刊，它对论文的重要性进行了判断。