Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review

要約

この研究は、査読者の質を評価するオープンでボトムアップのプロセスを通じて科学査読の精度と効率を高めるためのデータ駆動型フレームワークを提案しています。
従来の閉鎖的な査読システムは、品質管理には不可欠ですが、多くの場合時間がかかり、コストがかかり、科学の進歩を妨げる可能性のある偏見にさらされます。
ここでは、コミュニティのコンセンサススコアとの一致を定量化し、ベイジアン重み付けを適用して紙の品質評価を改良することにより、個々の査読者の信頼性を評価する方法を紹介します。
私たちは、2 つの主要な学術会議からの公開査読データを分析し、査読者固有の品質スコアが論文の品質推定の信頼性を大幅に向上させることを実証しました。
おそらく驚くべきことに、査読者の品質スコアは著者の品質とは無関係であることがわかりました。
私たちのモデルには、質の高い査読者を表彰し、投稿された論文のより広範な報道を奨励するインセンティブ構造が組み込まれており、それによってソーシャルメディアによくある「金持ちがさらに金持ちになる」という落とし穴を軽減します。
これらの調査結果は、査読者の質を評価し奨励するメカニズムを備えたオープン査読が、科学出版に拡張可能で公平な代替手段を提供し、査読プロセスの速度、公平性、透明性を高める可能性があることを示唆しています。

要約(オリジナル)

This study proposes a data-driven framework for enhancing the accuracy and efficiency of scientific peer review through an open, bottom-up process that estimates reviewer quality. Traditional closed peer review systems, while essential for quality control, are often slow, costly, and subject to biases that can impede scientific progress. Here, we introduce a method that evaluates individual reviewer reliability by quantifying agreement with community consensus scores and applying Bayesian weighting to refine paper quality assessments. We analyze open peer review data from two major scientific conferences, and demonstrate that reviewer-specific quality scores significantly improve the reliability of paper quality estimation. Perhaps surprisingly, we find that reviewer quality scores are unrelated to authorship quality. Our model incorporates incentive structures to recognize high-quality reviewers and encourage broader coverage of submitted papers, thereby mitigating the common ‘rich-get-richer’ pitfall of social media. These findings suggest that open peer review, with mechanisms for estimating and incentivizing reviewer quality, offers a scalable and equitable alternative for scientific publishing, with potential to enhance the speed, fairness, and transparency of the peer review process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google