Causal Effect of Group Diversity on Redundancy and Coverage in Peer-Reviewing

要約

多くの科学雑誌や会議では、より幅広い視点を集めて個人の偏見を軽減することを目的として、同じ投稿について複数の査読者から査読を求めています。
この研究では、投稿された論文を評価するために割り当てられた査読者の多様性が、視点を多様化し、査読プロセスの有用性を向上させる要因として果たす役割を考察します。
レビューの有用性を評価するための 2 つの尺度を提案します。レビューの網羅性 — レビューは論文のほとんどの内容をカバーする必要があります — およびレビューの冗長性 — レビューは他のレビューにまだ存在しない情報を追加する必要があります。
私たちは、多様な査読者によるレビューは網羅性が高く、冗長性が低いと仮定します。
私たちは、約 5,000 件の論文が投稿された査読付き会議からの観察データを使用して、査読範囲と冗長性に関する査読者の多様性のさまざまな尺度の因果関係研究を実施します。
私たちの調査では、さまざまな多様性尺度がレビューの網羅性と冗長性に及ぼすさまざまな影響が明らかになりました。
私たちの調査では、テーマが多様であったり、年功レベルが異なったり、明確な出版ネットワークを持ったりする査読者のグループを割り当てることで、論文や査読基準の範囲が広くなることがわかりましたが、査読者による査読者の範囲が拡大するという証拠は見つかりませんでした。
さまざまな組織や地理的な場所から。
異なる組織、年功レベル、トピック、または出版ネットワーク (地理的な多様性を除くすべて) からの査読者は、レビューの冗長性の減少につながります。
さらに、出版ネットワークベースの多様性だけでも、特定の審査基準内であっても、さまざまな視点（つまり、冗長性が低い）を取り入れるのに役立ちます。
私たちの研究では、査読における査読者の割り当てにグループ意思決定の観点を採用し、査読者の割り当てプロセスの指針となる多様性の側面を示唆しています。

要約(オリジナル)

A large host of scientific journals and conferences solicit peer reviews from multiple reviewers for the same submission, aiming to gather a broader range of perspectives and mitigate individual biases. In this work, we reflect on the role of diversity in the slate of reviewers assigned to evaluate a submitted paper as a factor in diversifying perspectives and improving the utility of the peer-review process. We propose two measures for assessing review utility: review coverage — reviews should cover most contents of the paper — and review redundancy — reviews should add information not already present in other reviews. We hypothesize that reviews from diverse reviewers will exhibit high coverage and low redundancy. We conduct a causal study of different measures of reviewer diversity on review coverage and redundancy using observational data from a peer-reviewed conference with approximately 5,000 submitted papers. Our study reveals disparate effects of different diversity measures on review coverage and redundancy. Our study finds that assigning a group of reviewers that are topically diverse, have different seniority levels, or have distinct publication networks leads to broader coverage of the paper or review criteria, but we find no evidence of an increase in coverage for reviewer slates with reviewers from diverse organizations or geographical locations. Reviewers from different organizations, seniority levels, topics, or publications networks (all except geographical diversity) lead to a decrease in redundancy in reviews. Furthermore, publication network-based diversity alone also helps bring in varying perspectives (that is, low redundancy), even within specific review criteria. Our study adopts a group decision-making perspective for reviewer assignments in peer review and suggests dimensions of diversity that can help guide the reviewer assignment process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google