Group Fairness in Peer Review

要約

NeurIPSやAAAIのような大規模なカンファレンスは、膨大な数のコミュニティから投稿が集まるため、様々なAI分野の交差点としての役割を果たしている。しかし、その結果、コミュニティによっては、投稿がコミュニティ外のあまり優秀でない査読者に割り当てられてしまい、査読の経験が乏しくなるケースもある。しばしば提唱される解決策は、このような大規模なカンファレンスを小規模なカンファレンスに分割することであるが、これはコミュニティの孤立を招き、学際的な研究に悪影響を及ぼす可能性がある。我々は、コアと呼ばれるグループの公平性の概念を導入することで、この課題に取り組む。コアとは、ありとあらゆるコミュニティ（研究者のサブセット）が、大規模な会議から脱退することで一方的に利益を得ることを防ぐ方法で扱われることを要求する。 我々は、単純な査読モデルを研究し、それが常にコアにおける査読割り当てを認めることを証明し、そのような割り当てを見つけるための効率的なアルゴリズムを設計する。CVPRとICLR会議の実データを用いて、既存の査読割り当てアルゴリズムと我々のアルゴリズムを多くのメトリクスで比較する。

要約(オリジナル)

Large conferences such as NeurIPS and AAAI serve as crossroads of various AI fields, since they attract submissions from a vast number of communities. However, in some cases, this has resulted in a poor reviewing experience for some communities, whose submissions get assigned to less qualified reviewers outside of their communities. An often-advocated solution is to break up any such large conference into smaller conferences, but this can lead to isolation of communities and harm interdisciplinary research. We tackle this challenge by introducing a notion of group fairness, called the core, which requires that every possible community (subset of researchers) to be treated in a way that prevents them from unilaterally benefiting by withdrawing from a large conference. We study a simple peer review model, prove that it always admits a reviewing assignment in the core, and design an efficient algorithm to find one such assignment. We use real data from CVPR and ICLR conferences to compare our algorithm to existing reviewing assignment algorithms on a number of metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL