No Agreement Without Loss: Learning and Social Choice in Peer Review

要約

査読システムでは、査読者はしばしば、技術的品質や新規性など、投稿論文のさまざまな特徴を評価するよう求められる。事前に定義された特徴のそれぞれにスコアが与えられ、それらに基づいて査読者は全体的な定量的推薦を提供しなければならない。それぞれのレビュアーは、特徴のセットから推薦への独自のマッピングを持っており、異なるレビュアーは異なるマッピングを念頭に置いていると仮定することができる。これは、コミュンケーション・バイアスと呼ばれる恣意性の要素を導入する。本稿では、Noothigattu, Shah and Procacciaによって導入され、AAAI 2022会議の主催者によって適用されたフレームワークについて議論する。Noothigattu、Shah、Procacciaは、ある損失関数を最小化することで査読者のマッピングを集約することを提案し、社会的選択理論の意味で、このアプローチの公理的特性を研究した。我々は、彼らの研究で用いられたいくつかの結果と仮定に異議を唱え、多くの否定的な結果を報告する。一方では、提案されたいくつかの公理と、大多数のレビュアーの合意を適切に捉える手法の能力との間のトレードオフを研究する。一方では、ある非現実的な仮定を取りやめることで、手法が不連続になるなど、劇的な効果があることを示す。

要約(オリジナル)

In peer review systems, reviewers are often asked to evaluate various features of submissions, such as technical quality or novelty. A score is given to each of the predefined features and based on these the reviewer has to provide an overall quantitative recommendation. It may be assumed that each reviewer has her own mapping from the set of features to a recommendation, and that different reviewers have different mappings in mind. This introduces an element of arbitrariness known as commensuration bias. In this paper we discuss a framework, introduced by Noothigattu, Shah and Procaccia, and then applied by the organizers of the AAAI 2022 conference. Noothigattu, Shah and Procaccia proposed to aggregate reviewer’s mapping by minimizing certain loss functions, and studied axiomatic properties of this approach, in the sense of social choice theory. We challenge several of the results and assumptions used in their work and report a number of negative results. On the one hand, we study a trade-off between some of the axioms proposed and the ability of the method to properly capture agreements of the majority of reviewers. On the other hand, we show that dropping a certain unrealistic assumption has dramatic effects, including causing the method to be discontinuous.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL