Who Reviews The Reviewers? A Multi-Level Jury Problem

要約

ある独立した確率 (能力) でグラウンド トゥルースについての推測を正しく表現する独立したレビュー担当者 (専門家) のグループからのアドバイスを使用して、バイナリのグラウンド トゥルースを決定する問題を検討します。
この設定では、すべての査読者が有能 (能力が 2 分の 1 より大きい) 場合、コンドルセの陪審定理により、査​​読者を追加すると全体の精度が向上し、すべての能力が既知であれば、査読者の最適な重み付けが存在することがわかります。
ただし、実際の環境では、審査員がうるさかったり無能だったり、つまり能力が半分以下であったり、専門家の数が少なかったりする可能性があるため、漸近的なコンドルセの陪審定理は実際には当てはまりません。
このような場合、集計における各査読者の重みを決定する 1 人以上の委員長 (審査員) を任命し、複数のレベルを作成することを検討します。
ただし、これらの委員長は、監督する査読者の能力を正確に識別できないため、最適な重み付けを計算できない可能性があります。
一連の議長がレビュー担当者に最適な重み付けを行うことができる場合の条件を与え、エージェントの能力分布に応じて、より多くの議長またはより多くのレビュー担当者を配置したほうが良い場合についての結果を与えます。
数値シミュレーションを通じて、場合によっては椅子の数を増やしたほうがよいこと、しかし多くの場合、審査員の数を増やしたほうがよいことを示しました。

要約(オリジナル)

We consider the problem of determining a binary ground truth using advice from a group of independent reviewers (experts) who express their guess about a ground truth correctly with some independent probability (competence). In this setting, when all reviewers are competent (competence greater than one-half), the Condorcet Jury Theorem tells us that adding more reviewers increases the overall accuracy, and if all competences are known, then there exists an optimal weighting of the reviewers. However, in practical settings, reviewers may be noisy or incompetent, i.e., competence below half, and the number of experts may be small, so the asymptotic Condorcet Jury Theorem is not practically relevant. In such cases we explore appointing one or more chairs (judges) who determine the weight of each reviewer for aggregation, creating multiple levels. However, these chairs may be unable to correctly identify the competence of the reviewers they oversee, and therefore unable to compute the optimal weighting. We give conditions when a set of chairs is able to weight the reviewers optimally, and depending on the competence distribution of the agents, give results about when it is better to have more chairs or more reviewers. Through numerical simulations we show that in some cases it is better to have more chairs, but in many cases it is better to have more reviewers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google