On the Detection of Reviewer-Author Collusion Rings From Paper Bidding

要約

コンピュータ サイエンス会議の査読システムに対する大きな脅威は、査読者間の「共謀の輪」の存在です。
このような共謀リングでは、自分の論文を会議に投稿した査読者が協力して、互いの論文を査読するよう割り当てられることを目的として、会議の論文割り当てを操作します。
共謀した査読者が論文の割り当てを操作する最も簡単な方法は、戦略的な論文入札を通じて互いの論文への関心を示すことです。
この重要な問題を解決するための 1 つの潜在的なアプローチは、操作された入札から共謀している査読者を検出し、その後カンファレンスが適切な措置を講じることです。
これまでの研究では、他の種類の詐欺を検出するための効果的な技術が開発されてきましたが、共謀リングの検出が可能であることを確立した研究はまだありません。
この研究では、紙入札から談合リングを検出することが可能かどうかという問題に取り組みます。
この質問に答えるために、他のアプリケーションでの不正検出のための既存のアルゴリズムの評価を含む、2 つの現実的な会議入札データセットの実証分析を実行します。
私たちは、共謀リングが検出から隠れたまま論文の割り当てを操作することにかなりの成功を収めることができることを発見しました。たとえば、あるデータセットでは、検出されなかった共謀者が、他の共謀者が執筆した論文の最大 30% への割り当てを達成できます。
さらに、10 人の共謀者が互いの論文すべてに入札した場合、真の共謀者と 31% 以上重複する査読者のグループを出力する検出アルゴリズムはありません。
これらの結果は、入札からは共謀を効果的に検出できないことを示唆しており、追加のメタデータを活用するより複雑な検出アルゴリズムを開発する必要があることを示しています。

要約(オリジナル)

A major threat to the peer-review systems of computer science conferences is the existence of ‘collusion rings’ between reviewers. In such collusion rings, reviewers who have also submitted their own papers to the conference work together to manipulate the conference’s paper assignment, with the aim of being assigned to review each other’s papers. The most straightforward way that colluding reviewers can manipulate the paper assignment is by indicating their interest in each other’s papers through strategic paper bidding. One potential approach to solve this important problem would be to detect the colluding reviewers from their manipulated bids, after which the conference can take appropriate action. While prior work has has developed effective techniques to detect other kinds of fraud, no research has yet established that detecting collusion rings is even possible. In this work, we tackle the question of whether it is feasible to detect collusion rings from the paper bidding. To answer this question, we conduct empirical analysis of two realistic conference bidding datasets, including evaluations of existing algorithms for fraud detection in other applications. We find that collusion rings can achieve considerable success at manipulating the paper assignment while remaining hidden from detection: for example, in one dataset, undetected colluders are able to achieve assignment to up to 30% of the papers authored by other colluders. In addition, when 10 colluders bid on all of each other’s papers, no detection algorithm outputs a group of reviewers with more than 31% overlap with the true colluders. These results suggest that collusion cannot be effectively detected from the bidding, demonstrating the need to develop more complex detection algorithms that leverage additional metadata.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google