Vulnerability of Text-Matching in ML/AI Conference Reviewer Assignments to Collusions

要約

一流の機械学習 (ML) および人工知能 (AI) カンファレンスの査読プロセスでは、自動化された方法で査読者が論文に割り当てられます。
これらの割り当てアルゴリズムでは、次の 2 つの主な要素が考慮されます。(1) 論文への入札によって示される査読者の表明された関心、および (2) 以前に出版された論文のテキストと投稿された原稿の間の類似性から推測される査読者の専門分野。
これらの会議が直面する重大な課題は、研究者のグループが課題プロセスを操作して互いの論文をレビューし、実際の論文の質に関係なく肯定的な評価を与える共謀リングの存在です。
共謀リングに対抗するためのほとんどの取り組みは、テキスト類似性コンポーネントが安全であるという前提の下で、入札操作の防止に重点を置いています。
この論文では、入札がない場合でも、共謀する査読者と著者が、トップの ML/AI 会場で使用されている査読者割り当ての機械学習ベースのテキストマッチングコンポーネントを利用して、目的の論文を割り当てられることを実証します。
また、このシステム内の特定の脆弱性を強調し、その堅牢性を強化するための提案を提供します。

要約(オリジナル)

In the peer review process of top-tier machine learning (ML) and artificial intelligence (AI) conferences, reviewers are assigned to papers through automated methods. These assignment algorithms consider two main factors: (1) reviewers’ expressed interests indicated by their bids for papers, and (2) reviewers’ domain expertise inferred from the similarity between the text of their previously published papers and the submitted manuscripts. A significant challenge these conferences face is the existence of collusion rings, where groups of researchers manipulate the assignment process to review each other’s papers, providing positive evaluations regardless of their actual quality. Most efforts to combat collusion rings have focused on preventing bid manipulation, under the assumption that the text similarity component is secure. In this paper, we demonstrate that even in the absence of bidding, colluding reviewers and authors can exploit the machine learning based text-matching component of reviewer assignment used at top ML/AI venues to get assigned their target paper. We also highlight specific vulnerabilities within this system and offer suggestions to enhance its robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google