Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review

要約

ピアレビューは、公開された科学研究の完全性を確保するための重要なプロセスです。
このプロセスに対する信頼は、関連するドメインの専門家が、出版のために提出された原稿のメリットを慎重に検討するという仮定に基づいています。
最近の大規模な言語モデル（LLMS）の急速な進歩により、ピアレビュープロセスの新しいリスクは、過失のレビュアーがLLMSに依存して、紙をレビューすることがよくあるプロセスを実行することです。
ただし、ピアレビューのドメイン内のAIテキストの検出可能性をベンチマークするための既存のリソースが不足しています。
この不足に対処するために、合計788,984のAI執筆ピアレビューを含む包括的なデータセットを導入し、対応する人間のレビューとペアになり、2つの主要なAI研究会議（ICLRとニューリップ）のそれぞれに提出された8年間の論文をカバーします。
この新しいリソースを使用して、18の既存のAIテキスト検出アルゴリズムの能力を評価して、人間によって完全に書かれたピアレビューとさまざまな最先端のLLMを区別します。
さらに、Anchorと呼ばれるコンテキスト認識検出方法を調査します。これは、原稿コンテンツを活用してAIに生成されたレビューを検出し、Humanが作成したテキストのLLM支援編集に対する検出モデルの感度を分析します。
私たちの研究は、個々のピアレビューレベルでAIに生成されたテキストを特定することの難しさを明らかにし、この生成AIのこの非倫理的使用を検出するための新しいツールと方法の緊急の必要性を強調しています。
データセットは、https：//huggingface.co/datasets/intellabs/ai-review-setection-benchmarkで公開されています。

要約(オリジナル)

Peer review is a critical process for ensuring the integrity of published scientific research. Confidence in this process is predicated on the assumption that experts in the relevant domain give careful consideration to the merits of manuscripts which are submitted for publication. With the recent rapid advancements in large language models (LLMs), a new risk to the peer review process is that negligent reviewers will rely on LLMs to perform the often time consuming process of reviewing a paper. However, there is a lack of existing resources for benchmarking the detectability of AI text in the domain of peer review. To address this deficiency, we introduce a comprehensive dataset containing a total of 788,984 AI-written peer reviews paired with corresponding human reviews, covering 8 years of papers submitted to each of two leading AI research conferences (ICLR and NeurIPS). We use this new resource to evaluate the ability of 18 existing AI text detection algorithms to distinguish between peer reviews fully written by humans and different state-of-the-art LLMs. Additionally, we explore a context-aware detection method called Anchor, which leverages manuscript content to detect AI-generated reviews, and analyze the sensitivity of detection models to LLM-assisted editing of human-written text. Our work reveals the difficulty of identifying AI-generated text at the individual peer review level, highlighting the urgent need for new tools and methods to detect this unethical use of generative AI. Our dataset is publicly available at: https://huggingface.co/datasets/IntelLabs/AI-Peer-Review-Detection-Benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google