AgentReview: Exploring Peer Review Dynamics with LLM Agents

要約

査読は科学出版物の完全性と進歩の基礎です。
従来の査読分析方法は、多くの場合、既存の査読データの調査と統計に依存していますが、これではプロセスの多変量の性質に適切に対処できず、潜在変数が考慮されておらず、データの機密性が高いためプライバシー上の懸念によってさらに制約を受けます。
データ。
複数の潜在的な要因の影響を効果的に解きほぐし、プライバシー問題に対処する初の大規模言語モデル (LLM) ベースの査読シミュレーション フレームワークである AgentReview を紹介します。
私たちの研究では、社会的影響理論、利他主義疲労、権威バイアスなどの社会学理論に裏付けられた査読者のバイアスによる論文の決定の顕著な変動37.1%など、重要な洞察が明らかになりました。
私たちは、この研究が査読メカニズムの設計を改善するための貴重な洞察を提供できると信じています。

要約(オリジナル)

Peer review is fundamental to the integrity and advancement of scientific publication. Traditional methods of peer review analyses often rely on exploration and statistics of existing peer review data, which do not adequately address the multivariate nature of the process, account for the latent variables, and are further constrained by privacy concerns due to the sensitive nature of the data. We introduce AgentReview, the first large language model (LLM) based peer review simulation framework, which effectively disentangles the impacts of multiple latent factors and addresses the privacy issue. Our study reveals significant insights, including a notable 37.1% variation in paper decisions due to reviewers’ biases, supported by sociological theories such as the social influence theory, altruism fatigue, and authority bias. We believe that this study could offer valuable insights to improve the design of peer review mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google